رفیعی در روز 4 دی 1306، در بم به دنیا آمد. وی فرزند لطفعلی رفیعی، نماینده مردم بم در مجلس شورای ملی بود. پس از گذراندن تحصیلات مقدماتی در همان شهر در جوانی به‌خاطر موسیقی، تحصیل را در بم نیمه‌كاره گذاشت و به تهران آمد.

وی به شیوه ی خوانندگی بدیع زاده و گشاده رویی و مهربانی اش علاقه بسیار داشت .در سال 1329 داریوش رفیعی با كمك و معرفی بدیع زاده در رادیو به اجرای آواز پرداخت.
صدای داریوش رفیعی گرفتگی و شور و حال ویژه ای داشت و در آوازهایش تحریرهای كمی شنیده می شد.
در تهران ابتدا با مصطفی گرگین زاده و سپس با مجید وفادار آشنا شد كه حاصل آشنایی داریوش رفیعی با مجید وفادار ضبط ترانه‌هایی مشهور مانند: «زهره» , «شب انتظار» با مطلع: شب به گلستان تنها منتظرت بودم، «گلنار» با مطلع: گلنار، گلنار، كجایی كه از غمت ناله می‌كند، عاشق وفادار... و بسیاری ترانه مشهور دیگر شد.