സംഗീതവുമായി ബന്ധമുള്ള കുടുംബമായിരുന്നില്ല റാഫിയുടേത്. അമൃത്സറില്‍ ഇപ്പോല്‍ പാകിസ്ഥാന്‍റെ ഭാഗമായ കോട്ലാ സുല്‍ത്താന്‍ സിങ് എന്ന ഗ്രാമത്തില്‍ 1924 ഡിസംബര്‍ 24 നാണ് മുഹമ്മദ് റാഫിയുടെ ജ-നനം.
മൂത്ത സഹോദരന്‍ മുഹമ്മദ് ദീനിന്‍റെ ബാര്‍ബര്‍ ഷോപ്പില്‍ പതിവായി പോകുമായിരുന്ന റാഫി ഏക്ത്ര എന്ന സംഗീതോപകരണവുമായി തെരുവില്‍ പാടിനടന്ന ഫക്കീറില്‍ ആകൃഷ്ടനായി.
ഒരു മരത്തിന് ചുവട്ടിലിരുന്ന് ഇയാളില്‍ നിന്ന് കുഞ്ഞായിരുന്ന റാഫി സംഗീതത്തിന്‍റെ ബാലപാഠങ്ങള്‍ മനസ്സിലാക്കി.
ഒരു ദിവസം ഫക്കീറിന്‍റെ ശബ്ദത്തോടൊപ്പം പരിചിതമായൊരു കുഞ്ഞു ശബ്ദവും ജ-്യേഷ് ഠന്‍ കേട്ടു. റാഫിയും പാടുകയാണ്. പിന്നെപ്പിന്നെ ബാര്‍ബര്‍ ഷോപ്പിലെത്തുന്നവരെ രസിപ്പിക്കാന്‍ വേണ്ടി റാഫി പാടിത്തുടങ്ങി.
പതിനാലാം വയസ്സില്‍ ലാഹോറിലേക്ക് പോയ റാഫി ഗുലാം അലി ഖാന്‍റെ കീഴില്‍ ശാസ്ത്രീയ സംഗീതം അഭ്യസിച്ചു. ഉസ്താദ് അബ്ദുള്‍ വഹീദ് ഖാന്‍, പണ്ഡിത് ജ-ുവന്‍ ലാല്‍ മോട്ടോ, ഫിറോസ് നിസാമി എന്നിവരുടെ കീഴിലും റാഫി സംഗീതം അഭ്യസിച്ചിട്ടുണ്ട്.
