5 Nisan 1945 yılında Istanbul'da doğdu. Tiyatro sanatçıları Toto- Mehmet Karaca'nın tek çocuğu olarak kulislerde büyüdü. 5 yaşında annesi ve teyzesinin etkisiyle şarkı söylemeye başladı. Cem Karaca’nın sesini ilk keşfeden annesi Toto Karaca oldu.

Robert ve Kültür Koleji’nde öğrenim gördü. Müzik hayatına amatör olarak "Dinamikler" ve "Jaguarlar" adlı müzik gruplarında başladı, profesyonel olarak 1967 yılında Mehmet Soyarslan, Tümay Yalçınkaya, Timur Fildişi ve Ahmet Tuzcuoğlu ile birlikte "Apaşlar" grubunu kurdu. Aynı yıl Apaşlar, Altın Mikrofon Yarışması’nda, sözlerin Erzurumlu Emrah'a ait olduğu ve Cem Karaca’nın müziklediği "Emrah" adlı besteyle ikinciliği kazandı. Apaşlar, daha önceki tutkuları olan batı beat müziği ile yeni tutkuları doğu müziğini sentezleyip Anadolu- beat tarzında çalışmalara girişti. “Emrah”la elde edilen büyük başarı, Resimdeki Gözyaşları ve Bu Son Olsun gibi hit’lerle devam etti.

Cem Karaca, 1969 yılında Apaşlar’dan ayrılarak Seyhan Karabay'la birlikte “Cem Karaca- Kardaşlar” topluluğunu kurdu. Cem Karaca- Kardaşlar, yayınladıkları ilk 45'likleri “Dadaloğlu” ile listelerde iyi bir sıraya yerleşti. 1972'de bu gruptan ayrıldı ve Moğollar'a geçti. Namus Belası, Gel Gel, Obur Dünya gibi hit parçalarla büyük başarılara imza attı. Cahit Berkay'ın Moğollar'a uluslararası bir kimlik kazandırmak için Fransa'ya gitmesiyle, Cem Taner Öngür'le birlikte gruptan ayrılarak “Cem Karaca- Dervişan”ı kurdu. Progressive rock yapan bu grubun kilit isimleri ise Cem Karaca ve Uğur Dikmen'di.

Cem Karaca, toplama olmayan ilk LP’si “Yoksulluk Kader Olamaz”I Dervişan ile birlikte çıkardı. Dervişan'ın dağılmasından sonra ise Cem Karaca 70'lerdeki son grubu olan “Edirdahan”ı kurdu. “Cem Karaca- Edirhan”ın yaptığı “Safinaz” isimli Long Play (LP), Barış Manço’nun 1975 yılında çıkardığı “2023” ile birlikte Türkiye'nin sayılı senfonik rock albümleri arasında yer aldı. 1979 yılında Almanya'ya gitti ve 12 Eylül 1980 sonrası Türk vatandaşlığından çıkartıldı. Yaklaşık 8,5 yıl Almanya'da yaşadıktan sonra 27 Haziran 1987 akşamı Türkiye'ye geri döndü ve yeniden Türk vatandaşlığına alındı. Bu dönemde eski arkadaşları tarafnından döneklikle suçlanan Karaca, bu suçlamalara kulak asmadan, yeni dünya görüşünü ortayan koyan eserler yapmaya başladı. Özellikle din konusunda değişen görüşleri çok tartışılmış, Fethullah Gülen'le çekilmiş fotoğrafından dolayı da eleştirilmişti.

Sanatçı Cem Karaca, solunum ve kalp yetmezliği nedeniyle 8 Şubat 2004 günü 59 yaşında hayatını kaybetti. Karaca, Üsküdar Seyit Ahmet Yesevi Camii’nde kılınan namazın ardından Karaca Ahmet Mezarlığı’nda toprağa verildi.