Карл Карлович Ребане родился 11 апреля 1926 года в городе Пярну. В 22 года стал членом ВКП(б). Участвовал в Великой Отечественной войне, за свою службу получил ряд наград.
В 1952 году окончил ЛГУ.
С 1956 по 1964 годы работал в Институте физики и астрономии АН Эстонской ССР. С 1964 по 1968 годы занимал должность академика-секретаря Отделения физико-технических и математических наук. В 1968 году стал вице-президентом, а в 1973 году — президентом АН Эстонской ССР. Профессор Тартуского университета (с 1968 года).