Родился в г. Лемзаль Курляндской губернии (ныне Лимбажи, Латвия).
Окончил Киевский коммерческий институт, работал в Киевском банке.
В октябре 1920 г. избран председателем Курского губернского профсовета, а затем — первый секретарь губернского комитета РСДРП.
С мая 1923 г. работал в Московском и в Центральном комитетах ВКП(б).
В 1925-1937 г. — член ЦК ВКП(б).
В конце 1934 г. назначен зав. отделом науки, научных открытий и изобретений ЦК ВКП(б).
12 октября 1937 г. арестован органми НКВД по ложному обвинению.
Скончался в Лефортовской тюрьме.
15 июля 1955 г. реабилитирован главной военной прокуратурой СССР.
В память о К.Я. Баумане, в Курске, на здании Государственного банка (ул. Ленина), где в 1920-х находился Курский губком РСДРП, установлена памятная доска (1992).