Родился в с. Поздняково Муромского уезда (ныне Навашинский р-н) Нижегородской губернии.
Окончил Петербургский горный институт (1910), после чего работал в Московской горной академии (профессор — с 1920, ректор Московской горной академии, затем Московского нефтяного ин-та — с 1922).
сновные труды посвящены проблемам освоения Курской магнитной аномалиии (КМА) и геологии нефти.
В 1920–1925 гг. –— председатель особой комиссии Геологического комитета России по исследованию Курской магнитной аномалии в Щигровском и Старооскольском районах Курской губернии.
Занимался также исследованиями Волго-Уральского и Среднеазиатского нефтеносных районов.
Академик АН СССР.
Скончался и похоронен в Москве.
В1949 г. Академия наук СССР учредила премию им. И. М. Губкина.
В честь Губкина названы: город в Белгородской области, научно-исследовательский институт проблем Курской магнитной аномалии; ул. в г. Щигры Курской области.
В г. Небит-Даг (респ. Туркменистан) — установлен памятник Губкину и его товарищам-первопроходцам — основателям города.