Kahramanmarasin Elbistan ilcesinde dogdu. Rüstiye ortaokula Malatyada basladi. Ikinci yildan itibaren Mardin ve Diyarbakirda ögrenimine devam etti. Istanbulda Gelenbevi Sultanisinde idadi liseyi tamamlayarak 1916 yilinda mezun oldu. Ayni yil Istanbul Darülfununu Edebiyat Fakültesi Tarih Bölümüne girdi ve mezun olduktan sonra 1919da Mekteb-i Mülkiyeye kaydolan Halil, buradan da 1921de mezun oldu.
Mükrimin Halil Beyin babasi Hasan Kamil Efendi Hacin Saimbeylide kadi iken esi ile birlikte 1920 yilinda iskence ile öldürülmüstür. Fakat merhum Hoca hayati boyunca Ermeni asilli Hrand Andreasyan ile tesrik-i mesai etmis, onun Türk Tarih Kurumunda Ermeniceden tercüme edip yayinladigi - Urfali Mateos gibi - kaynaklarin kontrolünü ve tashihini yaparak yayinlanmasini sagladi.
Isatnbulda 1921-1925 yillari arasinda kütüphane müdürlügü yaparken buradaki basarili calismalari dolayisiyla, arastirma yapmak üzere devlet tarafindan Parise gönderildi. 1925-1927 yillari arasinda iki yil süreyle Pariste arastirmalarini yaptiktan sonra Eylül 1927de yurda döndü. Galatasaray ve Kabatas Liselerinde tarih ögretmenligi görevinde bulunan Mükrimin Halil Yinanc 1931 yilinda kurulan Türk Tarih Kurumunun kurucu üyeleri arasinda yer aldi. 1933 yilinda Üniversite Reformu yapildiginda Istanbul Üniversitesi Edebiyat Fakültesi Tarih Bölümüne docent olarak atandi. 1941 yilinda Profesör, 1957 yilinda da Ordinaryüs Profesör unvanlarini aldi.
Üniversitede görevde iken 21 Aralik 1961 tarihinde vefat etti. Kiymetli kitaplarla dolu kütüphanesi Kahramanmaras Sütcü Imam Üniversitesine bagislanmistir.
Elinizdeki iki ciltlik eseri, elyazisiyla kaydettigi defterleri esas alarak Prof. Dr. Refet Yinanc yayina hazirlamistir. Türkye Tarihi Selcuklular devri 1-2, ilk kez bütünüyle Türk Tarih Kurumu Yayinlari arasinda yayinlanmaktadir.