Anadolu'da yetişen velîlerden. Elazığ'ın Sarılı köyünde 1877 (H. 1294)de doğdu. Beş-altı yaşlarına geldiğinde âilesi ile birlikte Gurbet Mezire isimli köye göç etti. Burada arkadaşları ile koyun güderken, onar İhlâs okuyup, dervişlerin zikirlerini taklid ederlerdi.
Bir süre sonra Muharrem Efendi, ilim tahsîline başladı. On beş yaşları ortalarındayken âilesi Sofular köyüne göç etti. Bu köyde Kâdirî ve Nakşibendî şeyhi Hacı Ömer Efendi ile tanıştı. Birkaç gün o zâtın sohbetlerinde bulundu. O zât köyüne geri giderken; "Nereye gidiyorsunuz, ben sizi nerede bulurum, size nasıl gelirim?" diye sorunca; "Biz seni kendimize çekeriz." cevabını aldı.
Aradan bir süre geçince, Muharrem Efendi, Hacı Ömer Efendiyi özledi. Fakat bir türlü onun kendisini çekmediğini görünce, yola çıktı. Yürüye yürüye Kövenk köyüne vardı. Çeşmede abdest alıp Cumâ namazını kılmak için câmiye doğru giderken, evinin önünde bekleyen Hacı Ömer Efendi; "Gel benim talebem! Gördün mü seni nasıl kendime çektim?" dedi.
Hacı Ömer Efendiye bağlandıktan sonra Muharrem Efendi, yaz-kış demeden hemen hemen her gün 7-8 saat mesafe uzaktaki hocasını görmeye giderdi. Muharrem Efendi âilesi ile birlikte birkaç köy daha dolaştıktan sonra, 1905'te Harput'a yerleşti. Medresede Hacı Abdullah Efendiden ve oğullarından zâhirî ilimleri öğrenmeye başladı. Bir Yandan ilim öğrendi, bir yandan da hocası Hacı Ömer Efendiyi sık sık ziyâret etti. Bir ara büyük âlim ve velî Beyzâde Ali Rızâ Efendiye müezzinlik yaptı.
Bir gün mâneviyâta dâir bir eserin, anlayamadığı bâzı yerlerini hocasına sormak için Harput'a gitmek üzere yola çıktı. Kitabı koynuna koymuştu. Mezire yakınlarında bir pınarın başında biraz dinlenmek için oturdu. Elini koynuna soktuğunda kitabı bulamadı. Hemen abdest alıp Abdülkâdir-i Geylânî hazretlerinin vâsıtası ile Allahü teâlâya kitabın bulunması için yalvardı. Kitabı kaybolduğundan evine geri dönmek mecburiyetinde kaldı. Eve gelince hanımı; "Yâhu sen ne tuhaf adamsın? Hem kitabı götürüyor, hem de geri gönderiyorsun?" deyince, Muharrem Efendi, "Ne oldu?" diye sordu. Hanımı; "Orta boylu, sakallı bir zât kitabı getirdi ve şöyle dedi: "Bu kitabı al ve ona kitabının bekçisi olmadığımı söyle!" dedi."
1906'da askerlik vazîfesine başlayan Muharrem Hilmi, açılan imtihanı kazanarak tabur imâmı oldu. Çeşitli yerlerde tabur imâmlığı yapan Muharrem Hilmi, Bitlis'te Muhammed Kufrevîrin sohbetlerinde bulunrak ondan icâzet aldı. Sonra Yemen'e gönderildi. Yemen'de tabur imâmlığı yanında, Yemenli çocuklara Türkçe öğretmenliği de yaptı ve iki sene kadar kaldı.
Muharrem Hilmi Efendi Yemen'deyken yağmur yağmıyordu. Yağmur duâsına çıktılarsa da bir damla bile düşmedi. Taburun komutanı Muharrem Hilmi Efendiyi huzûruna çağırarak; "Sen iyi bir adamsın. Bir de senin yağmur duâsına çıkmanı istiyorum." deyince, Muharrem Hilmi Efendi; "Olur Komutanım! Yalnız Allahü teâlânın huzûruna hep dost olarak çıkmalıyız. Askeri silahtan tecrid edeceksiniz." dedi. Komutan; "Olur mu? Bizi vururlar." deyince; "Onu bana bırakınız." dedi. Yemen Şerîfinin huzûruna çıkıp, vaziyetini anlattı. Namaza silâhsız çıkacaklarını, şâyet yerli halktan askere bir saldırı olursa, Resûlullah efendimizin huzûrunda kendisinin yakasını tutacağını söyledi. Yemen Şerîfi, yerlilerden askere bir kötülük gelmeyeceği hus3usunda teminât verdi.
Muharrem Efendi, Evlâd-ı Resûlden olan şerîfin oğlunu da berâberine alarak namazgâha çıktı. Önce Araplara ve Türklere kendi lisanlarında öğütler verdikten sonra, Allahü teâlâya, Evlâd-ı Resûl olan bu çocuk yüzü suyu hürmetine yağmur yağdırması için yalvardı. Duâ bitmeden Allahü teâlânın izni ile bardaktan boşanırcasına yağmur yağmaya başladı. Bu duâyı üç gün tekrarladı ve yağmur üç gün yağdı.
Muharrem Hilmi Efendi Yemen'den döndükten sonra Mekke ve Medîne'ye tâyin edildi. Sonra Erzurum'a döndü ve Birinci Dünyâ Harbine iştirak etti. Aynı zamanda ilim tahsîlini de bırakmadı. 1925'te emekliye ayrılarak doğum yeri olan Elazığ'a döndü. Bundan sonra kendini tamâmen ilme verdi ve pek evinden dışarı çıkmaz oldu.
Muharrem Hilmi Efendi, riyâdan çok sakınırdı. Nafile ibâdetlerini gizlerdi. Çok mütevâzi olup, kapısına gelen talebeyi geri çevirmezdi. Yazdığ tasavvufî şiirlerinde Sırrî mahlasın kullanırdı. Ömrünün sonlarında dört-beş ay hasta yatı. Hâlinden hiç şikâyet etmezdi. Sorulduğu zaman; "Elhamdülillah iyiyim, hiçbir şeyim yok, dolaşıp ne yapacağım? Yatmak hoşuma gidiyor, yatıyorum işte." dedi ve; "Dünyâ lâşedir, onu isteyenler köpeklerdir. Her gün bir melek; "Doğun ki ölesiniz, yapın ki yıkılsın, der" mânâsında Arapça bir şiir okurdu.
1964 senesi Aralık ayının dokuzunda Çarşambayı Perşembeye bağlayan gece, şafak vakti vefât eti. Elazığ'da defnedildi.