乾寧二年（公元895年），李克用出兵抵抗邠州、鳳翔的敵軍，大軍在渭北紮營。天子見李克用英勇善戰，便任命他為邠州行營四面都統，以統領全軍。李克用深感責任重大，便上表推薦李罕之為副都統，希望藉助他的力量共同抵禦敵軍。
李罕之自從河陽失守後，一直依附於李克用，雖然時間越來越長，但他始終覺得沒有立下什麼大功勞。近年來，他更是厭倦了戰爭，感覺自己已經老了，無能為力了。因此，當李克用推薦他為副都統時，他並沒有太多的喜悅，反而私下對晉將蓋寓傾訴了自己的心聲。
“我自從河陽失守後，來依附於晉王這棵大樹，時間越來越長，卻沒有立下什麼功勞。”李罕之嘆息道，“近年來，我厭倦了戰爭，正所謂老了，無能為力了。我只希望晉王仁慈，太傅（指李克用）憐憫，給我一個小的城鎮，讓我休兵養病，一兩年後就告老還鄉，這就是我的幸運了。”
蓋寓聽了李罕之的話，心中有些感動，他覺得李罕之雖然勇猛善戰，但內心卻充滿了無奈和疲憊。於是，他把這話告訴了李克用，希望李克用能夠給李罕之一個安享晚年的機會。
然而，李克用聽了之後卻沒有回答。他深知李罕之勇猛善戰，但也明白他心性難測，難以駕馭。每當有藩鎮缺少統帥時，商議時都不考慮李罕之，這讓李罕之心中鬱鬱不樂。蓋寓見狀，擔心他另有圖謀，急忙為他說情。
李克用沉默片刻後，緩緩說道：“我對於李罕之，難道會吝惜一個城鎮嗎？但你要明白，我擁有李罕之，也如同董卓擁有呂布。呂布雖然勇猛無比，但最終卻背叛了董卓，給他帶來了滅頂之災。李罕之雖然勇猛，但如同鷹鳥的本性，飽了就會飛走。我實在害怕他反覆無常，危害到我。”
蓋寓聽了李克用的話，心中不禁一凜。他明白李克用的擔憂並非無的放矢，李罕之的確是一個難以駕馭的人。但他也知道李罕之並非董卓那樣的奸詐之人，只是心性難測，需要謹慎對待。
然而，事情的發展卻出乎了所有人的意料。光化元年（公元898年）十二月，晉州的潞州統帥薛志勤去世。李罕之趁此機會，從澤州率領部眾直接進入潞州，自稱留後，並把情況稟報給李克用說：“聽說薛志勤去世，新統帥還沒到，我擔心被其他盜賊趁機侵佔，所以沒等到命令，已經駐紮在潞州了。”
李克用得知訊息後大怒，他覺得李罕之這是在挑戰他的權威和底線。於是，他派遣李昭嗣討伐李罕之，意圖將他擒拿歸案。李罕之見狀，急忙捉住守將馬溉、伊鐸、何萬友以及沁州刺史傅瑤等人，並派遣他的兒子李顥拘捕他們送給太祖以求得援助。
這一舉動讓李克用更加憤怒，他覺得李罕之這是在逼他出手。然而，此時的太祖卻對李罕之產生了興趣。他覺得李罕之勇猛善戰，是一個難得的將才。於是，他接受了李罕之的投降，並上表推薦他為昭義軍節度使。
然而，命運似乎並不眷顧李罕之。他剛剛被任命為昭義軍節度使，就突然生病了，而且病情日益嚴重。他無法理事，只能躺在床上養病。第二年（公元899年）六月，李罕之的病情已經到了無法挽回的地步。太祖見狀，命令丁會代替他擔任昭義軍節度使，並調李罕之為河陽節度使。
然而，李罕之的身體已經無法支撐他再去擔任新的職務了。他在前往河陽的路上，走到懷州時，在客舍中靜靜地離開了這個世界，享年五十八歲。他的兒子李顥悲痛欲絕，用船載著父親的靈柩回到了河陰縣，將他安葬在了那裡。開平二年（公元908年）春天，朝廷下詔追贈李罕之為中書令。