張歸霸，字正臣，清河人也，其家族在地方上頗有聲望。祖父張進言，曾於陽穀縣令一職上留下政績；父親張實，亦非白身，有著官宦家庭的背景。張歸霸自幼便與眾不同，他性格灑脫不羈，不拘泥於小節，而對兵法戰術卻表現出濃厚的興趣與天賦。在那個風雨飄搖的唐朝乾符年間，社會動盪不安，盜賊蜂起，四處作亂，天下大亂之象已顯。
正是在這樣的時代背景下，張歸霸毅然決定帶領自己的三位兄弟，離鄉背井，投身到了黃巢的麾下。黃巢，這位亂世梟雄，正以他的勇猛和智謀，匯聚著四方豪傑，意圖在這亂世之中闖出一番天地。張歸霸憑藉其過人的勇氣和非凡的軍事才能，很快便在黃巢的軍隊中脫穎而出，聲名鵲起，成為了黃巢麾下的一員猛將。
當黃巢的大軍勢如破竹，攻佔長安，震動天下之時，張歸霸因功被封為左番功臣，這是他軍事生涯中的一個重要里程碑。然而，好景不長，隨著黃巢勢力的逐漸衰敗，中和年間，黃巢不得不帶領部下逃往宛丘，以圖東山再起。此時，太祖已在汴州站穩腳跟，奉詔南下討伐黃巢，黃巢的黨羽開始陷入困境，四面楚歌。
面對這樣的局勢，張歸霸與他的兄弟們，以及葛從周、李讜等一眾將領，審時度勢，相繼選擇了投降太祖。他們的加入，無疑為太祖的軍隊注入了新的活力。不久之後，張歸霸便因其出色的軍事才能和過往的戰功，被任命為宣武軍中的重要職務，開始了他在太祖麾下的新徵程。
光啟二年（公元886年），張歸霸迎來了他軍事生涯中的又一次重要考驗。這一年，他與蔡州將領張存在盧氏展開了一場激烈的戰鬥。戰場上，張歸霸身先士卒，英勇無畏，最終擊敗敵軍，取得了勝利。次年夏天，他再次出征，與蔡將盧瑭在雙丘交戰，同樣取得了輝煌的戰果。緊接著，他又與秦宗賢在萬勝展開激戰，每一次戰鬥，張歸霸都展現出了非凡的軍事才能和過人的勇氣，屢戰屢勝，殲滅了大量的敵軍。
在一次戰鬥中，張歸霸的英勇表現更是令人歎為觀止。當宗權派遣將領張郅前來侵犯，並在赤堈紮寨時，張歸霸毫不畏懼，率兵迎戰。一日，張郅派出騎兵前來挑戰，張歸霸在戰場上奮勇殺敵，卻不慎被飛來的戈擊中。在這危急關頭，他展現出了極高的應變能力和戰鬥素養，立即拔馬撤退，同時一箭射出，敵人被射中頸部，應聲墜落馬下。張歸霸則趁機騎著敵人的馬返回，這一幕被在高處俯瞰的太祖盡收眼底，太祖對他的英勇表現大加讚賞，當面給予了高度的評價，並用豐厚的金帛和所繳獲的馬匹作為獎賞，以示對他的嘉獎和鼓勵。
張歸霸的英勇事蹟並未就此止步。在一次戰鬥中，他奉命帶領五百名弓箭手埋伏在壕溝內，以配合太祖的進攻。太祖率領數百騎兵逐漸逼近敵寨，蔡州人果然中計，派出精銳士兵沿著營壘追擊。就在這時，張歸霸伏兵齊出，猶如天降神兵，對敵軍進行了猛烈的攻擊。在這場突如其來的襲擊中，敵軍損失慘重，一千餘人被殲，數十匹戰馬被奪。這一戰，不僅彰顯了張歸霸的軍事才能，也極大地提升了他在軍中的威望。
不久之後，張歸霸因戰功被奏授為檢校左散騎常侍，這是對他過去戰功的肯定，也是對他未來軍事生涯的期許。此後，他跟隨太祖南征北戰，討伐鄆州，作為李唐賓的副將渡過淮河，每一次戰鬥都立下了赫赫戰功，成為了太祖麾下不可或缺的一員猛將。
文德初年（公元888年），大軍逼近蔡州，賊將蕭顥前來砍伐營寨，企圖破壞太祖的軍事部署。面對蕭顥的挑釁，張歸霸與徐懷玉各自率領所部兵馬，從東南兩門分頭出擊，合力殺敵。在這場激烈的戰鬥中，張歸霸展現出了出色的指揮能力和戰鬥素養，他率領的兵馬與徐懷玉部協同作戰，將蔡州人打得潰不成軍，大敗而逃。等到太祖率領大軍離開營寨時，敵軍的威脅已經