，隊伍不斷發展壯大，與常山、趙郡、中山、上黨、河內等地叛匪互相聯絡。
叛匪中的小頭領孫輕、王當等人，也都帶著手下部眾歸附到了張燕的麾下。
張燕的部眾曾一度發展到近百萬人，黃河以北的各郡、縣都受到侵擾，朝廷卻無力派兵圍剿。
俗話說：尋常百姓想當官，先當土匪後詔安。
張燕自然也不想一直做賊，猖狂了一陣之後，便派使者到京城洛陽，上書朝廷請求歸降。
漢靈帝迫於無奈，只好任命任命張燕為平難中郎將，讓他管理黃河以北山區的行政及治安事務，每年可以向朝廷推薦孝廉，並派遣計吏到洛陽去彙報。
後來董卓入京，天下大亂，張燕的官自然也就做不成了，便跟著大家一起討伐董卓。
張燕覺得，無論是兵力還是個人能力，他在天下諸侯中都是首屈一指的。
與其他諸侯相比較，只是自己的出身差了一些。
但這是命運使然，非人力所能改變。
汝南袁氏四世三公，門生故吏遍佈天下。
袁紹被大家推舉為討董聯軍盟主，自然也說得過去。
但他堂堂“飛燕”，怎麼也應該在諸侯聯軍中坐第二把交椅。
出乎張燕意料的是，袁紹卻根本沒把他放在眼裡。
袁紹召集了十八路諸侯，甚至連手無縛雞之力的文弱書生孔融也在其中，卻唯獨沒招呼他張燕。
張燕空有一身抱負，卻英雄無用武之地，這件事也始終令他耿耿於懷。
董卓死後，袁紹與公孫瓚爭奪冀州，張燕自然而然地站在了公孫瓚一邊。
只可惜陰差陽錯，張燕並沒有幫上公孫瓚太大的忙。
最後公孫瓚被袁紹打得節節敗退，直到自焚身亡。
公孫瓚死後，袁紹便成了天下間首屈一指的諸侯，張燕也自然成了他的眼中釘、肉中刺。
袁紹曾多次派兵圍剿黑山軍，但由於黑山軍人數眾多，又都是在山區活動，所以袁紹一直拿這夥龐大的山賊沒什麼辦法。
袁紹死後，曹操在攻打鄴城時，張燕便派使者前來向曹操示好，還請求出兵幫曹操攻打鄴城，卻被曹操婉言謝絕了。
究其原因，主要有兩個方面。
一方面，曹操內心之中對黑山軍有所芥蒂，畢竟他早年曾經與黑山軍交過手，眭固還死在了曹操的手裡。
另一方面，攻打鄴城曹操自己的兵力綽綽有餘，根本無需外人支援，如果答應張燕出兵，最後功勞還得算他一份。
所以，那時曹操對張燕採取了一種不冷不熱、若即若離的態度。
曹操表奏天子，委任張燕為平北將軍，讓他把冀州北部的幾個郡縣都平定一下，也看看他對自己是否真心。
張燕被委以重任，自然不辱使命。
在曹操與袁尚、袁譚交戰之時，張燕將中山國、常山郡、趙國等地，都一一幫曹操平定下來。
事實也讓曹操對張燕其人產生了好感，覺得他是真心歸順自己的。
於是在見到張燕時，曹操便突發奇想，管張燕叫起了“小燕子”。
雖然是綽號，卻沒有半點侮辱人的意思，反倒讓人覺得他們之間的關係十分莫逆。
張燕一聽曹操這麼稱呼自己，自然也是大喜過望、受寵若驚。
張燕覺得只要曹操能收納自己，別說是管自己叫小燕子，就是叫“小孫子”也未嘗不可。