徐懷玉，這位原名琮的亳州焦夷縣人，自年輕時代起，便以非凡的才智和宏大的抱負自許。他的命運與太祖緊密相連，自跟隨太祖起兵的那一刻起，便踏上了波瀾壯闊的征戰之路。在唐中和末年的風雲變幻中，即大約公元884年左右，他隨太祖來到了歷史悠久的大梁城，也就是今天的河南開封，這裡成為了他們新的起點。
光啟初年，即公元885年左右，蔡州的賊寇如烏雲壓境，屯駐在金堤驛，意圖對大梁構成威脅。在這危急關頭，徐懷玉挺身而出，率領一支輕騎兵，猶如鋒利的刀刃，連續擊潰了敵人的多次進攻。他的英勇和智謀，在這場戰鬥中得到了淋漓盡致的展現，也因此贏得了太祖的賞識和提拔。多次升遷之後，他最終成為了親從副將，並改任左長劍都虞候，這是對他軍事才能和忠誠度的極高認可。
緊接著，徐懷玉又跟隨太祖在板橋與蔡賊展開了激戰。在這場戰鬥中，他再次發揮出了出色的指揮才能，不僅擊敗了敵人，還收復了秦宗權的八座寨子，為太祖的統一大業立下了汗馬功勞。因此，他被奏請加封為檢校右散騎常侍，這是對他功績的肯定，也是對他未來更大的期待。
文德初年，即公元888年左右，徐懷玉與其他軍隊協同作戰，成功解除了河陽（今河南孟州）的圍困。河陽之戰的勝利，不僅打通了太祖勢力向中原地區擴張的通道，也進一步鞏固了徐懷玉在軍中的地位。隨後，他又跟隨太祖攻破徐、宿兩地，為太祖的霸業再添輝煌。
進入乾寧年間，即公元894年至898年，徐懷玉的軍事生涯達到了新的高峰。他被奏請加封為檢校刑部尚書，這標誌著他在朝廷中的地位已經舉足輕重。同時，太祖還親自賜給他“懷玉”這個名字，寓意著他如同珍貴的玉石一般，既堅硬又溫潤，既勇猛又智慧。在金鄉以南的戰鬥中，他更是大顯身手，擊敗了朱瑾的軍隊，並俘獲了宗江獻給朝廷。這一戰功，使他被表授為金紫光祿大夫、檢校右僕射，成為了朝廷中的一位重臣。
乾寧四年，即公元897年，龐師古在清口（今江蘇淮安附近）遭遇了慘敗。然而，在這場災難性的失敗中，徐懷玉卻展現出了非凡的軍事才能和領導力。他獨自保持軍隊完整撤退，避免了更大的損失。這一壯舉，不僅贏得了太祖的讚賞，也讓他在軍中的威望更加高漲。
光化初年，即公元898年左右，徐懷玉轉任滑州右都押牙兼右步軍指揮使。在這個新的崗位上，他繼續發揮著自己的才能，為滑州的防禦和穩定做出了重要貢獻。不久之後，他又被奏請授予沂州刺史的職位，這標誌著他的仕途又邁上了一個新的臺階。
然而，徐懷玉的軍事生涯並非一帆風順。在王師範於青州（今山東青州）反叛後，他多次出兵侵擾，給徐懷玉帶來了不小的挑戰。但徐懷玉並未畏懼，他憑藉著出色的指揮才能和堅定的信念，一次次擊退了敵人的進攻。這些戰鬥不僅鍛鍊了他的意志和勇氣，也讓他更加深刻地理解了戰爭的本質和勝利的真諦。
天覆四年，即公元904年，徐懷玉轉任齊州（今山東濟南）防禦使，並加封為檢校司空。這一年，他跟隨大軍在岐下（今陝西寶雞附近）迎接昭宗回京。這是一次具有歷史意義的行動，它不僅彰顯了太祖的忠誠和決心，也展示了徐懷玉作為一位忠誠將領的風采。回京後，他被署為華州（今陝西渭南）觀察留後，負責華州的軍政事務。
在華州的一年裡，徐懷玉勤勉盡責，不僅加強了華州的防禦力量，還積極促進當地的經濟和社會發展。他的治理才能和軍事才能得到了朝廷和百姓的廣泛認可。一年後，他又率領所部兵馬戍守雍州（今陝西西安），為朝廷的西北邊疆築起了一道堅實的防線。
不久之後，徐懷玉被召赴河中（今山西永濟），補任為晉、絳、同、華五州的馬步都指揮使