在太原市最繁華的柳巷“裕盛”商號當夥計。這裡活不重，但很忙。由於生活艱苦，不久閻錫山得了傷寒病，無人照顧，多虧嶽叔徐一清把他接到家中，請醫診治，日夜照顧，保養月餘，才得以痊癒。
一晃又是半年，閻錫山面對現實，不堪回首，逐漸產生對世道不滿的情緒。在此他結識了“四海店”夥計黃國樑 、張瑜 。三人出於對世道的不滿，經常談論時政。
二、青年習武 考取武備學堂
1901年（光緒二十七年），當閻錫山為自己的前途感到彷徨時，正值山西復辦武備學堂。
我國有陸軍學校是在光緒十年中法戰爭之後。1885年6月20日，李鴻章向清廷正式上奏成立天津武備學堂。這是我國開辦的第一所陸軍學堂，用以培養專門軍事人才。它與其說是洋務運動的產物，毋寧說是中國軍事近代化的產物。但是由於清政府的*，遲滯了軍事學堂發展的程序。直到甲午戰爭之後，在北方才又創設了小站隨營學堂和開平隨營學堂。至於山西，由於風氣閉塞，直到1898年間才得以創設，但因義和團運動興起而停辦。直到《辛丑條約》簽訂後，朝野大練新軍的呼聲日高，國人痛感“舊式清軍不足恃”，一致認為“籌餉練兵為急務”。9月，清政府在實行新政的上諭中強調編練新軍的重要性，命令各省將軍督撫：“將原有各營，嚴行裁汰，精選若干營，分為常備、續備、巡警等軍，一律練習新式槍炮，認真訓練，以成勁旅”。 而要普練新軍，就得廣建武備學堂，此正所謂：“將才端由教育而成，自非廣建武備學堂。” 於是不久清廷又命令各省籌建武備學堂。山西武備學堂正是在全國普練新軍聲勢的推動下，復辦起來的。
閻錫山很不甘心自己當夥計的社會地位，本想進入新的學堂深造，作為自己安身立命的階梯，因此當山西武備學堂的招生簡章公佈後，他便鼓足勇氣，偕黃國樑、張瑜一塊報考。
當然，為“時勢所趨”，一些有志青年一般認為“欲有補時艱，想為國家效力的途徑，只有投筆從戎”。 當時，太原城裡仍有舊學，新學也有山西大學堂等，閻錫山報考武備學堂，也說明他受新學與舊學之爭的影響，嚮往新學，並願意步入軍旅，為國效命。
山西武備學堂屬於初創，又是新學，入學考試並不很難，試題為“韓信將兵多多益善”，所以閻錫山和黃國樑、張瑜都順利透過考試，而且，最後在加試中，閻錫山言簡意賅的對答，還受到主考官姚鴻發協統的賞識。
武備學堂是培養軍人的新式學校，其中能開設的課程有操典、訓練等軍事科目，還有歷史、地理、理化、數學、國文等文化科目。首年武備學堂共招收120名學員，大多是各縣應試童生，還有一些秀才。與閻錫山、黃國樑、張瑜三人同時考入的，還有溫壽泉、喬煦、姚以價等。閻錫山住“信”字第五號宿舍，與張瑜、周望英等同住一室（學生分別住在“孝”、“悌”、“忠”、“信”四個齋號裡）。該校屬於省立學校，除保證學生衣食外，每月還發一定餉銀。成績優異者，另有獎勵。
初入武備學堂，除國文課外，對閻錫山來說都是新課，所以感到課程有些吃力。但他天賦良好，加之勤學用功，一年之後便適應了。他對新課程最感興趣的是步兵操典，覺得非常有意思，雖然文字不免有些枯燥，然其中知識面相當廣泛。對文化課他感興趣的是數學、歷史和地理，因為在他看來，數學可以啟發人們的思維；歷史可以瞭解古今大事演變；地理可以知曉世界。他最不想費力的是國文課，而他的成績最優秀的也正是國文，每考都名列前茅。第一年的學習，他各門課程同時推進，感到收穫頗豐。
第二年，他對各種新課程已經能夠全面適應，並且對理化也發生了興趣，同時對軍事各科也十分用心，每次上課勤於