晚上，他與妹妹坐在父親的身邊，有時乾脆就坐在父親的大腿上，一邊一個，傾聽父親音質優美、抑揚頓挫的朗讀。父親這樣做主要是心痛兒子：巴頓雖聰明伶俐，但在發音和拼寫上卻天生有缺陷，經常出現發音不準和拼寫錯誤的現象。現代醫生稱這種現象為&ldo;閱讀失常症&rdo;。他本人為此感到非常苦惱，但這是一種慢性病，只能慢慢地調治，不能操之過急。
父母在小巴頓身上傾注了極大的愛心。他們不是簡單、粗暴 地教育他，而是始終以綿綿的長輩之愛溫暖他，啟發他，幫助他克服心理障礙。他們擔心同學們會嘲笑汙辱他，因此決定不送他上學，專門請家庭教師教他文化課，請教練指導他鍛鍊身體，以便排除外界幹擾，使他能夠集中精力學習和鍛鍊。後來有些傳記作家指責巴頓父母過於溺愛孩子，不及早送他上學，致使他學習成績不理想，並養成許多壞毛病。其實，他們不瞭解巴頓小時候患有&ldo;閱讀失常症&rdo;，這種指責是不公平的。事實證明，巴頓父母的做法有助於他克服心理障礙，效果十分明顯。
巴頓十分崇拜祖先，為自己那頗有名氣的家系而感到驕傲。在他幼年時就形成了一種優越感，堅信其祖先是維吉尼亞的紳士，出身高貴，具有貴族的理想與抱負，是天生的領導人，負有領導他人的義務與責任。他相信自己就是祖先的能力、意志、信心和理想的繼承人，領導他人是自己義不容辭的責任，自己理應成為一個偉大的統帥和將軍。對於巴頓來說，家族的力量是神聖的、偉大的和壓倒一切的，它經常激勵巴頓奮發向上、建功立業。&ldo;為家族爭光&rdo;成為巴頓事業上的動力和支柱。但事實上，巴頓家族並不像他認為的那樣有多麼的高貴和偉大。
巴頓的祖先原為蘇格蘭人，是蘇格蘭東部亞巴登的地主。是否有貴族頭銜，現已無據可查。或許正是因為這個模糊不清的家譜使得巴頓家族的成員在婚姻上普遍交好運。
18 世紀巴頓家族的第一個美國祖先羅伯特&iddot;巴頓移居維吉尼亞殖民地。據說，他個頭不高，脾氣粗暴，但詼諧幽默，風度翩翩，對姑娘們頗有吸引力。
1771 年，他在維吉尼亞殖民地弗雷德裡克斯堡簽訂了土地契約，當了契約工。後來因娶富家小姐安妮&iddot;戈登&iddot;摩塞為妻而躋身上流社會。所以，有趣的是，值得巴頓引以自豪的不是他的第一位美國祖先本人，而是這位祖先的岳父大人、大名鼎鼎的休&iddot;摩塞將軍。
摩塞1725 年誕生於蘇格蘭，1747 年移居英屬美洲，參加了英軍將領佈雷多克對法國殖民地進行的遠徵，是喬治&iddot;華盛頓的朋友。美國獨立戰爭中，他任大陸軍準將，在著名的特倫頓襲擊戰中表現突出，但旋即在普林斯頓之戰中負傷而亡。他成為這個家族神聖信條的化身。他為家族確定的信條是：&ldo;摩塞，勇敢戰鬥！千萬不能辱沒家族的榮譽！萬萬不能玷汙我們古老的姓氏！&rdo;
小巴頓的祖父生於1831 年，是這個家族中第一個叫喬治&iddot;史密斯&iddot;巴頓的人。他於1852 年從維吉尼亞軍事學院畢業。19 世紀50 年代，美國社會動盪不安，兩種社會制度‐‐北部先進的自由資本主義制度和南部落後的黑人奴隸制之間為爭奪黑人勞動力市場和西部廣袤肥沃的土地展開了你死我活的尖銳鬥爭，廢奴主義運動愈演愈烈。頑固站在奴隸主立場上的喬治&iddot;史密斯&iddot;巴頓，堅決反對廢奴運動，並組織志願兵、號稱&ldo;卡拉哈來福槍隊&rdo;，專門用來對付奴隸起義。南北戰爭打響後，他率部加入南部同盟軍，任維吉尼亞第22 步兵團下屬一個連隊的連長，後晉