八日晨；各縱隊剛一到達指定位置；還未進行充分準備；攻擊就開始了。
韋國清指揮的二縱奉命攻擊南麻、吳家官莊的正面陣地。十七日上午；部隊向攻擊位置接近的時候；暴雨肆虐；地面上積水成河；二縱的全部人馬、槍械和彈藥全被泡在了水裡。十八日；韋國清命令五師和六師肅清南麻外圍之敵；兩個師經過一天苦戰逼近了守軍的主陣地。
許世友指揮九縱奉命從西北山地攻擊南麻；二十五、二十六、二十七三個師冒著大雨發起進攻。九縱各師在各自的攻擊方向上都未能突破；與國民黨守軍在戰場上形成僵持。
王必成指揮的六縱奉命攻擊南麻南面的馬頭崮；六縱十七師五十一團強渡沂河時遭到數倍守軍的反擊；敵人配合反擊的火炮多達二十門；五十一團全團被迫捲入殘酷的背水一戰中。當交戰雙方都付出了五百多人的傷亡時；五十一團倖存的官兵開始後撤。王必成調來四百多副擔架搶運傷員；擔架隊白天過河時遭到飛機的轟炸；傷亡人數再次陡增。與此同時；十八師各團向柴糧山的攻擊也嚴重受挫。大雨滂沱；夜色漆黑；攻擊部隊被惡劣的天氣和守軍的火力所壓制；天亮之後又遭到飛機的猛烈轟炸。攻擊了整整三天；柴糧山高地四周到處是逐漸腐爛的屍體。
七月二十日之後；華東野戰軍主力對南麻的攻擊已顯露出失利的跡象。
南麻受到攻擊之後；胡璉向徐州總司令部求援；國民黨軍整編二十五師和整編六十四的四個旅奉命向南麻增援。增援部隊指揮官黃百韜記取了在孟良崮增援緩慢的教訓；深知如果這次再不全力推進；必定受到嚴厲制裁；於是面對七縱的頑強阻擊；國民黨軍在猛烈炮火的掩護下；採用三個營為衝擊單位的滾動式戰法；一批垮下來；另一批立即出動；持續不斷；晝夜不停；導致七縱官兵每分每秒都陷於苦戰之中。
此時；攻擊南麻正面陣地的二縱陷入了極大的困境中。胡璉的子母堡壘給攻擊帶來的困難遠遠超出他們的預想。這種堡壘的特點是外圍利用鹿砦、鐵絲網、照明裝置以及大量的地雷和集束手榴彈給予攻擊部隊極大的殺傷；而在堡壘的中心則隱蔽著大量的反擊兵力；當攻擊勢頭減弱之後；以中心堡壘為引領的反擊立即開始；與其相連的小堡壘則進行兩側的火力打擊。二縱官兵在以往的戰鬥中從未遇到這樣的子母堡壘；也很少遇到如此頑強的作戰對手；一時間攻擊面臨著嚴重的困境；部隊的傷亡遠遠超出殲敵數量。
南麻戰役是解放戰爭中代價十分慘重的一次戰役。戰鬥結束後；九縱傷亡四千多人；六縱傷亡兩千多人；負責正面攻擊的二縱傷亡四千多人。
南麻戰役進行了整整五個晝夜；殲滅國民黨守軍一個團。
七月二十一日；國民黨軍增援部隊突破華東野戰軍阻擊部隊的防線。晚；陳毅、粟裕下達了撤出戰鬥的命令。
撤出南麻地區的部隊奉命轉移到臨朐西南地區休整。但是；此時臨朐已被國民黨軍整編第八師佔領；陳毅、粟裕向膠濟線以北轉移的通道被阻斷了。
情報顯示；進入臨朐的是整編第八師的先頭部隊；師主力尚未到達。而且；敵人還沒有來得及構築防禦工事。陳毅、粟裕認為；應該抓住此一戰機；將整編第八師先頭部隊殲滅；以鼓舞士氣。於是；命令第六、第九縱隊圍攻臨朐；第七縱隊負責阻援。
一向作戰周密謹慎的粟裕；在部隊剛剛遭遇重大傷亡的情況下；決定再次發起攻堅戰鬥；這不僅具有相當大的冒險性；還顯示出一種難以剋制的急躁。
臨朐成為又一個南麻。
“七月分兵”以來；山東戰場各部隊連續作戰失利；導致國民黨軍佔領了膠濟線；作為共產黨軍隊重要的物資基地和數萬名傷員安置地的膠東地區也面臨被佔領的危險。特別嚴重的是；在持續近兩個月的