橫山勇惹不起他，決定於7月2日夜暫停進攻，預定7月11日再重新發起進攻。守軍爲增強防守力量，乘日軍暫停攻擊之機，調第3師留置衡山附近的第8團歸建。該團於5日8時許從何家塘、望家坳間突破日軍包圍圈，衝入城中。
由於日軍主攻方向始終保持於城西南郊，守軍爲加強該方面的防守、徹底形成重點，重新調整了部署:令第3師(欠第7團)南移佔領天馬山、嶽屏山、接龍山、五桂嶺高地，建立第二線陣地;第3師所遺城西北防務，除易賴廟的前街及青山街、楊林廟主陣地仍由第7團防守外，其餘均交由第190師接替;湘江西岸的警戒，以鐵爐門爲界，以南由暫54師負責，以北由第190師負責。
中路日軍進攻衡陽期間，東路日軍第3、第13師團連續攻佔攸縣、安仁、進抵耒陽;西路日軍第40師團亦已攻佔衡陽西北僅35公里的渣江，衡陽守軍已完全陷於孤立。
但在西路日軍後方，守軍第30集團軍曾實施反擊，6月28日收復萍鄉，7月4日進攻醴陵，幾乎全殲日軍騎兵第3聯隊。日軍第27師團等部隊前來增援，於10日又奪佔醴陵。日軍第68、第116師團經休整補充及加強炮兵後，於7月11日上午開始第二次攻擊。
此時第68師團已由堤三樹男接任師團長。第116師團的120聯隊在其飛行第44戰隊、野炮兵第122聯隊及獨立野炮第2聯隊掩護下，向城西南預10師第一線陣地要點虎形山發起猛攻。激戰至12日9時，守軍傷亡重大，陣地爲日軍突破。
第3師抽出1個營增援反擊，經白刃戰後，營長陣亡，士兵死傷四分之三，未能收復陣地，退守西禪寺。激戰至15日，第一線陣地多處被突破，第二線增援部隊經反覆爭奪，又收復一些要點，兩線陣地犬牙交錯，戰鬥極爲激烈。
第10軍爲加強城西南的防禦縱深，又令第190師在接龍山、雁峰寺、中正堂一帶建立第三線陣地。迄16日，第一線陣地楓樹山、軍艦高地等俱爲日軍突破。第10軍遂將第一線陣地全部放棄，以第3師及預10師殘部合力防守第二線陣地。
此時，城西郊日軍第57旅團亦已推進至距小西門不足1000米之處。由於守軍防禦正面縮小，所以人員傷亡雖衆，防守強度和火力密度卻減少甚微。
7月17日、18日，日軍進攻勢頭下降。經連日激戰，日軍主攻方向上的第116師團第120聯隊聯隊長和爾基隆大佐及第133聯隊的3個大隊長相繼被打死，每大隊所餘兵力不足100人，而且彈藥已嚴重不足，攻堅戰鬥已難以爲繼。日軍第11軍不得已再次下令於19日起暫停攻擊。
衡陽久攻不下，連日本天皇都如坐鍼氈，明發電文嚴厲訓斥了橫山勇，讓他儘快拿下衡陽，否則就剖腹謝罪。此時日軍68、116兩個師團幾乎已被第10軍打殘，已無力組織強攻，橫山勇遂緊急增調了第58、第13兩個主力師團增援。
軍事委員會雖早在日軍圍攻衡陽之前即已令王陵基指揮第72、第58、第26軍，楊森指揮第20、第44軍，歐震指揮第37軍、暫2軍，王耀武指揮第73、第79、第99、第100軍等夾擊日軍，後又數次電令各兵團“乘敵後空虛，擊破進犯之敵”和“掃蕩當面敵人”，令李玉堂、王耀武"速解衡陽之圍"，但衡陽外圍各兵團在東、西兩路日軍的阻擊下有時連守都守不住，被迫不斷後撤，當然更無力擊殲兩路日軍、解衡陽之圍了。
由於湘江以東各軍散處日軍側後，距衡陽尚遠，而第62軍已迫近衡陽，因而軍事委員會於7月22日電令第九戰區集中湘江以西部隊向進攻衡陽的日軍攻擊 。
23日，軍事委員會又電令李玉堂“即日進駐62軍軍部，直接督促”。軍事委員會的電令(包括以前的多次電報)均被日軍情報人員破譯，因而日軍對第九戰區各部隊的行動非常清楚。
這次獲得情報後，當即將電令內容通知各師團，並令第40師團佔領衡陽西南、正西和西北約10至15公里處的七裡山、兩母山、二塘、城口墟、板橋、狹山衝一線陣地，堵截、阻擊由西方來援的中國軍隊。同時令第57旅團歸還第68師團建制，令第109聯隊歸還第116師團建制，以便於指揮。
第62軍一度突進至火車西站，但在日軍第40師團的反擊下，傷亡甚大，且彈藥告罄，被迫撤退至盤右嶺附近收容整理。第79、第74軍主力及第100軍之第319師亦被阻止於日軍第40師團的堵截線之外。
7月29日，日軍第11軍確知專爲補給衡陽地區的輜重車隊預定8月4日前後可到達衡陽附近，部隊也經過調整，遂於當日下達了攻擊命令:確定8月4日開始第三次攻擊，除令第68、第116師團仍擔任主攻任務、於8月4日向嶽屏山方向攻擊外，另令第58師團於8月5日向衡陽西北方向攻擊，令第13師團以一部兵力在湘江東岸以火力支援湘江以西的作戰。
7月27日及8月2日，中國空軍兩次空投蔣介石的手令，鼓勵第10軍堅守衡陽待援 。
8月2日，第62軍及第100軍確已到達三塘、兩母山地區，第74軍亦已到達佘田橋、新橋，第79軍到達望城坳附近，與日軍第40師團激戰。第62軍在進攻二塘、兩母山時與日軍第234聯隊進行了白刃戰，予該聯隊以殲滅性打擊。
但由於第62軍等在戰鬥中傷亡亦衆，始終未能殲滅依託工事堅守陣地的日軍殘部，被阻於日軍堵截線之外，未能與衡陽守軍會合。在此期間的外圍各兵團，除第24集團軍遵照軍事委員會的命令積極向湘江以西進攻衡陽的日軍進攻外，湘江以東的第九戰區各軍沒有進行積極有力的進攻。