原來，岡崎大隊已將整排窯洞貫通，每個窯洞都築有機槍陣地，既可獨立作戰，又可與其他窯洞互相掩護、互相支援，形成交叉火力網。在機槍陣地前面還挖了防彈壕，如果手榴彈沒有扔到位，將滾入防彈壕裡，難以造成威脅。窯洞外也挖了工事，構成了裡外相連、窯窯相通的循環作戰系統。
特務團不明就裡，在與日軍爭奪窯洞時，付出了不小的代價。歐致富一看情況不妙，立即命令各營暫停攻擊，就地隱蔽，等大部隊發起攻擊後，再裡應外合。
此時八路軍總部指揮所發出總攻信號。參戰部隊向關家堖和柳樹堖同時發起攻擊。決死第1縱隊38團奉命攻打柳樹堖。接到攻擊信號，鉚足勁的戰士們迅速向柳樹堖衝去。雙方在柳樹堖展開了激烈的爭奪。經過兩個小時的激戰，決死隊在天亮時佔領了柳樹堖。決死隊沒有料到，一箇中隊的日軍居然乘38團與25團調整部署時，利用夜色作掩護，又悄悄地接近了柳樹堖陣地。決死隊是一支新部隊，戰場經驗不足，就在他們麻痹大意時，遭到該中隊日軍的突然反擊，柳樹堖陣地又被日軍奪走。
戰場形勢的變化，出乎彭德懷、左權所料。彭、左迅即命令陳賡反攻。於是，八路軍在進攻關家堖的同時，不得不抽出三個營的兵力再攻柳樹堖。連續攻擊了四次，甚至有兩次攻上了山頭，最終卻未能奪回失去的柳樹堖主陣地。
進攻關家堖同樣艱難。386旅772團在東北方向的攻擊，由於攻擊地形十分不利，能接近日軍陣地的只有一條約1尺寬的小路，戰鬥打得異常殘酷。戰士們一次又一次地攻擊，一個臺階一個臺階往上爬，反覆與日軍短兵相接，傷亡極大。戰至中午，772團1營原本70多人的1連只剩下3人；50多人的3連只剩下指導員和2名傷員；近70人的4連只剩下10餘人。午後，1營剩下的人員在營長蒲大義的帶領下仍繼續配合兄弟部隊向日軍攻擊。14時，當1營被兄弟部隊換下來時，只剩下6個人。
385旅769團從西北方向攻擊關家堖。這一面，是一個約20米高的陡崖，快到崖頂的地方，有一個略凸出來的壕坎，上面又是一條30多米長的斜坡，一直通到關家堖山頂日軍的前沿陣地。攻擊前，769團突擊部隊曾藉助攀登工具和陡崖上的野藤爬到壕坎處，但被發覺，日軍隨即用火力封鎖了斜坡。受地形所限，769團突擊部隊既無法發起衝鋒，又無法壓制日軍火力，反被日軍壓制在壕坎處無法行動，他們的後續部隊也困在後面無法投入戰鬥。
上午9時左右，關家堖飛來了幾架日軍飛機，進行狂轟濫炸。關家堖地方狹小，八路軍投入進攻的兵力密集而無處躲藏。轟炸造成很大傷亡，不得不暫停進攻。對關家堖的爭奪進行了5個小時，八路軍攻佔了附近的數處高地，但仍拿不下主陣地。
彭德懷火氣沖天，態度強硬
部隊進攻受阻，且傷亡嚴重，令陳賡坐立不安，他對繼續攻打關家堖是否必要產生猶豫。陳賡拿起電話對彭德懷說：“此處的地形對我十分不利，是否可以把岡崎大隊放下山來，另選有利地形打他的伏擊？”“不行，一旦放走日軍，就很難再打着他了，必須在此將其消滅！”彭德懷態度堅決。“這樣打下去，代價太大了！”陳賡想繼續說服彭德懷。彭德懷答道：“就是拼光了，也要拿下關家堖！”“這樣打法，我不贊成！”陳賡有些急了。“有意見可以保留，但命令必須執行！”彭德懷隨即放下了電話。陳賡無奈只得服從命令。
彭德懷和左權的指揮所就設在離關家堖千餘米外的一孔破窯洞中。彭德懷放下電話，走出窯洞，舉起望遠鏡觀察陣地。他見戰士們不顧性命往上衝，然後紛紛倒下，心中焦急。他爲犧牲的士兵感到痛心，更對戰鬥的膠着狀態深感不安。彭德懷沒想到這塊骨頭竟這麼難啃！
劉伯承看到各攻擊部隊損失較大，非常痛心。他從前沿陣地給彭德懷打電話建議部隊暫時撤圍，另尋戰機。彭德懷對劉伯承說：“岡崎大隊所剩人馬已不多，我們不能給敵人喘息的機會，應該一鼓作氣堅決消滅！”劉伯承回道：“我的彭老總，這樣打我們賠不起呀！”彭德懷耐着性子說道：“我的老兄，敵人援兵正在逼近，一旦放虎下山，立刻就會得到援兵的接應。”
“那就以後再收拾他！關家堖的地形對我不利，我軍傷亡太大了！”劉伯承回道。
但彭德懷仍堅持打下去。最後，劉伯承生氣了，對彭德懷大聲說道：“你這是賭氣，蠻幹！這一仗，我不同意再打！”彭德懷也按捺不住直往上躥的犟脾氣：“拿不下關家堖，就撤銷第一二九師的番號，殺頭不論大小！”在769團指揮所，劉伯承無奈地再次拿起望遠鏡觀察前面的攻擊地形。忽然，連接關家堖陡崖崖頂與壕坎之間的斜坡上隱隱露出的黃土吸引了他的目光。
劉伯承問道：“壕坎上面的斜坡是土質的嗎？”769團團長鄭國仲回答：“是黃土坎。”
他計上心來：“挖暗道，通上去！”鄭國仲一聽，大喜。於是，他一面組織火力佯攻，吸引日軍的注意力，一面組織人員從壕坎下面挖掘通往關家堖山頂的暗道。
10月30日16時，第二次攻擊開始。此時，769團已成功地挖通了通往關家堖山頂的暗道。發起攻擊後，769團再次對日軍進行猛攻，其中一部經暗道向關家堖山頂爬去，另一部隱蔽在壕坎下面。同時派突擊隊攀上陡崖。
關家堖山頂的日軍以爲八路軍還從斜坡往上攻，正全神貫注地盯着斜坡，沒想到八路軍突然從他們屁股後面冒出。一陣手榴彈響過之後，關家堖山頂陣地上的日軍頓時陷入混亂之中。隱蔽在壕坎下的突擊隊趁勢迅速衝上去，雙方隨即在關家堖山頂展開激戰。769團的後續部隊也不斷攻上堖頂，加入戰鬥，最終控制了制高點。
同時，772團和決死第1縱隊25團、16團等部也先後攻上關家堖。經過激烈的肉搏，日軍一部被殲，其餘則退到了半山腰的窯洞中，拼死抵抗，火力仍然很猛。八路軍向關家堖連續發動了18次進攻，終於攻佔了日軍的第一道防線。然而，由於八路軍缺少重型武器，圍殲日軍餘部的戰鬥進展緩慢。直至深夜，日軍仍頑強地據守在窯洞中。經過10月30日一天的激戰，八路軍雖有斬獲，但岡崎大隊仍控制着兩處主要陣地。