過去合作對付酷吏的事畢，朝堂上的放下彼此間矛盾一團和氣的政局立即分崩離析，武承嗣和武三思兄弟和張易之張昌宗兄弟聯合起來，懟上了韋晞！
大家分豬肉不均而發生爭吵，爲的是郭待舉空出的宰相、地官尚書（戶部）之位！
他臨行前的薦舉、韋晞的保薦，由西軍系統的婁師德接任，認爲婁久管後勤，精通業務，想必勝任。
結果此議被武家兄弟認定爲戶部重要，不可久入一家手裡爲由給否了。
張家兄弟推薦的杜審言左遷爲相、且兼地官尚書，得到了武家兄弟的大力贊成。
至於李旦，這老兄從來都是不爭的，打定的主義是做萬年王八。。。耗死他老孃去！
韋晞一個人鬥不過兩方勢力，武則天遂明發上諭，由杜審言接任郭待舉的位置，張家兄弟大獲全勝，他們以得意的、挑釁的目光看着韋晞。
戶部換了個主人，導致官員大流失，一個侍郎告老還鄉，另一個侍郎自請出關，去了太平公主的幕府，另有一批熟手的官員也跟着他跑路了。
杜審言不以爲然，反而認爲走得好，方便他安插人手。
甫上任不久，他開始貫徹執行張家兄弟們的意旨：加稅！
郭待舉管戶部，受韋晞嚴重影響，在關內實行了“放水養魚”的政策，積極培養工商業，稅率不算高。（相比之下，關外的稅收更高，畢竟韋晞要軍費去打仗）。
等到杜審言上臺，稅率普遍猛增了一倍，還專門針對韋晞的壟斷產業例如酒、肥皂、玻璃、鋼鐵、棉花等更是稅收高企至百分之五十！
再有稅種增加，計有關稅、鹽稅、印花稅、酒稅、絲繭稅、茶稅、糖稅、出產稅、礦稅、牙稅、當稅、鋼鐵稅還有田賦、房屋稅、牲畜稅、屠宰稅、穀米稅、什谷稅、和契稅等等。
種類繁多，還明確規定：玉門關內商品過境皆收百分之五至百分之十五的稅收，另有人頭稅，無論出關入關皆收稅，被韋晞稱爲“（中移動的）雙向收費！”
過往郭待舉掌戶部，每年皆奏準武則天給韋晞撥二十萬軍人的軍費，且變換名目，從朝廷那裡得到大量的“專項資金”（特別撥款），例如“西域民衆打井、引水費用”、“西域交通建築費用”、“西域婦嬰保健院”等等，發至太平公主賬下，由她使用，以宏揚朝廷聖恩。
但今年以來，上半年發了十萬軍人的軍費之後，下半年就是寺人的下半截。。。沒了！
專項資金也盡數停發，戶部聲明，因爲國家財政困難，以後將嚴格審覈，換言之，沒了！
國家財政困難？！
海外倭人的銀礦一直收入穩定，山東黃金經過徐有功的整頓的產量不少，之前隱瞞的礦區開採出更多的黃金。
最厲害的就是稅收，經過戶部的制度改革，稅收大增！
照目前的態勢，今年翻倍不成問題。
由於長享太平，民間經濟發達，稅收猛增。
不過呢，杜審言說家大業大，收得多也用得多，支出的方面有：之一、武則天的供養，她意念所到，皆要花錢。
例如朝廷鑄成九鼎，移置於通天宮。豫州鼎高一丈八尺，能容納一千八百石；其餘各州鼎各高一丈四尺，能容納一千二百石；分別在鼎上鑄山川物產的圖象，共用銅五十六萬零七百餘斤。
鑄成時九鼎自玄武門拽入，武則天命令宰相、諸王率領南北衙禁衛軍十餘萬人及儀仗隊中的大牛、白象一同牽拽，迎入通天宮裡，韋晞也去出了一把力。
這麼多的銅，都是錢吶！
之二、百官的俸祿，有百分之十到百分之五十的提升。
過往，西府（指關外太平公主幕府及韋晞軍府）的文官武將們的薪水很被關內同行所羨慕，因爲是雙份薪水！
關內一個官員一年收入一千貫，在關外就有二千貫到手。
在關外還能夠建功立業，獲得獎金，另有更多的田地。。。耕種、開發問題不大，有大量的奴隸，那些都是戰敗國家被俘的民衆。
現在關內提升了薪水，削弱了關外的吸引力。
同時對關外物資提高稅收，增加他們經濟上的壓力。
雙管齊下，俾使提升關內的統治度。
之三、擴軍備戰！
韋晞橫行無忌，敢說出“只要陛下在，我的西軍將不入關”，實際上他是最大的反賊，連酷吏都搬不動他（話是武承嗣說的），靠的是什麼？
朝廷對軍人一向控制很嚴，律令有“不得皇命擅調兵員十人以上者爲謀反！”
韋晞以軍功起家，在關內他絕對沒有機會，根本不能與朝廷打對臺。
民心思穩，李唐立國並未失德，文武官員不會隨韋晞走。
那時期他的兄弟都不會跟隨他！
但他在西域，山高皇帝遠，當他得突騎施四十萬控弦時，如曹操得三十萬青州兵，那些突騎施人只認他不認朝廷，事情也就脫離了軌道，他也就邁上造反的道路。
此後他西征，得到的城市越來越多，收納民衆，力量不斷增強，終於脫離了朝廷的控制。
現在他麾下文武官員已經隨他一條路走到底，擔心的是他不造反！
膨脹的野心，是隨着膨脹的軍隊而變大。
韋晞靠的是他的百萬之衆，威脅朝廷，
只有朝廷的軍力勝過韋晞軍，方能制他服服貼貼。
所以，張家兄弟上書應當重組軍隊，消除韋晞的影響力！
重組軍隊重點在於騎兵，關鍵在於加強馬匹的供應！
中國古代的養馬場大部分都分佈在北方，從西到東分別是青海、甘肅、陝西、內蒙古、東北、河北等，具體一點則是青海湖、河西走廊也就是蘭州到敦煌及祁連山一帶、河套平原也就是寧夏和包頭一帶（黃河在內蒙古包頭段也叫雲溯，也就是雲中、溯方郡）、華北也就是陰山以南到大同及長城沿線一帶（包含北京，也就是幽燕一帶）、東北則是遼寧一帶。
唐朝馬匹主要產地是隴右，即河西走廊一帶，但河西走廊也是韋晞起家的根據地，他在那裡的勢力龐大無比，朝廷政令根本難行。
敗是他，成也是他，由於他的強大戰力，現在武周朝周邊形勢相當的不錯。
河套平原乃至漠南、幽燕、遼東各處地方是新興未艾的養馬場，朝廷所得稅收，支持馬政，飼養大批戰馬。
又有建立鋼鐵廠，打造兵器、裝甲。
另外是火藥的研製。
這些年來，哪怕韋晞再怎麼保密，總有不少技術泄露出來的，比方說肥皂、制酒都已經被武三思們依照出來，好在玻璃被保護得不錯，車間在西域好好的。
又有訓練新兵，練兵方法都是照搬韋晞的方法，成立了總參、總後、總政、總裝備部四總部。
再有武舉、軍事學校等等。
張氏兄弟野心勃勃，大力搞作（沒有武則天的點頭根本不可行），李旦是支持他們的，畢竟他知道他想繼位，絕不能夠讓他老妹和妹夫這麼猖獗，武家兄弟更不用說了，早想與韋晞一別苗頭。