黃金榮此時已經得知國民革命軍總司令蔣中正就是他的徒弟蔣志清，故頗爲得意。幾天後，蔣介石特派代表王柏齡(第一軍副軍長)、楊虎(總司令部的特務處長)和陳羣(東路軍前敵總指揮部政治部主任)先後到上海，帶着秘密使命化裝潛人了黃公館，先與黃金榮會晤，然後由黃召集張嘯林和杜月笙再次來密商合作反共清黨事宜，並負責統一指揮。
薛林得知王柏齡等人再次來到上海，果斷找到王亞樵，商量暗殺事宜，可是偵查了幾次均發現這些右派戒備森嚴，很難下手，薛林懊惱不已。
楊、陳兩人多次到杜公館密談。
楊虎在他的回憶錄中曾記載，在上海反共的關鍵時刻，“與當地聞人黃金榮、張嘯林、虞洽卿、王曉籟、杜月笙等深相結納，請其協助”。在“三大亨”裡，杜月笙最爲堅決地支持蔣介石，他認爲機不可失，只有參加反共，將來纔有政治地位。於是，上海幫會決定投靠國民黨。在歷史的抉擇面前，最活躍的要數杜月笙，其反共的積極性要高於黃金榮。
於是幫會首先拒絕汪壽華方面的種種支持與要求；其次監視中共和糾察隊；再次恢復被薛林破壞的“中華共進會”，召集舊部，建立武裝力量，決定必要時對糾察隊“施展鐵腕”，“一舉加以解決”。黃金榮、杜月笙等還向蔣介石表示：願意承擔反共的具體工作， “全力協助，義無反顧”，“即使赴湯蹈火，我們也樂於從命”。
不久，他們就帶領一批“中華共進會”匪徒撲向上海總工會，與工人糾察隊發生摩擦，爲蔣介石反革命大屠殺找到了藉口。
薛林不顧自己的傷勢，喬裝打扮，秘密會見徐文思，薛林見到徐文思來不及寒暄馬上說道：“文思兄，你也發覺到了，現在你們的處境很危險，必須果斷行動，我不知道你們的黨組織是怎麼決定的。”
徐文思內心也十分着急：“眼下形勢越發緊張，上面遲遲沒有命令，我這還真不知道怎麼辦。”
“現在還沒有指示？你們的上級怎麼想的。我多次秘密告知你們的負責人，可是都沒有音信，現在槍口都對準你們了，是戰是跑，必須要有所行動。”
徐文思深感無奈，眼下該怎麼辦，真要與國民黨反目嗎？在共…產…黨內部還沒有達成一致。
兩人談了許久，薛林基本上把該說的都說了，並請他轉達向陳du秀的問候，薛林在內心深表擔心，眼下右派勢力磨刀霍霍，陳du秀等人還想息事寧人，薛林這心裡即着急又無奈。
蔣介石繼續活動着，他在南昌總部第14次紀念週的演講中聲稱：“我是中國革命的領袖，並不僅是國民黨一黨的領袖，共…產…黨是革命勢力之一部分，所以共…產…黨員有不對的地方，有強橫的行動，我有干涉和制裁的責任及其權力。”
5月8日，蔣介石指使駐贛州新編第一師國民黨黨代表倪弼槍殺了江西省總工會副委員長、贛州總工會委員長陳贊賢。10日，蔣介石嗾使暴徒在九江搗毀並派兵強佔左派領導的國民黨市黨部和市總工會。13日，蔣介石又指派楊虎等收買一批地痞流氓，在安徽安慶搗毀左派領導的國民黨安徽省黨部和安慶市黨部，以及安徽省總工會和農民協會籌備處。
江西、安徽、廣州都已經爆發了叛變。上海估計也不遠了，不同的是共…產…黨中央就集中在上海，其他地方可以用摩擦解釋，一旦上海爆發反革命事件，那就是徹底的決裂。
自帝國主義在漢口、九江、南京不斷用武力干涉中國革命的同時，越來越重視採用分化革命統一戰線，對蔣介石的反共態度極爲關注。16日，蔣介石來到了上海，即公開表示保證與租界當局密切合作，以建立上海的法律與秩序，進一步投入帝國主義和買辦資產階級的懷抱。他通過報界宣佈：“決不用武力改變租界的現狀，租界問題將通過外交途徑解決。”
同時，蔣介石向上海大資產階級的代表人物表示，在勞資問題上，“決不使上海方面有共…產…黨態度”。大資產階級答應在財政上給他以全力支持，並立即爲蔣提供300萬元資助。