薛嶽本是孫中山的忠實信徒，信仰“聯俄、聯共、扶助農工”的新三民主義，如今工人掌握了政權，在他看來，此是北伐勝利的一大成果，應該高興才是。因此，他讓士兵與工人、市民組織聯歡會，共慶勝利。
可是，他做夢沒想到，蔣介石、李宗仁、白崇禧等國民黨高層領導人卻不這麼看。眼看著中共控制了上海，他們心急如焚，一場“清黨”的陰謀正在祕密醞釀著……
3月28日，煙雨迷濛。李宗仁坐火車從南京來到上海，即乘小車往龍華東路軍前敵總指揮部。
蔣介石比李宗仁早兩天來到上海。他住在一所較為僻靜的院子裡，戒備森嚴。李宗仁見到他時，只見他面色沮喪，聲音嘶啞，他認為上海情形已無法收拾，口口聲聲說：“我不幹了，我不幹了。”
李宗仁說：“在這種情況下，你不幹，責任就能了嗎？”
“我怎麼能幹下去，你看……”蔣介石說著便把抽屜開啟，取出一張何應欽的辭職電報給李宗仁看，說，“何應欽也辭職了，他已無法掌握第一軍，你看我怎麼能幹得下去？”
白崇禧低聲解釋說：第一軍駐在滬杭、滬寧沿線，各師的各級幹部均已自由行動，不聽約束。第一師師長薛嶽、第二十一師師長嚴重，俱有左傾跡象。各師黃埔畢業的軍官紛紛自由行動，成群結隊到上海來向“校長”質詢。質詢的主要內容便是蔣校長昔日在黃埔曾一再強調“服從第三國際領導”“反共便是反革命”“反農工便是替帝國主義服務”等等，如今國共關係惡化了，這批學生感覺到彷徨，所以來上海向校長要求解釋。蔣介石為此事終日舌敝脣焦地剖白、責罵、勸慰，無片刻寧暇，卒至聲音喑啞，面色蒼白。
蔣介石有些絕望，一再問李宗仁：“德鄰兄，你看怎麼辦？”
李宗仁說：“我看只有以快刀斬亂麻的方式清黨，把越軌的左傾幼稚分子鎮壓下去。”
蔣介石說：“現在如何能談清黨呢？我的軍隊已經靠不住了。”
李宗仁說：“那只有一步一步地來。我看先把我的第七軍調一部到南京附近，監視滬寧路上不穩的部隊，使其不敢異動；然後大刀闊斧地把第一軍第二師中不穩的軍官全部調職。等第二師整理就緒，便把第二師調至滬杭線上，監視其他各師，如法炮製。必要時將薛嶽、嚴重兩師長撤換，以固軍心。等軍事部署就緒，共產黨只是釜底遊魂而已。”
蔣介石說：“我看暫時只有這樣做了。你先把第七軍調到南京再說。”
事實上，蔣介石早就想向共產黨下手，可是他又矛盾重重，畢竟他的部隊是在蘇聯幫助下建立的，一旦進行清黨，就得與蘇聯決裂，並背上鎮壓工農的惡名。如今，他故佈疑陣，試探到李、白二人對武漢和清黨的態度後，便決定先在自己部隊中部署清黨，並已急電在廣州的李濟深、黃紹竑二人速來上海，共籌對策。
４月２日下午，蔣介石和何應欽、吳稚暉（當時任南昌總政治部主任）、李石曾、陳果夫（中央監察委員）、陳立夫（蔣介石的機要祕書）來到東路軍前敵總指揮部開會，參加會議的還有李濟深、李宗仁、白崇禧和黃紹竑。
“反共清黨”的“大政方針”就在這次充滿血腥氣的祕密會議上決定下來。
三、血腥政變，悵然離職
蔣介石為何在此時公開絞殺革命
這是因為，北伐軍兵臨南京、上海，預示北伐勝利已成定局，舊軍閥勢力已不能危害全域性。打倒北洋軍閥政府之後建立什麼性質的政權，這個政權以誰為主，由誰掌握大權，這是新的形勢提出的一個嚴峻的問題。
在北伐戰爭期間，蔣介石與國民黨左派力量爭奪領導權的鬥爭日趨白熱化。隨著北伐戰事上的節節勝利，蔣介石認為自己羽翼已豐，實力大增，在帝國主義的威脅拉攏下，在視工農運動為洪水猛獸的大地主大資產階級的支援下，鑑於醞釀中的反共清黨已告完成，“清黨”運動便正式付諸實施。蔣介石集團奪取政權的關鍵是在上海。上海不僅是國民黨右派的中心，帝國主義的最後基地，也是中共中央的所在地，中國工人運動的堅強堡壘。