由滬回粵。
直到1月16日，蔣介石才姍姍來到廣州，面見孫中山。孫雖對蔣的遲遲不來有些不滿，但“宰相肚裡能撐船”，還是耐著性子請蔣坐下來，認真地聽取他的旅俄考察匯告。蔣陳述了他對蘇聯不安的情緒(這也許是他臨離莫斯科在車上“不盡感愴”的緣由罷)。孫中山的回答是：“未免顧慮過甚!”
此前，蔣介石曾在1923年12月15日寄給孫中山的那份《遊俄報告書》中闡明自己的觀點，但當即受到國民黨左派廖仲愷等一些人的批評。因為蔣介石和孫中山在政治見解上發生了矛盾，對孫中山實行聯俄、聯共政策改組國民黨極端不利。廖仲愷也認為蔣介石“顧慮過甚”，為此，蔣介石寫信作答：
“對俄黨問題，應有‘事實’與‘主義’之別，吾人不能因其‘主義’之信仰，而乃置‘事實’於不顧。以弟觀察，俄黨殊無誠信可言。即弟對兄言‘俄人之言只有三分可信’者，亦以兄過信俄人而不能盡掃兄之興趣也。至其對孫中山個人致崇仰之意者，非俄國**，而乃國際**中之黨員也。而我國黨員之在俄國者，對於孫中山唯有詆譭與懷疑而已。”
這次蔣介石又當面向孫中山進一步說明，他僅贊成利用俄援和以蘇聯紅軍為榜樣辦校建軍，但反對聯俄的政策。
大元帥派中正為陸軍軍官學校籌備委員長。籌備委員七人：王柏齡、鄧演達、沈應時、林振雄、俞飛鵬、宋榮昌、張家瑞。
中國國民黨第一次全國代表大會開會期間，即1924年1月24日，孫中山委派蔣介石為陸軍軍官學校籌備委員會委員長，鄧演達、王柏齡等7人為籌備委員。
這次代表大會中的重要事項之一，是“聯俄容共”政策。為此，在24席的中央執行委員中有李大釗等，17席的候補中央執行委員中有**、張國燾等中**員容納在內。這標誌“國共兩黨第一次合作”。
此外，還推動有一個重要政策，就是創設“黃埔軍官學校”。
對於建校，蔣介石於1951年4月所撰《過去軍事教育的檢討和高階班成立之目的》及1969年3月所撰《革命歷史的啟示和革命責任的貫徹》中寫道：
“總理內度中國之情勢，外審世界之潮流，認為‘從根本著想，非整理黨務，不足以及時奮起。’‘救亡之策，必先事吾黨之擴張。’於是，乃於1924年1月召開本黨第一次全國代表大會於廣州。其目的，即在使‘本黨重新擔負起革命的責任’。一方面固然是要打倒軍閥，一方面則尤其是要驅逐軍閥所賴以為禍之烈的帝國主義，並主張廢除不平等條約，‘為全國人民謀一生路’，主張‘召集國民會議，以謀中國之統一與建設。’”
“同時，即著手黃埔建軍，培養革命的武力，並要使此革命的武力與國民相結合，賦予打倒軍閥、又進而驅除帝國主義的使命。”
“我有一個志願，就是希望我畢生能夠辦一個軍事學校，照我自己的理想來訓練一般有志的青年，完成建軍、建國的使命。而且當時相信我這一個志願如果實現，中**事教育一定可以成功。在這一種軍事教育制度之下訓練出來的官兵，不僅能夠完成北伐，統一中國，並且還可以建立現代化的軍隊，建設現代化的國家。”
“其時，總理由於屢次革命失敗的經驗，認為會黨和地方性的軍隊決不能形成建國的力量，堅決地主張要由本黨自己來開辦軍官學校，訓練軍官，成立黨軍。……所以，我在民國十二、十三年之間，什麼事都不願做，而只要創辦軍官學校，教育全國青年軍人，為我唯一的志願。”
大元帥指定黃埔舊有廣東陸軍學校與廣東海軍學校為陸軍軍官學校校舍。
黃埔，是在廣州的東面，由珠江順流而大約10公里多一點距離之處的江心洲，一旁靠近長洲要塞，不啻是廣州咽喉的要衝之地，也是訓練軍事幹部的適當場所。同時，因為它靠近大都會，便於接受新思潮；背靠內陸面對大海，視野開闊，有利於培養軍人的情懷；既是廣州咽喉要衝，又能時刻呼喚軍人的警覺。
分配各省區招收學生名額，擬定共324名。
假定東三省、熱河、察哈爾共50名，直隸、山東、山西、陝西、河南、四川、湖南、湖北、安徽、江蘇、浙江、福建、廣東、廣西，每省12名，共168名，湘、粵、滇、豫、桂五軍各15名，共75名，本黨先烈家屬20名，尚餘11名，另招備取30~50名。
當時，各省多為軍閥所割據，不能公開招生，故而委託出席第一次全國代表大會的各省代表祕密介紹革命青年前來應試。結果報名投考者將近3000人。
應招投考第一期的學生，以廣東省籍為最多，其次為鄰近的湖南、福建、雲南等省，合計達1200人。報考的學生中，有三分之一為中學及大專學校專業。籍貫偏於南方各省，是由於雖則祕密招生，但仍然受到軍閥妨礙。軍閥們唯恐培育出強大的革命軍，故而都在瞪著眼睛監視本省青年，不使進入軍官學校。舉一個最顯著的例子來說，貴州督軍周西成就曾下令不準本省所有的青年出境。
偕鄧演達往石井視察兵工廠。
當時最突出的問題是經費和裝備都很缺乏。
成立之初的軍官學校，在任何一方面都是荊棘載途，步履維艱。在外面，有陳炯明、洪兆麟、鄧本殷等叛軍環伺著軍校的一舉一動。在革命軍內部，又有楊希閔(滇軍)、劉震寰(桂軍)等軍閥濫施權力，強橫支配廣東財政，為所欲為。這些內外敵人都因為極端恐懼軍官學校訓練成功，而一致對此關心。他們或在公開或在暗地扼制著軍官學校的經費來源。
在許多困難之中，最困難的是槍械的供應。當時，廣州有石井兵工廠製造槍械，該廠實權被滇、桂軍閥控制，所生產的兵器，都落到了他們的掌握之中。軍官學校在新生於5月初入學之際，所得到的槍械，還是隻有不足半數的230支。子彈也沒有，簡直是徒手狀態。
黃埔軍校要開設而無軍械，這怎能行，於是蔣介石偕鄧演達事先去石井兵工廠想辦法。廠長馬超俊為國民黨員，肯大力幫忙，不久即祕密運來步槍500枝。所以日後蔣介石不僅可以誇言“我個人親自指匯出來的”黃埔一期學生約500人，而同數的步槍，也是他第一筆本錢。
據第一期學生鄧文儀稱，軍校剛成立，即有斷炊之虞。王柏齡也說及為了經費，蔣介石常親身出面向外借錢。有一次借來尚是汪精衛夫人陳璧君之私蓄，日後加倍奉還。
赴肇慶參觀西江講武堂，對學生演說。
附蔣介石演說節錄
今天來到肇慶，得以參觀講武堂，與諸位同志相見，覺得十分慰快。但同時有一種極沉痛的感想發生，因為你們鄧前師長是我的一個至交，並且是十數年的同志，今日不能與他同來參觀貴堂，實在是最悲傷的一件事。當鄧師長在時。我常常與他商議兩種計劃，一為在兵工廠創設鍊鋼廠，一為開辦軍官學校。當時因為種種困難，不能照計劃實行，延遲至今，差過了幾年光陰，誠屬可惜。但今日此地已有講武堂的設立，足見你們的李督辦(濟深)及西江各軍官長，在此困苦艱難之中慘淡經營、刻苦奮鬥、不可多得的成績。你們鄧前師長後起有人，雖死猶生，這又是很可安慰的。我此次由省城到肇慶，一路看見交通阻滯、民生凋殘、一片淒涼的景況，觸目驚心，想起來真是十分難過。凡此種種，皆是我們革命軍應任其咎的，與我們革命的本願實在是大相剌謬。……我這次參觀貴堂，承盛情招待，我且不感謝各位同志，我要先問諸君來講武堂肆業是為什麼。……我以為諸位同志將來畢業以後，有兩種責任，一種是改良軍隊的責任，一種是實行三民主義的責任。……我們革命數十年，到現在仍未達到最後的目的。自民國以來，在北京政府做偽總統的人，如袁世凱、黎元洪、馮國璋、徐世昌、曹錕，沒有一個不是為帝國資本主義的列強作傀儡，來壓迫我中國自己的民族。假使外國列強不借款給他們，不賣槍械給他們，他們的偽總統無論如何做不成，種種賣國事業他們絕對不敢去做。照這樣看起來，搗亂中國，使中國內爭延長，至今不能組織一良好政府的人，不是中國北洋的軍閥，實在是外國帝國資本主義的列強。他們站在北洋軍閥的背後，操縱一切，嗾使他們擾亂，使中國陷於長期的混亂，竟致我們中國現在不能做一個真正獨立的國家。中國不是獨立國家，是什麼呢?實在說起來是一個帝國資本主義國家的半殖民地。例如最近廣州關稅問題，按一國主權獨立自由處分其管轄境內一切事物的原則，我們政府應有自由處理關稅之權。但只知不問公理的英、美、法、日等國，竟派遣軍艦進泊白鵝潭，表示橫暴無理的威嚇，欲干涉我政府行使職權，他們在中國的凶惡勢力，可謂達到沸點了。凡我血氣男兒，愛國同志，提及此事，沒有不怒髮衝冠、恨入骨髓的。所以本黨革命，首先要破壞在北洋軍閥背後發縱指示以搗亂我國家的列強勢力，然後中國民族乃有獨立的希望。民國元年，本黨推倒滿清帝政，建立共和民國，一般人都說三民主義中的民族主義可算做到了，其實不然。因為民族主義與種族主義是不同的，辛亥年中國革命黨推倒滿洲種族，只可算種族主義成功，不可算是民族主義成功，亦只可算帝制推翻，決不可算是民權主義成功。這種地方，應該要解釋明白才好。……諸位既然明瞭以上的理由，還要徹底明白本黨的主義，這個主義不是各個人能力所能實行的，所以我們要組織這個中國國民黨。凡是革命的人，應該統統加入這個黨，團結大多數的力量，來對抗敵人。果能如此，我們的三民主義沒有不能實行的道理……
具稟總理，並呈中央執行委員會，統籌辦學校職，徑離粵。
蔣介石在國民黨一大前沒露出頭角，就連中執委、中監委也沒有入選。只是在大會閉幕後的2月3日，孫中山才任命他為中央執行委員會下屬的軍事委員會中的一個委員。特別是孫中山要蔣介石專心籌辦軍校，不必過問黨務和軍政大事，這對蔣介石無異是個很大的打擊，使他“終日不安，如坐鍼氈”。因為蔣介石自命跟隨孫中山多年，不僅在軍事上有過貢獻，而且對孫中山本人也是有功之臣。於是老毛病又犯了，2月21日，他又一次以辭職相要挾向孫中山和中央執行委員會呈遞了辭辦軍校的呈文，沒等孫中山和執行委員會批准，蔣介石就擅自離開了廣州，回到奉化去了。
鄧演達銜總理命，來奉挽我回粵。
孫中山將建立自己的革命軍隊的希望，完全放在創辦軍官學校上面，軍校已經開始籌辦，蔣介石突然擅自離職，使孫中山很著急。2月23日孫中山委派廖仲愷代理蔣介石為軍校籌備委員會委員長，抓緊籌備工作。24日又派鄧演達專程去奉化請蔣介石回粵。