熊式輝與日軍會議後回報歷受日人猙獰威逼，不勝憤慨。餘慰而嘆之曰：
“日本軍人之作風如此，日本國家與人民將不勝其憂患矣!豈天將禍我東亞乎?”
1928年5月3日，發生濟南慘案。這是中日兩國最初正面發生的軍事衝突，也是成為中日長期戰爭序幕的不幸事件。
第二次北伐的第一集團軍賀耀組第三軍團於5月1日進駐濟南。在日本首相田中義一導演下，5月3日發生濟南慘案，用割鼻、削耳、挖眼等殘無人道的獸行，殘殺我國外交人員蔡公時等16人，駭人聽聞。
事件的肇端是這樣的：當天早晨，有國民革命軍第四十軍(軍長賀耀組)所屬士兵1人生病，經戰友送往中華民國外交部山東交涉署對面的基督教醫院(在城外商埠區)治療，日本兵阻止通行，由於語言不通而發生爭執。雖然就只是這麼一點小事，可是對於正在等待著挑釁機會的日軍來說，就是很好的藉口。他們不問情由、不待理論便突然開槍，當場有革命軍士兵及役佚各1人中彈斃命，其餘的人僥倖逃入醫院；日軍則將醫院包圍，用機關槍亂射，一經點燃戰火，便在全市展開槍擊。
根據日本方面資料記載，陸軍省於5月13日發表的《濟南事件概要》，則是這樣的說法：“3月上午9時半左右，日本人吉房長平在麟洋門外的滿洲日報代銷所中，有中國兵二三十人闖入，日本領事館巡查岡田繁一立即前往該處，反而被中國兵毆打，是故乃由條川好春中尉率領自天津調來濟南的一部分日軍趕到現場，中國兵則進入附近兵營，兵營崗哨首先向日軍開槍，日軍不得已而還擊。以此為開端，中國兵乃在各處同時開始攻擊。”
慘案發生當時，蔣介石便同日軍司令官福田彥助聯絡交涉，以免事態擴大。要求日軍趕緊派人到我軍總司令部來，日方不幹，最後決定由雙方派代表在中間地點――津浦鐵路辦事處進行交涉。
國民革命軍方面的代表是熊式輝，日方代表則為參謀長黑田週一。
熊式輝是日本陸軍大學的學生出身，他同福田司令部的參謀長(黑田)，和許多參謀都是同學，他又懂日本話。
可是交涉時，日方橫蠻侮辱中方代表，其情形難以用言語形容!
日軍所提出的停戰條件是：(一)凡濟南商埠(在城外)街道，不許中國官兵透過。(二)膠濟路(青島―濟南)、津浦路(天津―濟南―浦口)不許中國運兵。(三)中**隊一律退離濟南20裡之外。
熊式輝表示：“這是重大問題，須向總司令請示，我不能簽字。”避開立即答覆；黑田週一等人則強橫地說：“你不是代表蔣介石來的嗎?應該可以馬上簽字的。”
就在這交涉的時間內，日軍的挑釁行為越發加強，甚至用大炮射擊過來，每兩分鐘發射一炮，把革命軍的無線電臺、交通機關統統破壞。
“這種炮轟，就是他想威嚇我們會議代表和一般官兵，壓迫我們軍隊向南撤退，以達到他們阻礙我們革命軍不能越過黃河北進的目的，使革命軍不能攻佔北京，完成北伐，而使北洋軍閥仍能割據河北，在日軍保護下坐大。――這樣就可使華北永遠置於日軍操縱之下。”〔蔣介石《誓雪五?三國恥》(1929年5月)〕
熊式輝拒絕簽字堅持到底。等到他把日軍方面的三個要求帶回司令部時，已經是凌晨5時。
熊式輝的報告是這樣的：“照現在的情形看，日本一定要與我們開戰。我們只有兩條路，一條是決心和他決裂，對抗應戰；一條是忍辱一時，避免衝突，避免犧牲，將來再作計較。”熊的後一條路顯然與蔣相一致。
如有一毫人心，其能忘此恥辱乎!何以雪之，在自強而已。
有雪恥之志，而不能暫時容忍，是匹夫之勇也，必不能達成雪恥之任務；餘今日暫忍為人所不能忍者耳!
在濟南城撤退的時候，仍有李延年團一團步兵及蘇宗轍旅之一部分(計3000人)留在城內。
本來，對於中國領土的濟南，當然不能輕易予以放棄；而且如果在濟南城內沒有中**隊，那麼日軍就一定會以“濟南沒有軍隊維持秩序，所以不得不派兵擔負維持秩序的任務”為藉口，而曲解其派兵是正當的。
不過，在被日本大軍包圍的城內，留下少數兵力，當然是非常危險的事。可是為了保護本國國民與土地，是必須要付出不得已的犧牲的。像這樣，日軍如果正式發動攻擊來奪取濟南，那麼，他野蠻橫暴的侵略行為就會暴露於全世界。
“我告訴李團長，你至少要固守兩天以上，並且一定要等到日軍真正向我城內來強行進攻之後，你才可自動的與蘇部向泰安方面撤退。我留一架無線電報機給你，隨時與我直接通電，聽候命令。”〔蔣介石《誓雪五三國恥》(1929年5月)〕
果然，到了6日夜間，日軍就對濟南城發動了總攻擊。
“我在離城30裡(約17公里)的黨家莊，日軍槍炮的聲音，都聽得很清楚。想到我們的人民和軍隊有很多犧牲，十分痛心。”（同上）
當日軍開始攻城之際，蔣介石便電令李延年自濟南城內撤退，可是他們在敵軍重重包圍之下，退不出來。
李延年的部隊打得很好，一次又一次地將逼近城垣的日軍擊退，不允許攻入城內。而且，只不過是4個營兵力，便阻遏住了日軍一個師的攻勢。
戰鬥持續到5月9日，日軍終於放棄進攻，派人到李延年處要求停戰。革命軍也為避免再事流血，乃讓出濟南城。不料到了這個時候，日軍卻又表現出極其卑劣的背信行為。
“日軍言明讓東關給我軍，保證向黨家莊方面安全撤退，李團長才於9日晚與蘇部由東門出城。可是不到城外3里路的處所，就被日軍的機關槍伏兵在兩側亂射，我軍到最後只剩得500餘人回來，其餘的人統統死在這次撤退的路上。”〔蔣介石《誓雪五三國恥》〕
日本兵更極盡其暴虐之能事，住在濟南醫院的革命軍二十六軍傷兵200餘人被全體用機關槍射殺，連賣糖的孩童及短髮的少女都被刺死。
李延年等留駐濟南的部隊，到了11日早晨全部撤離城內，雙方正面決戰的情勢大致告一結束。
吾躬逢其慘，不能不為我部屬痛耳!
餘自定日課――以後每日6時起床，必作國恥紀念一次，勿間斷，以至國恥洗雪淨後為止。
事後，據調查濟南慘案代表團於6月7日在南京所發表的調查報告，在慘案中死亡之中國人達3254人(其中男性2100人、女性66人、不明者1088人)，負傷者1450人。
另據日本外務省後來在同年12月向日本國會第五十六次議會提出報告：日本僑民在濟南事件中被殺害者15人(包括失蹤1人在內)，負傷者15人。
據報何成浚晤見福田，福田態度仍甚強硬，不可理喻，有必欲解散我第二、第三、第四各軍團及對我三總指揮必欲處以嚴刑之要求雲。是可忍，孰不可忍?攻破我之濟南，在彼以為得意，不知中日兩國之怨仇因此深結於人民心中而不可拔，東亞和平之基礎亦從此動搖。是日本軍閥之禍國殃民，乃更甚於中國之軍閥矣!毒蛇猛獸豢養不除，必至反噬其主人，惜乎日本民眾猶未能醒悟耳！大為中日兩國民眾之前途長太息也!
在李延年等部隊業已自濟南城撤退完畢，戰火大致停熄的5月11日上午11時，蔣介石改派總參議何成浚為代表，再度進行交涉。此時向日方提出的答覆是：四十軍軍長賀耀組業予免職，濟南周圍及膠濟鐵路20華里(約11公里)以內暫不駐兵，反日宣傳並已禁止等項。
同時，對於日本方面處分其責任者的要求也未提出，表示最大的忍讓。然而，福田彥助卻以何成浚沒有帶委任狀為藉口，不承認其為代表，拒與交涉。
情況如此，已不可能寄望於由兩軍在當地解決問題，因此，蔣介石乃向國民政府主席譚延?報告，請循外交途徑交涉，並決心繼續北伐。
此際，國民政府已於5月10日致電國際聯盟，要求調查事件真相，濟南慘案大受國際注目。尤其是美國，且於15日在下院提出“由國務卿出面調停”的議案。
日本政府鑑於對國際輿論不能再事漠視，也於14日決定方針――不擴大戰爭，並循外交交涉收拾事態。遂即派遣參謀本部作戰部長松井石根中將來到濟南，與張群及王正廷之間進行交涉。但日本方面要求蔣介石陳謝，中國方面要求賠償損失，意見對立，極難獲得進展。
昨夜間張作霖在奉天皇姑屯為日本關東軍埋設地雷炸傷斃命。今報載：奉天疑日人主使；日人則委謂系我方便衣隊所為雲。日人之陰狠如此，吾東北國防如何始能鞏固也?
當張作霖由北京返回奉天的列車途次山海關時，黑龍江省督辦吳俊升登專車迎迓，隨同返回奉天。
列車行駛一個晝夜之後，於****(1928年)曙光已現的清晨，進入奉天市界。剛過城外西方京奉鐵路皇姑屯站，張作霖在此即將抵達省垣之際，踱進展望車，舒徐地吞吐著晨起怡神的捲菸。
5時23分，列車正要鑽過京奉鐵路和南滿鐵路的立體交叉點。突然響起猛烈震撼奉天全市的爆炸聲。張作霖所乘展望車只有車軒與車床還剩下原形，車廂四散紛飛，接在後面的餐車與臥車也都被炸成為廢鐵。
張作霖當即被護送到奉天城內。奉天省長臧式毅為防混亂擴大，僅對外發表被炸負傷，但實則是在上午10時死亡，終年55歲。吳俊升也立即死亡。日本顧問儀我誠也被暴風將衣服吹裂，但卻只有足踝受了微傷。
在爆炸現場的附近，有被刺殺的****人屍體，手裡握著蘇制的炸彈。事件發生之後，日本關東軍立即發表：“****人的行動可疑，經予刺殺；相信是南軍(指革命軍)便衣隊所為。”
可是，爆炸物是120公斤左右的黃色炸藥，被埋設在南滿鐵路的橋腳下。很多人根據直覺判斷，認為像這樣規模的爆炸裝置，即使是有高度工兵技術的爆破者，其裝置工作也得6小時左右；加以就其能計算得正好炸中張作霖所乘車廂的高度準確性看來，一般中國人固然辦不到，就連日本人也恐怕只有關東軍才會是具有如此能耐的真正凶手。
蔣介石是於當天在國民革命軍的石家莊司令部得到訊息的。
然而，雖則是關東軍，也畢竟不能把陰謀隱瞞到底。在爆炸現場附近被刺的****人身份，立即被調查出來。他們是被奉天失業軍人劉戴明收羅來的有嗎啡癮的遊民；而劉戴明則是受到為關東軍參謀河本大佐所授意的某日本浪人之所指使。劉戴明在6月3日的早晨，帶了3個遊民到開設在滿鐵附屬地區之內的“福開泉”浴堂，剃頭、洗澡。換上衣服，其中有一個姓王的感到害怕，乃在入浴時溜走，剩下的兩個就是被刺殺而暴屍原野的人。
姓王的在爆炸事件發生後，便跑到張學良的部下那裡，說出了以上情況。另一方面，“福開泉”浴堂老闆也出於好奇而去看看****人的屍首，發現就是前一天來浴堂洗澡的客人。為之一驚，便急忙到奉天的日軍憲兵隊去報告。
兩個死者手握的俄製炸彈，則被日本的在野黨――民政黨查出是日本奉天憲兵隊長在奉天一家售貨店所購買的。至此，已經可以明白推斷得出：在事件背後，有關東軍的存在。
雖然，在當時事件的全部真相是被不明不白地埋葬掉了，可是以上一些推斷的正確性，則到了第二次世界大戰後，根據遠東國際軍事法庭的調查、審判、乃至日本方面所公佈的新發現的一些資料，得到了明確的證實。