蔣介石的命令下達後，陸續有軍隊撤出濟南，不僅如此，北上濟南的北伐軍也被勒令停止前進，福田彥助得到消息後，更加囂張，指示製造更大事端，欲迫使蔣介石簽訂城下之盟，放棄北伐。
晚間，日軍又在警戒區內佈置障礙物，並派梭巡隊搜索界內華軍，一時槍炮聲大作，軍民又死傷多人。蔣介石命師長熊式輝往日軍司令部交涉，黑田竟大肆咆哮，並壓迫熊簽字承認：到4日上午七時爲止，南軍如在日軍警戒區內尚未退出，聽憑日軍處置。
熊式輝拒絕簽字。
此時薛林在營中一面指示自己的軍隊部分撤出濟南，畢竟得做做樣子，一面派人四處打探情況，薛林槍不離身，司令部所有官兵嚴陣以待隨時準備出擊。
薛林之所以能迅速得到消息，這和在上海的經驗有關，薛林知道，得到消息最快的方式是與當地的地…痞搞好合作，這樣可以最大範圍得到信息，同時，薛林故意把部隊分散駐紮，並撒下大量通訊兵，力求最快的得到信息。
“大壯，今天註定要載入史冊，日本人在濟南的暴行纔剛剛開始。”
“我們怎麼辦。”
“以血還血，我們要主動出擊。”薛林說道。
當晚，濟南人民聽得大炮聲五發和爆炸聲多起，這是日軍炮轟長清無線電臺的聲音，守臺華軍全部犧牲。
同時濟南郊區百姓近千人被無辜殘殺。
薛林得到這些消息，暴跳如雷。
“馬上集合部隊，報仇。”薛林的眼中泛着淚光。
薛林剛要出門，又有士兵來報：“日軍闖入了交涉署。”
薛林一聽，心中猛然想起了一個人：“蔡公時，不好，他們這些外交人員還在署內。”馬上又下令，即刻出營去交涉署，救出蔡公時。
不料薛林剛出營，便有大隊日軍攻擊薛林司令部，無奈，薛林又率兵回營，進行反擊。
薛林這邊戰鬥着，日軍二十餘名士兵藉口在交涉署門外發現日僑屍體兩具，隨即涌入署內，蔡公時只得拿起電話，要通日本駐濟南領事西田畊一，詢問因何發生衝突。
西田畊一狡黠地回答：“不知何故互起誤會，雙方現應立即停戰。”
蔡公時再派人出去，但全被日本兵開槍打回。全署人員被圍困了幾個小時，又餓又乏。
到晚上11時左右，傳令兵跑來報告：“外面日本兵撞門，勢極兇猛，怎麼辦？”
蔡公時略一沉吟，隨即毅然決定：“開門，請他們進來！”
還沒等傳令兵轉身，交涉署大門已被日軍槍托撞開，20多個日本兵撞了進來，不容分說，剪斷電燈、電話線，交涉署頓時陷入黑暗之中。
在日本兵的手電筒照射下，日本兵直入寢室，搜查槍械。
一個穿西服的日本人首先說：“我們是爲搜查械彈而來。白天被打死的兩個日本皇軍，必是你們署裡的人乾的，你們的主管是哪位？”
蔡公時挺身而出，婉言解釋說：“上午被打死的兩個日本兵，確係爲流彈所擊，彼此不要誤會。我們是外交人員，從來不帶槍支，請不必搜查，免滋紛擾！”那日本軍官，一聲令下，除蔡公時外，其他工作人員全部被綁了起來。