威妥瑪屬於明顯的中立派，此前他並不支持密迪樂這種毫無限制的倒向太平天國，也不支持克利福德那種不切實際的妄想，他還是贊同額爾金的做法，在北方扶植起一個滿清傀儡政權來，然後英國提供武器和資助，這樣就能夠最大限度的拖延或者阻止太平天國在遠東的強勢。可惜太平天國領導層的政治智慧似乎不比他們差，那位西王和天國外交部雖然一直和英法敷衍着，但他們早已經洞若觀火的明白了英法的舉動，於是纔有了北京城下開戰的一幕，這徹底打亂了英法的戰略佈局，突如其來的宣戰讓英法感到無所適從。所以這會兒威妥瑪也在思考着其他出路，作爲中立派此刻聽完密迪樂和亞歷山大的建議，似乎這個建議纔是最好的。
太平天國現在治下人口衆多，其動員能力相當可怕，威妥瑪也認爲就算英法再派十萬遠征軍來到遠東，也不能夠打敗太平天國的陸軍，但海軍不一樣，他們能夠長期襲擾太平天國漫長的海岸線，任何一個港口都可能被聯軍海軍襲擾，而太平天國也不可能長期防禦港口，這將嚴重影響他們的經濟。而要造成這種局面，聯軍必須消滅太平天國的海軍，這樣才能將太平天國在海上抵抗聯軍的意志徹底消滅掉。然後英法就能夠和太平天國體面的談判，從而結束戰爭，至少能保證英法的利益。
同時，威妥瑪也贊同密迪樂的意見，消滅太平軍海軍之後就是最好的和談時機。假如錯過了這個機會，太平天國一狠心。在各處港口玩命的放些水雷封鎖港口，徹底斷絕對外貿易。那也是英法不願意看到的，所以在到時候的談判中，英法也不妨放棄一些要求，更何況人家手中還捏着九千多名英法戰俘。
所以威妥瑪表示贊同密迪樂的意見，他接過密迪樂冗長的建議書，表示一定會據實呈報回國去。隨後兩人商量了租界內的情況，密迪樂認爲太平軍不會攻陷租界，他們只會將租界圍困起來，所以密迪樂建議除了軍人和必要的外交人員之外。其他的平民商人都應該撤退回香港。
兩人統一意見之後，馬上約見陶恩培，將英法希望將租界內的平民撤出的意願說了。陶恩培這個老頭笑眯眯的聽完，一雙看似昏蒙的眼睛卻將兩人看得心裡打鼓，最後老頭笑着說道：“兩位是想將英法租界變成一個大軍營啊，不過我們太平天國無所謂，一旦租界裡的平民全都撤退了，我們講武學堂的炮兵科已經準備將租界當做炮兵培訓場，每天都會有實彈炮兵演練。想必兩位也不會有什麼意見的吧。”
威妥瑪和密迪樂面面相覷，想不到這老頭如此的公然威脅，要是太平軍對租界進行無差別炮擊的話，租界裡英法兩國辛辛苦苦營建的一切房屋和設施都將灰飛煙滅了。密迪樂勸說了幾句。威妥瑪暴跳如雷的反威脅，但陶老頭卻是油鹽不進，最後兩人只得放棄。
低聲商議幾句後。兩人最後向陶恩培提出撤走租界裡的老弱婦孺，名單和人數由英法提供。陶恩培笑了笑微微頷首。表示基本同意只撤走老弱婦孺這個計劃，但名單和人數就不必英法提供了。陶恩培出示了幾分冗長的名單，上面居然都是英法租界內的人員名單，密迪樂看了之後大吃一驚，想不到這份名單比他手上的還更爲詳盡，足見太平天國老早就在收集租界的所有情報，而租界裡的中國人也不知道有多少是他們的探子細作。
最後，威妥瑪和密迪樂只得按照那份名單逐一覈對後確認了需要撤走的人員，威妥瑪希望能夠讓幾位重要的商人一同撤走，以確保他們的安全，比如克利福德、亞歷山大等人。陶恩培也爽快的同意了，但他卻提出克利福德不能留在香港，他必須回到英國去，換一個頭腦清楚的人過來，這樣一個頭腦不清的人留在遠東只會讓羅斯柴爾德家族在遠東的利益受損。
密迪樂也樂意儘快送走這尊瘟神，他對克利福德的好感早就降到了最低，而威妥瑪也沒有表示反對，在他看來克利福德和亞歷山大的意見相左，亞歷山大也不希望這位少爺留在遠東的。
雙方草簽了一個交換協議，第二天開始便由太平軍接送撤走的老弱婦孺，雙方在吳淞口交接，至於太平軍的運送費用自然是少不了的。
當克利福德知道自己要回香港之後，他馬上要求密迪樂去尋找他還留在徐家彙大教堂的妻子。密迪樂原本不樂意去做這件事，但經不起怡和洋行亞歷山大的請求，最後只得厚着臉皮請求陶恩培派人尋找。
陶恩培也做了，他讓一名傳教士去了大教堂尋找，但最後只帶回來一封信給克利福德。先前克利福德也收到過李璇璣託英國士兵帶回來的信件，上面只說了她不願意回租界，現在這封信更絕，李璇璣在信上表示，她只想留下來和南丁格爾搞慈善組織，呼籲停止戰爭的暴行，除非英法和太平天國停戰，否則她將終身不回英國。
克利福德看完信函之後，憤怒的將信件撕成了碎片，他鐵青着臉，招呼幾名怡和洋行的武裝僱員就想闖出租界去找李璇璣，好在亞歷山大死死攔住，否則這幾個人只怕會被對面的太平軍打成篩子。
亞歷山大好不容易將克利福德勸回洋行的會客室內，給他倒了一杯威士忌之後說道：“先生，夫人不想回來是因爲她的身份比較尷尬，她的母國現在和英國處於戰爭狀態，她回來的話不但她難以自處，也會影響到您。還不如就讓夫人去做那些中立的慈善工作吧，這樣對您和她都好。將來戰爭結束了，她一定會回來的，我知道這些中華女子的美德，她們始終會從一而終，不會輕言背叛。”
克利福德聽了之後稍稍消了些氣，接過酒杯後一飲而盡，亞歷山大坐在沙發上笑着說道：“放心吧，戰爭不會一直持續下去，只要您回到英國去，儘快說服議會做出正確的決定，我想是能夠大大縮短戰爭的進程，那樣就能夠儘快結束戰爭，夫人也能早一天回到英國和您團聚。說實話，您留在遠東是做不了什麼的，現在的局面我們都只能等待國內的消息。”
亞歷山大不遺餘力的勸說克利福德只是想讓這個燙手山芋儘快離開，有他在遠東只會壞事，回到英國的話，還有羅斯柴爾德家族的人看管着，另外最好就是羅斯柴爾德家族能夠派另外頭腦清醒的人來到遠東，或者就不要再派人來了，這樣才最符合他亞歷山大個人在遠東的利益。
一頓勸說之後，克利福德勉強答應了，亞歷山大鬆了口氣，但克利福德要求亞歷山大每個月都要給他來信，他要知道李璇璣在遠東的動靜。這個要求雖然稍微難了一點，但亞歷山大還是答應了。
第二天，克利福德和英法租界裡的老弱婦孺一共一千多人通過太平軍的商船運送，與在吳淞口接應的聯軍運輸船隻匯合，雙方交接完之後，威妥瑪和密迪樂在船上作別。密迪樂還是得回到租界裡去，有他在租界應該能夠處理好很多事務，威妥瑪也將額爾金的授權書給他，授權他處理戰時租界內的一切事務，包括軍事行動。
威妥瑪順利完成任務，同時也拿到了租界內商人們的意見，回到長江口聯軍海軍停泊區之後，馬上和額爾金等人在旗艦上會面。
威妥瑪詳細說明了租界內密迪樂和商人們對戰爭的態度之後，明確表示他也認爲密迪樂的建議是最爲合理的。聽完威妥瑪的建議之後，海軍馬西莫格里將軍等人也表示贊同，海軍在沒有登陸兵力的情況下是不宜去攻打港口的，克里米亞戰爭中遠東的英法聯軍就曾經幹過這樣的事，他們在陸軍兵力嚴重不足的情況下去打俄國人北方的軍港，結果就是大敗而回，加上之前的吳淞口慘敗，也證明了這一點，海軍很樂意接下來先消滅太平軍海上的軍事力量。
額爾金也同意這個計劃，但他決定先全軍撤回香港休整一段時間，然後海軍重新編組、補給之後再北上尋找戰機。當天會議上，額爾金決定由威妥瑪帶領幾名軍官和領事和商人代表返回英國，向國內議會和首相、女王詳細彙報遠東的情況，海軍派出三艘戰艦隨行。
第二天，威妥瑪上了三艘快速風帆戰艦先行南下，臨行前額爾金囑咐道：“擴大戰爭和委曲求全都不符合我們的利益，體面的和談纔是我們需要的，首相不妨考慮聯合俄國人對太平天國施加壓力，雖然這聽起來有些荒唐，但也不失爲一個辦法，甚至還可以考慮扶植日本，但那個國家的幕府似乎比滿清還要腐朽，很難在短期內奏效。至於美國人的態度不必理會，他們國內的局勢也越來越混亂，南北矛盾加劇，難以顧及遠東。”
威妥瑪表示理解，軍事、外交是國內首相巴麥尊和議會都必須考慮的，最後額爾金說不管如何，最好儘快做決定，一旦太平軍抓住這半年時間加快統一全國的步伐，等待太平軍完成了統一，騰出對付滿清的兵力來的話，英法聯軍都將面臨更大的困難。交代完之後，威妥瑪就離開了上海。
數天之後，聯軍船隊浩浩蕩蕩的起錨南返，額爾金站在甲板上遠眺上海，口中喃喃說道：“也不知道下次回到這裡，我是會以戰勝者的身份還是戰敗者的身份……”