洪武三十一年中秋節後，吳傑收到了遼王讓他“便宜行事”的指示。
他當時還沒鬧明白什麼是“便宜”，直到見到張輔邀請他一起撤回遼東，才知道遼王和朝廷鬧翻了。
“安陸侯，朝廷忘恩負義，咱們一起回遼東吧。”
“這……我好不容易整合好廣東、廣西和交趾三地水師，剛剛組建好南海艦隊，海南島的港口還沒有建好。如果現在拍屁股走人，前面的努力恐怕都要打水漂了。”
“難道你忘了遼王殿下對你的知遇之恩？”
“我只是覺得，交趾剛剛平定，還需要海軍的支援。”
“我想起來了，你現在是朝廷任命的南海艦隊司令，不再歸遼東管了。”
“張將軍不要笑話我了。遼王深明大義，讓我便宜行事，恐怕早就對此有考慮，讓我留守交趾。”
“好吧，人各有志，不能強勉。但是我和其他兄弟們要回遼東，你不會反對吧？”
“不會的。我讓馬歡帶領最大的“天鵝城號”戰艦和幾艘補給艦跟你們回遼東吧。等交趾徹底平定，我會把其他軍艦也還給遼東的。”
當張輔邀請他一同退回遼東的時候，吳傑確實感到十分為難。
在經歷一陣內心痛苦鬥爭後，只好讓張輔帶領主要艦隻撤離交趾，自己率其餘中、小艦隻仍然留在交趾下龍灣和海南島一帶。
即使如此，海軍官兵還是人心惶惶，有的家人在遼東，有的更相信遼王，有的覺得遼東的待遇更好，時不時有人找機會溜回了遼東。
不到一年的功夫，離開遼東這個平臺後，吳傑的南海艦隊維修保養、彈藥補充、人員訓練都成了問題，最後只剩下“金州號”和“遼陽號”兩艘中型軍艦充門面，其餘都是義州號之類的小艦隻。
南海艦隊也就是風光了一年，又從深海大龍蝦變成了淺水小蝦米了。
遼王離京之後，建文帝很是驚慌了一陣子。
後來見太上皇並未過多斥責，遼王也只是派人送來一首看似看破紅塵世事的《臨江仙》，遼東軍也未敢上門興師問罪，他慢慢穩住了心神，想起了自己的身份：大明天子，而天子是不受指責的。
沒過幾天，京城裡頭又鬧起了滿城風雨。
“大家聽說了沒有，新皇帝逼走了功高震主的遼王爺！”
“我還聽說，遼王爺的船走到丹徒就莫名其妙沉了。說不定就是新皇帝派人悄悄把那船鑿了個窟窿，想謀害遼王爺。”
“好在咱們遼王爺能神機妙算，又有夜行神器，早從陸路回到了遼東。”
“……”
駐守京城的京軍羽林前後兩衛有不少骨幹出自遼東軍，對遼王是相當的崇拜，聞訊後群情激昂，紛紛要求調回遼東。
建文帝只好找來齊泰商量對策。
“齊泰，最近外面都在傳言說朕謀害遼皇叔。朕聽說京軍不少原來的遼東千戶、百戶們也要出走啊？”
“陛下，那些傳言都是無稽之談。羽林衛有幾十位骨幹眼中只有遼王，沒有陛下，特別是那個叫慕華的指揮僉事，職位最高，鬧得最兇。”
“你堂堂兵部侍郎就沒有辦法嗎？”
“臣建議先把慕華抓起來法辦。還有張輔目無朝廷，竟然未經請旨，擅自帶領遼東軍撤離交趾，回遼東了。臣建議褫奪張輔爵位，交兵部和吏部議處。”
“算了。連皇爺爺都忌憚遼皇叔，說遼東軍不過萬，過萬則天下無敵。你就不要把事兒惹大了。”
“臣只想維護陛下龍威。”
“你記住，連朕的皇位都是遼皇叔讓的，哪有什麼威望可言？你和山壽還是交出幾個手下吧，給遼皇叔和遼東軍一個交代，就說丹徒沉船事件是這幾個人擅自作的主。”