呂布在城外十里處，紮下大營，此時呂布軍中打起的旗幟依舊是趙雲的旗幟。
劉璋派來做嚴顏參軍的廖立勸說道：“趙雲乃是呂布親信愛將，一生經百戰，百戰百勝，且武藝高超，一杆槍神出鬼沒，他是天下少數幾個能夠跟呂布單挑五十回合的猛將，以將軍之才，跟趙雲鬥不過五十回合便落了下風。”
嚴顏這一輩子都沒有怎麼出過益州，在益州他總以為自己是當之無愧的第一人，坐井觀天的他自然聽不得廖立這番話，勃然大怒：“休要長他人志氣滅自己威風，明日我就出城迎敵，會一會這個趙雲趙子龍。”
第二天，嚴顏點起三千人馬出城迎敵，跟趙雲單挑，果然嚴顏跟趙雲戰到三十多回合時，刀法開始散亂，廖立在陣後見嚴顏不敵，連忙出兵前去救援，趙雲帶的三千人馬也一擁而上，一陣混戰後，嚴顏在將士的保護下，撤回江州城，此時他身上已經有多處創傷。
嚴顏此時已經對廖立的話心服口服，可廖立卻坐臥不寧，他剛才在城上已經看得清楚，這城下不只是趙雲的兩萬人馬，從各個細節判斷，他感覺自己過去的判斷是完全錯誤的，現在看來，自己果真看輕了呂布，呂布沒有那麼簡單，他不會簡單地使用了聲東擊西，而是反用了聲東擊西，張松和自己過去都判斷呂布的主力從西城過攻打涪水關，現在看來，呂布的主力便在江州城下。
廖立心亂如麻，他背叛了呂布，知道呂布定然饒不了他，而他自己卻提不起半點信心去面對呂布，其實他心裡很清楚，他的才能跟呂布麾下的郭嘉、賈詡、荀彧、荀攸、周瑜、諸葛亮、陸遜、魯肅、劉曄等人比起來都頗有不如，他之所以離開呂布，是因為他覺得在那些強人下面，他一輩子都沒有出頭之日，可他沒有想過，離開了呂布，投靠了劉璋，他雖然暫時獲得了出頭之日，但斷頭之日也不遠了。
廖立做了一個果斷的決定，當天晚上，他連夜逃離了江州，因為他斷定江州必定被呂布攻破。而在那一世，廖立得劉備的器重，年紀不到三十便被委任為長沙太守，結果呂蒙的大軍打過來的時候，他啟城而逃，這一幕又在這一世重演，這個沒有擔當的空有小聰明的傢伙不論放在任何時候都不可能被最高權力者重用，如果真的被某個政權的最高權力者重用了，那將是那個政權的悲哀。
嚴顏派人去請廖立議事，卻得知廖立悄悄離開了江州，嚴顏不知道到底出了什麼事情讓廖立離開的，但此時他身邊也沒有什麼像樣的謀士，只好凡事都由自己去判斷了。
呂布派往江州城裡的軍情司特工回報，說廖立不知蹤跡，連嚴顏也找不到他，呂布就知道，廖立膽怯了，犯了那一世的錯誤，他逃跑了，這樣也好，省得髒了自己的手，廖立不在江州，嚴顏沒有謀士幫忙，那自己就可以智取江州。
呂布命趙雲派人再去江州城裡走一趟。
當晚，一個軍士站在江州城下，大叫道：“開門！”
嚴顏教人把他放進來，一問，那個軍士說是趙將軍差來的，把趙雲的言語徑直講給嚴顏：“老匹夫，早早來降，饒你滿城百姓性命；若不歸順，即踏平城郭，老幼不留！”
嚴顏大怒：“匹夫怎敢無禮！我嚴將軍豈是降賊者乎！借你口說與趙雲！”喚武士把那軍士的耳朵鼻子割下來，然後放回去。
那軍士回見趙雲，哭告嚴顏如此毀罵。
趙雲大怒，轉頭問呂布：“主公，我該如何是好？”
呂布微微一笑道：“你覺得的呢？”
趙雲便咬牙切齒狀地，披掛上馬，點起兩千騎兵，衝到江州城下搦戰。
城下的中央軍百般痛罵，趙雲幾次都騎乘白龍馬，揮舞亮銀槍，衝到吊橋，要過護城河，卻被亂箭射回。一整晚都沒有一個人出來，趙雲只好罷兵回寨。