可在交換戰俘問題上，雙方就分岐很大了。唐軍希望將雙方的戰俘都釋放，以示友好。
但周軍俘虜的唐軍人員中，有李孝恭、侯君集這樣的重要人物。而唐軍俘虜的周軍人員，卻幾乎都是中低階軍官和小兵，無足輕重。所以長孫無忌便堅持，一定要唐軍支付大批贖金，才能換回李孝恭等人。
而李世民卻並不想支付這筆錢，因為這完全不在自己的計劃之內。而且他對於李孝恭的貪功冒進本來就有些生氣，這些怨氣自然而然就表現在了，對唐軍談判代表的授意上。
裴寂、段志玄兩人在贖金上和長孫無忌、宋金剛爭論了很久，導致談判一度陷入僵局。
後來，李孝恭的一名老部下，偷偷派人回到長安，將此事通報了李孝恭的夫人。
李孝恭的夫人得知丈夫被擒，而李世民卻在贖金上堅持不肯讓步後，便到李淵宮中大哭大鬧，弄得朝中宮中人人皆知。
李淵雖然對李孝恭也有些不滿，但在這種情況下，他總不能因為少出幾個錢就放棄李孝恭，這樣將會讓將士們寒心。更何況李孝恭還是自己的親弟弟，更加不能放棄。於是，他只得派人到前線，通知李世民，馬上答應宇文明的贖金要求。
李世民見是父皇的命令，雖然極不情願，但也只好同意。於是談判的最大難點得以解決。
大業十三年臘月三十日，以隋朝年號紀年的最後一天，唐周雙方在夏縣達成了《夏縣休戰協議》協議內容主要有以下幾點：
1、唐周雙方從即日起，停止一切戰爭及敵對行為。
2、以雙方的實際控制線為唐周雙方的臨時邊界。未經對方允許，不得有軍方人員進入對方領地。
3、雙方不得為對方商人來本地經商、居住設定障礙。
4、一個月內，唐周雙方均需全部釋放對方的俘虜。
5、如果在協議期間，雙方中有一方與第三方發生戰爭，則另一方不得向第三方提供軍事援助和支援。
6、條約有效期為兩年，從簽定之日起生效。
在條約簽訂之前，唐朝就用五千兩黃金贖回了李孝恭和侯君集兩人，這樣便避免了將支付贖金的丟臉之事，寫入了條約之中。而雙方其餘的俘虜，則都沒有什麼異議，同意全部放回。
休戰協議的最後一條，便是宣佈此協議有效期為兩年。因為雙方都知道，兩年之後，天下的形勢又不知道發生了多少變化，很有可能雙方將會面臨一場大決戰了。所以，就算時間再延長幾年，到時也很有可能不會遵守。
條約簽定之後，雙方的軍隊便開始陸續撤軍。宇文明命林子墨率三萬軍隊駐守太原，並在所佔河東中部和北部各郡縣派駐了從數百到數千人不等計程車兵擔任郡兵。而現在他更是深深地感受到了自己人才的缺乏。
軍隊的將領倒還好說，可以以老帶新，在基層軍官中發現好苗子並加以提拔和培養。同時還開設了軍校，讓軍官們進入學習，基本上可以杜絕庸才任命成高階軍官。
可地方各地的官員就難辦了。新打下來的山東、河東、河北之地。原有的官員大多被殺或者逃亡了，就算沒有逃亡，宇文明也未必敢用他們。可治理地方，管理自己的地盤，又缺少大批能幹又清廉的官員，這卻讓他犯了難。
雖然在回北平的路上，長孫無忌提議，可以從山東士族的子弟中，選取一些賢能者出任地方官員，但宇文明卻不是太想這樣做。
因為這樣一來，便意味著再度向門閥世家低頭，他會如同隋朝的開國皇帝楊堅一樣，受到門閥貴族的制約。只不過，制約他的門閥從關隴貴族換成了山東士族而已。
「看來，還得慢慢培養一些，既忠於大周，又有治理地方能力的人才才行啊！」宇文明不禁自言自語道。