衛玄不知是計，只顧追趕，結果這時楊玄感的伏兵沖了出來，隋軍大為恐慌，幾乎潰不成軍。衛玄的前軍全被殲滅。
幾天後，衛玄又與楊玄感交戰，兩軍剛交戰不久，楊玄感就故意讓人大呼道：「官軍已經捉住了楊玄感了！」
衛玄軍以為己方大勝，頓時鬆懈了下來。但這時，楊玄感親率八千騎兵乘機從側翼進攻，並高呼自己還在，楊玄感軍頓時士氣大振。
衛玄軍士卒眼見敵軍主帥還在，心中落差極大，士氣頓時受挫，加上受到楊玄感軍兩面夾擊，頓時被殺得大敗。衛玄最後只帶了兩千人逃走。
楊玄感驍勇力大，每次作戰，他都親自揮舞長矛，身先士卒，呼叫叱吒，眾敵莫不震駭。人們把他比作項羽。
而在起事前期，他又善於安撫、帶領部隊，那些投軍計程車兵也樂意為他拚死效力，因此戰無不勝。
衛玄軍被追殺得十分窘迫，一直退到邙山才站穩腳跟。
不過這時他也得到了從河東、荊襄趕來的隋軍支援。
但他的兵力雖然增加了，可糧食卻有些不足。於是衛玄決定孤注一擲，率領全部人馬上前決戰，陣地就擺在北邙。
由於隋軍是背水一戰，十分勇猛，和楊玄感軍在一天之中，交戰了十幾次，雙方互有勝負。
楊玄感也第一次遭受到了挫敗：他的弟弟楊玄挺不小心被隋軍流箭射死，導致其所率部隊崩潰。
無奈之下，楊玄感軍不得不稍稍退卻。而這時，在滎陽的李淵也派兵趕到，從楊玄感軍背後殺到，李淵之子李玄霸陣前一錘擊斃了楊玄感的弟弟楊玄縱。楊玄感軍頓時大敗，不得不向黎陽退去。
而這時，楊廣卻已經到了河北。他於是先命從江淮趕來支援的武賁郎將陳稜，率一支偏師，急行軍到了黎陽城下，開始進攻已經投誠楊玄感的元務本。
然後，楊廣又派右武衛將軍屈突通駐紮在河陽，準備渡過黃河進攻楊玄感軍。
左翊衛大將軍宇文述也率十萬隋軍發兵繼進，楊玄感原本一片大好的形勢，頓時逆轉。
楊玄感這時方懊悔不已，忙請計於李密。
李密思忖片刻之後，則獻計道：「主公，宇文述有大軍十萬，且軍中猛將如雲，如待其大軍到達，我軍就勢難抵擋。但屈突通軍則兵力稍弱。如讓其渡過黃河，和宇文述合兵一處，那麼就敗局已定。不如分兵拒守黃河，只要讓屈突透過不了黃河，則樊子蓋、衛玄就失去了援兵。而己方搶在敵人援兵到來之前，先行擊潰衛玄和樊子蓋軍，尚有一線勝利希望。」
楊玄感認為此計可行，便派其子楊嶸分兵赴黃河拒防屈突通。
樊子蓋卻看破了他的計謀，一直不停地進攻楊玄感的軍營，便楊玄感又猶豫起來，擔心分兵之後，無力擊潰樊子蓋和衛玄的軍隊。
而屈突通便抓住此機會，渡過黃河，在破陵駐軍，威脅楊玄感軍的側翼。
此時，楊玄感不得不將軍隊一分為三，北面抵抗衛玄，東面抵抗屈突通，西面抵擋樊子蓋。
數天之後，宇文述率隋軍主力到達戰場，並與屈突通、樊子蓋和衛玄三人取得了聯絡，四路隋軍同時出擊，與楊玄感展開了大戰。
由於隋軍兵力雄厚，楊玄感軍頻頻敗北。
楊玄感不得已，又請計於李密，李密嘆息道：「如今隋軍主力援軍已到，我軍屢敗，不可久留。現在關中隋軍早被衛玄帶來河南，其內空虛。我軍不如直接進入關中，開啟永豐倉，以賑濟窮人，重新聚集力量。奪取關中之後，再向東發展，爭奪天下，這也是唯一的希望。」
李密所獻的計策，其實就是當初他為楊玄感獻的上中下三策中的中策。
只不過，如果在隋軍主力沒有返回之前用此策，倒不失為一