救烏巢，而派重兵去進攻曹操的大本營，結果不能夠攻下。很快，烏巢兵敗，訊息傳來，袁軍軍心動搖。郭圖聞訊後大為羞愧，為推卸責任，誣讒張郃不賣力作戰，失敗後還出言不遜。張郃心中害怕，與將軍高覽憤而投奔曹操。曹操聞張郃來降，十分高興，將此事比作微子去殷、韓信歸漢，於是拜張郃為偏將軍，封都亭侯，授予他部隊，隨軍作戰。由此看出，張郃是個極有謀略並深知軍機的將才，不負“巧變”之名。
＇204年＇，張郃隨曹操攻克鄴城，大敗袁尚。次年，又隨曹操在南皮消滅袁譚勢力。
＇207年＇，曹操遠征烏桓，張郃與張遼共為先鋒。戰後，張郃因功升為平狄將軍。後來，張郃又參加了征討管承，征討陳蘭、梅成等人的作戰。
＇211年＇，馬超、韓遂叛亂，張郃隨曹操出征，在渭南大破關中軍。繼而，張郃率軍圍攻安定，擊降楊秋。
＇214年＇，馬超在張魯支援下，捲土重來。張郃跟隨夏侯淵擊敗馬超，並平定了宋建的叛亂。
215年＇，曹操親率大軍進攻漢中，從散關入，派張率五千步兵在前開道，一直到陽平。張魯投降，曹操回軍，留張郃與夏侯淵、徐晃等守漢中，以拒劉備。同年，張郃率兵南下進攻巴西郡，欲遷徙當地百姓到漢中。劉備派徵虜將軍張飛為巴西郡太守，抗擊張郃。張郃軍進至巖渠，被張飛擊敗。這次張郃和張飛相持五十餘日，後來張飛利用有利地形，切斷張郃的前後聯絡，使他孤立無援，終於將其打敗。張郃損失較大，僅帶幾十人逃亡。但《三國演義》中說張飛用醉酒法誘使張郃出戰的情節確是虛構的。
＇218年＇，劉備進攻漢中，屯於陽平，夏侯淵、張郃、徐晃等率軍迎擊，張郃負責防守廣石。劉備親自率精兵萬餘人，分為十部，夜間猛攻張郃。張郃親自率兵與蜀軍進行搏鬥，劉備不能攻克。次年，魏軍主帥夏侯淵在定軍山戰死，曹軍大敗，張郃同敗軍一起退守陽平關東。司馬郭淮和督軍杜襲收斂散卒，推舉張郃繼夏侯淵為魏軍主帥。張郃出任，指揮士兵，佈置營寨，軍心安定。劉備欲渡漢水來攻，見魏軍在漢水以北列陣相迎，劉備於是放棄渡河，隔水相持。不久，曹操遣使令張郃假節。後來，曹操親自進攻漢中，不能取勝，於是撤出漢中的部隊，令張郃屯兵於陳倉。
＇220年＇，曹丕即位，任命張郃為左將軍，進封都鄉侯。不久，曹丕稱帝，又進封張郃為啵�睿�婕疵�鍅培A跟隨曹真征討安定的胡羌，之後與曹真一同進朝朝見。
＇223年＇，張郃同夏侯尚一起進攻江陵。張郃別督諸軍渡江，攻取洲上屯塢，擊敗孫盛屯塢裡的主力部隊萬餘人，又是大功一件。
＇227年＇，魏明帝曹叡即位，張郃奉命屯兵荊州，與司馬懿進攻孫權部將劉阿等人，追至祁口‘交戰，擊敗吳軍。
＇228年＇，蜀相諸葛亮第一次北伐，南安、天水、安定三郡響應。魏明帝曹叡加張郃位特進，使督諸軍，與蜀將馬謖戰於街亭。馬謖依守南山，下不據城，被張郃截斷水源，殺得大敗。繼而，張郃又平定了三郡的反叛。魏明帝曹叡下詔嘉獎張郃，增加食邑1000戶，前後一共4300戶。司馬懿在荊州訓練水軍，欲從沔江順流進入長江伐吳，魏明帝曹叡命令張郃率關中諸軍去荊州接受排程。張郃到達荊州後，正值冬天水淺，大船無法通行，於是又回軍屯駐方城。同年年底，諸葛亮第二次北伐，出散關圍陳倉。魏明帝曹叡急招張郃進京，把三萬士兵交給他指揮，並派遣武衛、虎賁等侍衛保護張郃。魏明帝還親至河南城置相酒送，問張郃能不能來得及救援陳倉，張郃判斷諸葛亮軍沒有糧草，一定不能持久，便回答等援軍趕到時，諸葛亮已經退走。張郃率軍連夜趕到南鄭，諸葛亮果然退軍，於是奉詔還於京都，被�