太和二年（228年），蜀漢丞相諸葛亮第一次北伐，派趙雲、鄧芝率偏師作勢由箕谷進攻關中，自己率主力進軍隴右。曹叡親臨長安坐鎮，派曹真率主力駐守郿縣防備趙雲，張郃率偏師援助隴右。諸葛亮派馬謖守衛街亭，馬謖在山上紮營，張郃切斷他的取水通道，隨后大敗馬謖。趙雲在箕谷的疑兵因此暴露，被曹真擊敗。曹真隨后進軍隴右，諸葛亮為避免被夾擊，只好退軍。曹真認為諸葛亮日后必會進攻陳倉，於是命將軍郝昭、王生守陳倉，修築城池。太和三年（229年），諸葛亮果然第二次北伐，出散關，猛攻陳倉。曹叡召張郃到京師，派他率軍救援陳倉，為張郃送行時，曹叡問他未來戰局會如何。張郃說：“估計我還未到，諸葛亮就已經退軍了。”因為郝昭早有準備，固守陳倉。諸葛亮久攻不克，糧草不濟，只好退軍。太和五年（231年），諸葛亮第四次北伐，曹叡派司馬懿統領張郃、郭淮、費曜等迎戰諸葛亮。司馬懿固守不戰，后來，李嚴運糧不濟，諸葛亮糧儘退回祁山。司馬懿派張郃追擊。張郃追到木門谷，遇到蜀軍伏兵，交戰中被箭射中右膝，傷重不治陣亡。諡為壯侯。