东汉末年，宦官干政，人民苦不堪言，张角等人带头起义，起义军都有黄色布袋做记号，所以大家称黄巾军。由于当时皇帝还小，无力指挥镇压叛乱，中央只能允许各地方郡守自行招兵买马，镇压起义军。
因此各地的郡守和州刺史手里都掌握一定的兵权，就在这个时候，张郃参加了地方武装。张郃最早是追随韩馥，在镇压张角起义的过程中表现极为出色，为韩馥屡建奇功。随着各个地方招兵买马，黄巾很快就被镇压下去，黄巾军的起义虽然失败，都是从根本上动摇了东汉的统治地位。
由于地方的大量招兵买马，地方实力大增，中央很难控制到地方。189年董卓入京，霍乱朝纲，搞得首都洛阳民不聊生，随后各地便纷纷声讨董卓，不久后，各地诸侯共同结盟，史称“十八路诸侯讨董卓”。随着董卓败退，不久被吕布杀死。
董卓一死，各地诸侯就纷纷开始打着自己的如有算盘。十八路诸侯解体后各路诸侯开始自己地盘扩张计划。张郃在追随韩馥期间虽然屡次建奇功，但是并没有得到重用，袁绍在河北地区大张扩张领土的时候，就把势力弱小的韩馥顺带给灭了，张郃本身对韩馥也没有什么感情可言，索性就投降了袁绍。
在跟随袁绍期间，在攻打公孙瓒也屡建奇功，还与当时名将赵云单挑过，可惜败了，毕竟赵云是五虎上将之一，败了也不丢人。袁绍为人也是格局小，不知道重用人才，张郃在袁绍阵营了不仅没有得到重用，反而在官渡之战的时候被猜忌。随着统一北方四州后开始对中原的曹操虎视眈眈，而曹操也在南方各个诸侯虎视眈眈的情况下积极备战。
官渡之战爆发后，前期曹操处于不利的局面，随着袁绍在用人方面的错误决策，导致袁绍阵营开始出现人才往曹操阵营流失的现象。就在这样的一个背景下张郃率部投靠了曹操，这对袁绍来说可是致命一击，张郃投操后，乌巢就失去了援军，曹操就这样轻松的袭击了袁绍大营，就这样袁绍大败于官渡。
在投靠曹操后张郃不仅得到了曹操的重用，而且还还得到了曹操充分的认可。官渡之战后，曹操继续向北剿灭袁绍残余势力。张郃一直跟随。在攻击袁潭的战斗过程中，张郃也是屡建奇功，非常得到曹操的赏识与重用。曹操本身就非常爱惜人才，所以对张郃一直是非常信任。
张郃追随曹操南征北战三十几年，成为了曹操阵营的五子良将，五子良将在曹魏阵营当中地位是非常高的。张郃在赤壁之战后就一直退居二线，直到曹操去世后，曹丕的继位张郃重新被用到了前线。
225年曹丕任命张郃等人守长安地区，不久后曹丕因病去世，其子曹睿继位，在政权交接的时间里，蜀汉的诸葛亮果断北伐。在北伐的过程中屡战屡胜，一路攻城掠地，这时曹睿不得已重新任用了司马懿，司马懿立即在祁连山一带做了部署，而这一次的北伐诸葛亮误用了马谡，失了街亭。
由于在用人方面的失误，诸葛亮只能撤军以减少损失，在撤军的过程中，诸葛亮也做了很多埋伏，诸葛亮在得到张郃在后追击的情报后，果断在木门道地区埋伏，由于木门道两边有高山，便于埋伏。由于曹军在街亭胜利后，有些骄兵，追击势头有些猛烈，让张郃没有考虑到诸葛亮会设伏。由于疏忽大意，张郃最终在木门道被诸葛亮设下的伏兵乱箭射死。
张郃之所以在后期那么牛，是因为很多名将都已经过世，在赤壁之战之时，这个时期的汉末人才济济，张郃都排不上号，到了三国鼎立的时期，各个名将相继去世，最后一个五虎上将也走了，所以后期只有魏延能与之匹敌。
