原计划远征大军从定襄北上，由霍去病率骁勇善战的将士专力对付匈单于。后来从俘获的匈兵中得知匈伊稚斜单于远在东方，于是汉军重新调整战斗序列。汉武帝命霍去病从东方的代郡，卫青从定襄。

公元前121年，西汉对匈的第二次大战役开始，由霍去病指挥，结果使汉朝完全控制了河西地区，切断了匈与羌人的联系。

公元前124年，汉武帝命卫青率三万骑兵从阙发；苏建、李沮、公孙贺、李蔡都受卫青的节制，率兵从朔方发；李息、张次公率兵由右北平发。这次总兵力有十几万人。匈右贤王认为汉军离得很远，一时不可能来到，就放松了警惕。卫青率大军急行军六、七百里，趁着黑夜包围了右贤王的营帐。这时，右贤王正在帐中拥着妾，畅饮酒，已有八九分醉意了。忽听帐外杀声震天，火光遍野，右贤王惊慌失措，忙把妾抱上，带了几百壮骑，突重围，向北逃去。汉军轻骑校尉郭成等领兵追赶数百里没有追上，却俘虏了右贤王的小王十余人，男女一万五千余人，牲畜有几百万。汉军大获全胜，奏凯歌，收兵回朝。

为了彻底击溃匈主力，汉武帝集中全国的财力、力，准备发动对匈的第三次大战役。公元前119年，汉武帝召集诸将开会，商讨军方略。他说：“匈单于采纳赵信的建议，远走沙漠以北，认为我们汉军不能穿过沙漠，即使穿过，也不敢多作停留。这次我们要发起大的攻势，达到我们的目的。”于是挑选了十万匹壮的战，由大将军卫青、骠骑将军霍去病各率锐骑兵五万人，分作东西两路，远征漠北。为解决粮草供应问题，汉武帝又动员了私人匹四万多，步兵十余万人负责运输粮草辎重，跟在大军之后。

卫青大军北行一千多里，跨过大沙漠，与严阵以待的匈军遭遇了。卫青临危不惧，命令队用武刚车迅速环绕成一个固的阵地，然后派5000骑兵向敌阵冲击。匈动一万多骑兵迎战。双方激战在一起，非常惨烈。黄昏时分，忽然刮起暴风，尘土，沙砾扑面，

大将军卫青麾下，将济济。李广为前将军，公孙贺为左将军，赵其为右将军，曹襄为后将军。卫青考虑到前将军李广年纪已、运气又不好，就没让他担任先锋，而是与右将军赵其两军合并，从右翼行包抄。卫青自己率左将军公孙贺、后将军曹襄从正面兵，直匈单于驻地。

赵信向伊稚斜单于建议：“汉军不知厉害，竟打算穿过沙漠。到时候，人困乏，我们以逸待劳，就可以俘虏他们。”于是下令所有的粮草辎重，再次向北转移，而把锐队埋伏在了沙漠北边。

经过几次打击，匈依然猖獗。代地，攻雁门，劫掠定襄。公元前123年二月，汉武帝又命卫青攻打匈。公孙敖为中将军，公孙贺为左将军，赵信为前将军，苏建为右将军，李广为后将军，李沮为弩将军，分领六路大军，统归大将军卫青指挥，浩浩，从定襄发，北数百里，歼灭匈军数千名。这次战役中，卫青的外甥霍去病率800骑首次参战，取得了歼敌两千余人的辉煌战果。战后全军返回定襄休整，一个月后再次，斩获匈军一万多名。但是，右将军苏建和前将军赵信与匈打了一场遭遇战，汉军死伤惨重，苏建突围逃回，赵信本是匈降将，兵败后就又投降了匈。

汉武帝接到战报，喜望外，派特使捧着印信，到军中拜卫青为大将军，加封邑8700，所有将领归他指挥。卫青的三个儿都还在襁褓之中，也被汉武帝封为列侯。卫青非常谦虚，决推辞说：“微臣有幸待罪军中，仰仗陛下的神灵，使得我军获得胜利，这全是将士们拚死奋战的功劳。陛下已加封了我的邑，我的儿年纪尚幼，毫无功劳，陛下却分割土地，封他们为侯。这样是不能鼓励将士奋力作战的。他们三人怎敢接受封赏。”汉武帝随后又封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎、李沮、李息、豆如意等。

在讨论如何置苏建弃军而逃的罪过时，有人建议将他斩首以建立大将军的威严，有人认为苏建是尽力而战的，不应斩首。卫青认为自己为皇亲国戚，没有必要再建立威严；自己本有权力可以决将，却不敢擅杀。他要一个人臣不敢专权的榜样，于是把苏建用囚车送回长安由皇帝理。汉武帝赦免了苏建的死罪，令其纳了赎金后贬为平民。