骠骑大将军霍去病率兵打败匈奴，使其退到大沙漠以北。有时候匈奴派使者到汉朝来访问，为了表示友好，汉朝也派使者去回访，还送一些中原地方的土特产。可是匈奴单于很不讲信用，经常扣留汉朝派去的使者。汉朝为了报复，也扣留匈奴派来的使者。日子一久，双方互相扣留使者的事就有十多起了。这时，西域已经安定，汉武帝便打算给匈奴一点颜色看看。
天汉元年（公元前100年），匈奴放了被他们扣留的汉朝使者路充国，路充国随同匈奴的使者回到了长安。汉武帝立即召见了他，问明情况。路充国陈奏说：“现在匈奴由且鞮继单于，他十分怕汉朝派兵打他，自称：‘我乃儿子，怎么敢对抗汉朝，汉天子是我丈人呢！’并且把原先扣留的汉使全部释放送回，奉书求和。”
汉武帝听了路充国的报告，又招来匈奴使者，让其呈上来书，展阅一番后，觉得匈奴单于且鞮果然还懂道理，决定与匈奴友好相处。于是他就派中郎将苏武为正使、副中郎将张胜为副使，带着助手常惠和一百多名士兵，以及许多金银绸缎等礼物，护送以前扣留下来的全部匈奴使者，出使匈奴。
苏武到了匈奴，把匈奴使者交还给了单于，并且送上礼物。匈奴单于见到汉朝送来那么多礼物，反而骄横起来。苏武为了维护双方的友好，尽量耐着性子跟单于打交道，准备完成任务后，好快点返回汉朝。
正在苏武准备回汉朝的时候，发生了一件意外的事情。原来，早在苏武出使匈奴之前，汉朝使者卫律投降了匈奴，并且死心塌地地为单于出谋划策。卫律的部下有个叫虞常的人，是个忠于汉朝的血性汉子。苏武出使匈奴，虞常高兴极了。他本来认识苏武的副使张胜，就暗地和张胜商量说：“卫律这个卖国贼，干尽了坏事。我决定暗地里除掉他。”张胜很赞成虞常的打算，并资助了他一些财物。但计谋被泄露，虞常被单于逮捕，交给卫律审问。
事情发生后，张胜只好把虞常跟他合计的经过告诉了苏武。苏武说：“事情已经到了这般地步，你才告诉我，看来我也要受牵连了。我是汉朝使者，如果上公堂受审，等于我们汉朝受了侮辱，还不如趁早自杀为好。”说着，就拔出刀来要自杀。张胜和随员常惠手疾眼快，夺去他手里的刀，把他劝住了。
卫律审问虞常，使他受尽了种种刑罚，但他只承认跟张胜是朋友、说过话，至死也不承认跟他同谋。
第二天，卫律又提审虞常和张胜，叫苏武去旁听。在审问的过程中，卫律当场把虞常杀死，以此来威胁苏武。张胜害怕了，跪下投降，并承认了与虞常同谋。于是，卫律劝苏武投降，他举着宝剑对苏武说：“你不投降，我就杀了你！”苏武面不改色地迎上去说：“你胆敢杀了我，汉朝定会发兵荡平匈奴，你会死无葬身之地。”卫律看苏武那样镇定，知道用武吓不倒他，只好向单于报告。单于听说苏武这样坚定，就更希望他投降，便让卫律去劝苏武投降。
苏武听卫律让他投降匈奴，怒气冲冲地说：“卫律，你这个无耻之徒。你是汉人的儿子，做了汉朝的臣子。可你厚颜无耻地做了汉奸，背叛了父母，背叛了朝廷，还有什么脸面来同我说话。”
卫律碰了一鼻子灰，只好向单于报告。单于便把苏武下了地窖，不给他饮食，想用长期折磨的办法，逼他屈服。这时候正是入冬天气，外面下着鹅毛大雪。苏武忍饥挨饿，渴了，就捧一把雪止渴；饿了，就扯一些皮带、羊皮片什么的啃着充饥。
过了几天，单于见折磨他也没用，只好把他放出来，说要封他为王，苏武说什么也不答应。单于只好又把他送到北海（今贝加尔湖一带）边去放羊，还说：“等公羊生了小羊，就放你回去。”公羊怎么能生小羊？这么说无非是想把苏武长期监禁罢了。
苏武到了北海边，身旁什么人都没有，和他做伴的只有那一群公羊和那根代表汉朝的旌节。苏武拿着那根旌节从不离手，连晚上睡觉也搂在怀里，他总想着有一天，拿着旌节回到自己的国家。
北海终年白雪皑皑，荒原千里，人迹罕至。为了生存下去，回汉复明，苏武经常取野鼠洞里的草籽来充饥。岁月悠悠，北海的风雪染白了他的须发，冻饿练就了他铮铮硬骨，苏武在北海一待就是十九个年头。
汉武帝死后，汉昭帝即位，匈奴又跟汉朝进行和议。这时昭帝年纪还小，大臣霍光掌握着朝中大权，他对匈奴使者提出要求说要放回苏武等被匈奴扣押的汉朝使者。可是，匈奴人却骗汉朝大臣说苏武已死了。与苏武一同出使的副使常慧被单于流放到别处，现在也活着，他收买了匈奴兵，得到了与汉使见面的机会。常惠告诉使者苏武还活着，并出了一个主意，让汉使救苏武。
第二天，使者去见单于，提出放苏武回朝的要求。单于说：“我早说过，苏武已经死了。”使者脸色一沉道：“你们说想和汉朝和好，我看你们根本无诚意。苏武根本就没有死。有一天，我们皇上在上林苑里射猎，射下一只大雁，那大雁脚上系有一封信，说苏武就在北海牧羊。”单于听使者这么一说，不觉大惊，只好承认苏武还活着，并派人将苏武从北海接回。
汉昭帝始元六年（公元前81年）春天，苏武、常惠等九人才回到久别的首都长安。苏武出使的时候，是个四十岁左右的壮年汉子，他在匈奴度过了19年异常艰苦的岁月，回来已经是个须发全白的老年人了。他坚强不屈，不怕磨难，永不失节的非凡事迹，轰动了朝野上下，不论是做官的，还是普通老百姓，一提起苏武的名字，没有一个不钦佩的。