五六年后，匈奴贵族於玕王带领部众打猎来到北海，见到苏武在如此恶劣的条件下仍威武不屈，顽强地生活下去，不由对他产生了几分敬意。苏武本有一手编结打猎所用的网缴和矫正弓驽的技术，便在这时传授给於玕王，因而更受於玕的敬爱，时常送给他一些衣食用具。就这样，苏武的生活才有所改善。又过了三年多，於玕王生病，自知将不久于人世，于是又赠送给苏武一些牛羊及帐幕用具。不久，於玕王病死，其部落人众远徙他处。而就在当年冬天，丁零人又盗走了苏武的牛羊，又使他再度陷入困境。
三正气凛然词羞李陵
就在苏武被匈奴扣留的第二年，其故人李陵也来到匈奴中。
李陵，字少卿，汉陇西成纪（今甘肃省秦安）人，是汉朝著名将领“飞将军”李广的孙子。李陵为人，善于骑射，谦让下士，颇有名誉，曾奉武帝之命率领800余骑，深入匈奴2000里，武帝认为他颇有其祖李广之风，回师后官拜骑都尉，使率精兵5000人，在酒泉、张掖防御匈奴。天汉二年（公元前99年），武帝决定再次向匈奴发起进攻，派贰师将军李广利率3万骑出兵酒泉，命李陵负责后勤，运输粮饷。李陵请求自率一队与匈奴作战，武帝同意其请，并命令强弩都尉路博德半道接应。但路博德不愿为李陵作援兵，李陵只得自率步兵5000，孤军深入。李陵军从居延出发，北行30余日至于浚稽山下，与单于率领的兵众相遇。匈奴3万余骑兵将李陵所率的5000步兵围住，但李陵布阵严密，千弩俱发，将敌兵击退，并追杀数千人。单于大惊，又急召8万余骑兵增援。李陵率兵且战且退，退至山谷中，又斩杀匈奴数千。最后，50万矢皆尽，兵士只有以砍下的车辐、刀尺充作武器，与匈奴拼搏，败局已无法挽回。李陵原欲自杀，后又想若能有幸脱围，回朝后也好向武帝报告战况，于是令兵立准备于粮饮水，相约突围至遮虏障会合。夜半时分，李陵率壮十十余人突围，又被数千匈奴追上，团团围住。经一番血战，李陵环顾部下已所剩无几，于此生死关头，李陵终未能自保名节，声言：“无面目报陛下”，投降了匈奴。
李陵降匈奴后，单于因他作战勇猛，颇为赏识，把女儿许配给他为妻，并封为右校王，每有大事，常召他商议。汉武帝得知后，则抹杀了李陵的母亲妻子，
李陵虽然在匈奴中颇为尊贵，但与苏武誓死不降相比，终自感羞愧，因而一直不敢去见苏武，直到十几年后，因奉了单于劝降之命，才不得不前去见苏武。
李陵来到北海，为苏武置酒设乐。苏武念旧时情谊，未便拒绝。宴饮之间，李陵终于把话题转到劝降上来，对苏武说：“单于听说我与你一向交厚，因而使我来劝说于你，如今你被扣匈奴，终不能回到汉朝，白白自苦于这无人之地，你虽讲求信义，而又会有谁知道呢”？接着，李陵又说到苏武出使匈奴后，家中所发生的变故。原来，在苏武离开长安后，家中连续发生了一系列的不幸。苏武的哥哥苏嘉，官任奉车，随武帝到雍城棫阳宫时，因扶辇车下除道时车辕被柱子碰断，结果被弹劾为大不敬罪，被迫自杀。官任骑都尉的弟弟苏贤，在随武帝到河东祭祀后土时，黄门驸马与宦骑争船，被推入河中淹死，武帝令苏贤捕拿宦骑，因未拿获，苏贤亦怕获罪而服毒自杀。苏武的老母也已去世，而妻子则已改嫁他人。家中仅存的妹妹2人和子女3人，十多年中亦生死不明。说完这些不幸之事，李陵又劝道：“人生如同朝露，你为何自苦如此？我刚降匈奴时，也是心中恍惚，如癫如狂，自痛有负汉朝，且当时我老母尚在，被朝廷拘押。而今你家中已无人顾念，不欲降之情，何以超过我呢？又者，今陛下年事已高，法令无常，大臣无罪而被诛杀者多达数十家，即使在汉朝为官，安危亦不可预料，你还又为谁出力呢？希望听我一言，毋冉固执。”
苏武自来到匈奴，对家中之事全然尤闻，此时闻知母死妻嫁，兄弟俱亡，不禁潸然泪下，悲痛万分，但誓死不降的决心丝毫没有动摇，于是忍着悲痛回答李陵道：“我苏武父子本无多少功德，全出于陛下成全，位至将军，爵拜通侯，兄弟皆为朝廷近臣，因而常思肝脑涂地以报陛下知遇之恩。今能杀身自效，即受斧钺汤镬，亦心甘情愿。臣下事君，如同儿子事父，子为父死无所恨，望不要再言及投降之事。”
李陵见苏武的决心难以动摇，只好暂巨忍住，一连在北海停留数日，天天与苏武饮酒，欲再找机会相劝。一天，李陵又说道：“子卿，你一定要听我的劝告。”苏武见他仍不死心，便愤然作色道：“我已久有必死之志，王如必定要使我降，请尽今日之欢，我便死在你的面前。”李陵见苏武仍坚贞不屈，且已不念旧情而改称自己为王，不禁满面羞愧，喟然长叹道：“嗟乎，义士！陵与卫律之罪上通于天。”只得辞别苏武而去。
李陵辞别苏武后，有意对苏武的生活私下帮助，但又羞于亲自出面，便让其妻送给苏武几十头牛羊。不久，苏武又娶了一位匈奴女子为妻，生活又有所好转。
公元前87年，李陵再次来到北海告诉苏武：匈奴边兵捕获的汉朝云中郡百姓称太守及以下吏民皆身着白服，说皇帝已经驾崩。苏武听到武帝已死，面向南方放声痛哭，以至呕血。此后数月，仍按君丧之礼早晚哭泣示哀，不忘身为汉臣。
四历尽艰辛重返故国
苏武身陷匈奴，困居北海，此生还能否回到汉朝，完全取决于汉匈关系能否改善。然而在他被匈奴扣留的第二年，汉朝与匈奴又重开战局，此后终武帝之世，汉朝在与匈奴的战争中虽然有些小胜，但总的来说，已不能保持前一时期的优势，而不断失利。因此匈奴对汉朝的态度又渐渐强横起来。武帝末年，匈奴曾遣使致书汉朝，声称：“南有大汉，北有强胡。胡者，天之骄子也，不为小礼以自烦。”同时还要求“娶汉女为妻，岁给遣我糵万石，稷米五千斛，杂缯万匹”（《汉书·匈奴传）》。汉朝则不答应这一要求。在这种形势下，苏武自然难以被放回汉朝。
但是，长期的汉匈战争，毕竟使匈奴受到沉重的打击。汉武帝时期几次大的战役“汉兵深入穷追二十余年，匈奴孕重堕殰，罢（疲）极苦之”（《汉书·匈奴传》），又失去阴山、河南水草丰盛的牧场，损失极大，以至“兵数困，国益贫”，“民众困乏”（同上）。而长期的战争，也使得匈奴内部的矛盾加深，“百姓未附”、“国中多不安”（同上），匈奴贵族内部的矛盾亦日趋尖锐。这一切都说明匈奴政治、经济。军事实力已大大衰落，渐失向汉朝主动进攻之力。
汉武帝太始元年（前96年）匈奴且崼侯单于死，由其子狐鹿姑单于继立。汉昭帝始元二年（前85年）狐鹿姑单于死前，遗命立其弟右谷蠡王为单于。但在狐鹿姑死后，颛渠阏氏与卫律未遵遗命，而将抓鹿姑之子立为壶衍崼单于。右谷蠡王与左贤王等因此心怀不满，先是打算投归汉朝，后又准备降服乌孙国以击匈奴，最终由于事情泄露，于是二王各自居本处，不再会匈奴的龙城之祭。
由于匈奴内部发生分裂，实力更加衰弱，因而壶们崼单于即位之后，就有同汉朝和亲之意。同时又常常害怕汉朝来袭，故又在其辖区内容共筑城、治楼、藏谷，以防汉军的进攻。后又担心匈奴人不能守城，只得进一步试探与汉朝通好、讲和。于是汉匈之间关系才得以缓和。
虽然汉朝与匈奴的关系有了缓和，但匈奴仍然不肯释放苏武回国。在双方使者往来之时，汉朝曾多次向匈奴索要苏武等被扣汉使，而匈奴每每诡称苏武早已死去，来搪塞汉朝。后汉使又来到匈奴，常惠得知消息，设法说通了看守的匈奴人，在夜问秘密见到汉使，才说明了实情。为防匈奴仍以诡言相欺，常惠又教汉使编造一个故事：说皇帝在上林苑中射得一雁，雁足系有帛书一封，上写有苏武在荒泽之中。使者闻听大一喜，即按常惠所教责备单于欺诈。单于见汉使已知实情，大吃一惊，不得已才承认苏武还活着，并同意放苏武等人回同，以表示与汉通好之意。至此，苏武才离开了他放牧19年的北海荒原。
得知苏武即将回国，李陵又来见苏武，置酒相贺。李陵想到苏武历经19年艰辛，始终坚贞不屈，今日终于得以返回故国，而自己却身为叛臣，只能久处异域，负千古罪名，愧疚之情油然再起。于是对苏武说道：“足下今得以归国，扬名于匈奴，功显于汉室，即使古时史册所载，丹青所画，又何以比过足下！我虽然弩钝怯弱，但当初降归匈奴实为权宜之计，而心中未忘寻找一适当的时机来报效汉朝。假如汉朝当初宽大我降敌之罪，保全我老母，我亦会像春秋时鲁之曹沫在柯地之盟时劫持桓公，索回侵地那样，伺机劫持单于，使其服汉。然汉朝诛杀了我老母及全家，为世之大辱，我尚复何顾呢？事已至此，无时挽回，今说到这些，不过是想使你知道我的心罢了。异域之人，从此与你长别了。”李陵说罢离座起舞，并作歌道：
径万里兮度沙幕，
为君将兮奋匈奴，
路穷绝兮矢刃摧，
士众灭兮名已聩。
老母已死，
虽欲报恩将安归！
随之泣下数行，与苏武诀别而去。
李陵说自己投降匈奴后原准备伺机报汉，因汉朝将其老母处死才未付诸行动，自然是遁词，但也看出苏武的不屈精神，确实使他深感愧疚。传世有《李陵与苏武诗》三首，其一曰：
良时不再至，离别在须臾。
屏营衢路侧，执手野蜘蹰。
仰视浮云驰，奄忽互相逾。
风波一失所，各在天一隅。
长当从此别，且复立斯须。
欲因晨风发，送子以贱躯。
其二日：
嘉会难再遇，三载为千秋一
临河濯长缨，念子怅悠悠。
远望悲风至，对酒不能酬。
行人怀往路，何以慰我忧。
独有盈觞酒，与子结绸缪。
其三日：
携手上河梁，游子暮何之。
徘徊蹊路侧，悢悢不得辞。
行人难久留，各言长相思。
安知非日月，弦望自有时。
努力崇明德，皓首以为期。
（转引自林剑鸣《秦汉史》上册）
这三首诗大概是后则假托李陵面作，但所刻画的李陵一失足成千古恨的难过心情当不为虚。
昭帝始元六年春，苏武终于回到阔别旧年的京帅长安。当初随他出使的属员百余人，此时仅剩下9人随他而归。
五像绘麟阁名垂青史
苏武回到长安后，作为褒奖，昭帝特命他用隆重的“太牢礼”（牛羊豕三牲）到武帝陵庙报告自己的归来。并官拜典属国，中二千石，赐钱200万，公田2顷，宅第1区。然时隔一年，苏武竟受到一场意想不到的政治斗争的牵连。
原来在汉昭帝即位后，同受武帝遗诏辅政的霍光、上官桀、桑弘羊几位大臣之间矛盾颇深。左将车上官桀因大将军霍光权在己上，对霍光心怀嫉恨，御史大大桑弘羊也囚政见不同，对霍光不满。而与上官桀之子上官安来往密切的武帝长女鄂邑盖长公主，则因其男宠丁外人封侯拜官之事为霍光所阻，也怨恨霍光，昭帝之兄燕工刘旦亦怀有野心，欲谋取皇位。于是这些反对霍光的势力便与燕王旦勾结，准备除去霍光。元凤元年（前80年），上官桀等暗中作为燕王上书，向昭帝控告霍光过失，为说明霍光“专权自恣”，书中说到苏武扣于匈奴近20年不降，回来仅官拜典属国，而霍光的下属长史无功却官任搜粟部尉。因此举未能成功，上官桀等又密谋刺杀霍光，废黜昭帝而迎燕王为帝，结果事情败露。苏武本与这场政治斗争无关，但因其子苏元涉于此事，而他素与上官桀、桑弘羊有旧，控告霍光的奏书中又曾为他鸣冤，问此廷尉上书，奏请将苏武逮捕治罪。幸而霍光不欲连及苏武，将奏书扣而不发，只罢免了他的官职。其子苏元则被处死。
苏武虽然被免去官职，但仍心系国事。元平元年（前73年），昭帝病死，无有子嗣，苏武以故二千石的身份参与了拥立宣帝之议。宣帝即位后，封苏武为关内侯，后来又官复典属国，并念他曾历尽艰辛而不辱使命，特加祭酒之号，使期望日朝见，以示优宠。朝中大臣亦都对他十分敬重。苏武晚年，宣帝怜其无后，听说他从匈奴返回时，他的匈奴妻子刚生一子，现已成人，于是特派使者持金帛前去将此子赎回，拜为郎官。宣帝神爵二年（前60年），苏武病逝，享年80余岁。
苏武逝世10年后，即汉宣帝甘露二年（前51年），南匈奴呼韩邪单于率众归属汉朝（当时匈奴已分裂为南北两部），从而结束了匈奴与汉朝之间百余年的战争状态。汉宣帝为此追忆有功之臣，特命将11名功臣的相貌画在未央宫的麒麟阁中，以接受后人纪念。苏武即在其中。
苏武出使匈奴，在威胁利诱之下所表现出的坚贞不屈精神，在我国历史上留下了光辉的一页。东汉史学家班固在《汉书》中专门为他立传记载他的生平事迹，并在“赞”中引用孔子的话赞颂他说：“‘志士仁人，有杀身以求仁，无求生以害仁’，‘使于四方，不辱君命，’苏子有之矣！”他的动人事迹和不屈精神，对后世产生了深远的影响。南宋抗元英雄、著名文学家文天祥在抗元失败被俘后，坚持民族气节，不受威胁利诱，在狱中写下《正气歌》，其中就有“在汉苏武节”之句，以苏武的事迹勉励自己，表明宁死不降之志。近代以来广为流传的《苏武牧羊》歌，更激励着中华民族无数志士仁人。