时北虏衰弱，臧宫与马武上书曰：「今匈奴人畜疫死，旱蝗赤地，疫困之力，不当中国一郡。万里死命，悬在陛下。福不再来，时或易失，岂宜固守文德而堕武事乎？今命将临塞，厚悬购赏，谕告高句丽、乌桓、鲜卑攻其左，发西河四郡、天水、陇西羌胡击其右。如此，北虏之灭，不过数年矣。」诏报曰：「黄石公记曰『柔能制刚，弱能制强』。柔者德也，刚者贼也，弱者仁之助也，强者怨之归也。故曰有德之君，以所乐乐人；无德之君，以所乐乐身。乐人者其乐长，乐身者不久而亡。舍近谋远者，劳而无功；舍远谋近者，逸而有终。逸政多忠臣，劳政多乱人。故曰务广地者荒，务广德者强。有其有者安，贪人有者残。残灭之政，虽成必败。今国无善政，灾变不息，百姓惊惶，人不自保，而复欲远事边外乎？孔子曰：『吾恐季孙之忧，不在颛臾。』且北狄尚强，而屯田警备传闻之事，常多失实。诚能举天下之半以灭大寇，岂非至愿；苟无其时，不如息人。」自是诸将莫敢复言兵事。范晔曰：「光武审黄石，存苞桑，闭玉门以谢西域之质，卑辞币以礼匈奴之使，其意防已弘深，岂其颠沛平城之围，忍伤黥王之阵乎！」
二十八年，北匈奴复遣使贡马及裘，更乞和亲。帝下三府议酬答之宜。司徒掾班彪奏曰：「臣闻孝宣帝敕边守尉曰：『匈奴大国，多变诈。交接得其情，则却敌折冲；应对入其数，则反为轻欺。』今北匈奴见南单于来附，惧谋其国，故数乞和亲。臣见其献益重，知其国益虚，归亲愈数，为惧愈多。然今既未获助南，则亦不宜绝北，羁縻之义，礼无不答。谓可颇加赏赐，略与所献相当，明加晓告以前代呼韩邪、郅支行事。」呼韩单于称臣受赐，郅支单于背德被诛。帝从之。
明帝永平中，胡邪尸逐侯鞮单于立。落之子，名长。时北匈奴犹盛，数寇边，朝廷以为忧。会北单于欲合市，遣使求和亲，帝冀其交通，不复为寇，乃许之。八年，遣使报命，而南部须卜骨都侯等知汉与北虏交使，怀嫌怨欲叛，密因北使，令遣兵迎之。汉知之，乃更置大将，以防二虏交通。其秋，北虏果遣二千骑觇候朔方，作马革船，欲渡迎南部叛者，以汉有备，乃引去。复数寇钞边郡，焚烧城邑，杀掠甚众，河西城门昼闭。帝患之。十六年，大发缘边兵，遣诸将四道出塞，北征匈奴。虏闻汉兵来，悉渡漠去。时北虏衰耗，党众离叛，南部攻其前，丁零寇其后，鲜卑击其左，西域侵其右，不复自立，乃远引而去。
章帝章和中，鲜卑入左地击北匈奴，大破之，斩优留单于，取其胸皮而还。北庭大乱，屋兰储、卑胡、都须等五十八部，口二十万，诣云中、五原、朔方、北地降。时北虏大乱，加以饥蝗，降者前后而至。南匈奴休兰尸逐鞮单于胡邪之子，名屯屠何。将讨并北庭，会帝崩，窦太后临朝，单于上言：「今乌桓、鲜卑讨北虏、斩单于首。臣与王侯、新降渠帅议方略，皆曰宜及北虏分争，出兵讨伐，破北成南，并为一国，令汉家长无北念。」又请汉兵并力，以屯要害。从之。
和帝永元初，乃以耿秉为征西将军，与车骑将军窦宪率骑八千，与度辽兵及南单于众三万骑，出朔方击北虏，大破之。北单于奔走，斩首虏二十余万人。二年春，南单于复大破北虏，单于将轻骑数十遁走。是时南部连克获纳降，党众最盛，领户三万四千，口二十三万七千三百，胜兵五万一百七十人。三年，北单于复为右校尉耿夔所破，逃亡不知所在。其弟右谷蠡王于除鞬自立为单于，将数千人止蒲类海，今北庭府界。遣使款塞。大将军窦宪以塞北地空，宪欲结恩北虏，乃上书请立于除鞬为北单于，置中郎将领护，如南单于故事。下公卿议。司徒袁安、司空任隗以为，光武招怀南虏，非谓可永安内地，正以权时之算，可得扞御北狄故也。今朔漠既定，宜令南单于反其北庭，并领降众，无缘复立于除鞬，以增国费。上封事曰：「光武皇帝本所以立南单于者，欲安南定北之策也，恩德甚备，故匈奴遂分，边境无患。昔孝明皇帝奉承先意，不敢失坠，赫然命将，爰伐塞北。章和之初，降者十余万，议者欲置之滨塞，东至辽东，太尉宋由、光禄勋耿秉皆以为失南单于心，不可，先帝从之。陛下奉承洪业，即和帝也。大开疆宇，大将军远师讨伐，席卷北庭，此诚宣明祖宗，崇立弘勋者也。宜审其终，以成厥初。伏念南单于屯，先父举众归德，自蒙恩以来，四十余年。三帝积累，以遗陛下。陛下深宜遵述先志，成就其业。况屯首唱大谋，空尽北虏，辍而不图，更立新降，以一朝之计，违三代之规。夫论语云：『言忠信，行笃敬，虽蛮貊之邦行矣。』今若失信于一屯，则百蛮不敢复保誓矣。且汉故事，供给南单于费直岁一亿九十余万，西域岁七千四百八十余万。今北庭弥远，其费过倍，是乃空尽天下，而非建策之要也。」朝廷不从，四年，遣耿夔即授玺绶，赐玉剑、羽盖，使中郎将任尚持节卫护屯伊吾，如南单于故事。方欲辅归北庭，会窦宪被诛。五年，于除鞬自叛还北，帝遂遣任尚追斩之，破灭其众。至十六年，北单于遣使诣阙贡献，愿和亲，北之国众自立单于。修呼韩邪故约。和帝以其旧礼不备，不许。后微，至灭无闻。
安帝延光三年，乌稽侯尸逐鞮单于立。胡邪之子，名拔。先是朔方以西障塞多不修复，鲜卑因此数寇南部，单于忧恐，上言求复障塞，顺帝从之。乃遣黎阳营屯兵黎阳即今汲郡黎阳县。出屯中山北界，增置缘边诸郡兵，屯塞下。
顺帝永和中，去持若尸逐就单于乌稽侯之弟，名休利。左部句龙王吾斯、车纽等背叛，寇西河，围美稷。单于本不同谋，中郎将陈龟以单于不能制下，逼迫之，单于自杀。大将军梁商以羌胡新反，党众初合，难以兵服，宜用招降，乃上表曰：「匈奴寇叛，自知罪极。种类繁炽，不可殚尽。今转运日增，三军疲苦，虚内给外，非国之利。窃见度辽将军马续素有权谟，且典边日久，深晓兵要。宜令续深沟高壁，以恩信招降，宣示购赏，明为期约。如此则丑类可服，国家无事矣。」帝从之。商又移书续等曰：「中国安宁，忘战日久。良骑野合，交锋接矢，决胜当时，戎狄之所长而中国之所短也。强弩乘城，坚营固守，以待其衰，中国之所长戎狄之所短也。宜务所长，以观其变，设购开赏，宣示反悔，勿贪小功，以乱大谋。」续及诸郡并各遵行，于是右贤王部抑鞮等以万三千口诣续降。秋，句龙吾斯等立句龙王车纽为单于，东引乌桓，西收羌戎及诸胡等数万人，寇掠幽、今范阳、上谷、渔阳郡并、今太原、西河、榆林、朔方郡。凉、今灵武、安化、平凉、金城郡地。冀等州。冀今常山、博陵、巨鹿、赵郡地。呼兰若尸逐就单于兜楼除先在京师，汉安二年立之，遣中郎将护送归南庭。建康初，中郎将马寔进击余党，匈奴、乌桓十七余万口皆诣寔降。桓帝建和初，伊陵尸逐就单于立，名居车儿。至延熹九年，诸部并叛，寇缘边九郡，以张奂为北中郎将讨之，悉降。
灵帝中平五年，右部落与休屠各胡白马铜等十余万人反，攻杀单于羌渠。初，单于呼征为中郎将张修所杀，遂立右贤王羌渠为单于，其子右贤王于扶罗立，为持至尸逐侯单于，国人杀其父者遂叛，共立须卜骨都侯为单于，而于扶罗诣阙自讼。会帝崩，天下大乱，单于将数千骑与白波贼合兵寇河内诸郡。今河内、邺、汲等郡。时人保聚，钞掠无利，而兵遂挫伤；欲归，国人不受，乃止河东。须卜骨都侯为单于一年而死，南庭遂虚其位，以老王行国事。
献帝兴平二年，单于于扶罗死，其弟呼厨泉立为单于，以兄被逐，不得归国，数为鲜卑所钞。帝自长安东归，右贤王去卑与白波贼帅韩暹等侍卫天子，拒击李傕、郭汜。及帝还洛阳，又从迁许，然后归国。建安二十一年，单于来朝，魏武因留于邺，而遣去卑归监其国焉。以其既在内地，人众猥多，惧必为寇，始分其众为五部，立其中贵者为帅，选汉人为司马以监督之。
魏末，复改帅为都尉。其左部居于太原故慈氏县，今西河郡隰城县。右部居祁县，今县。南部居蒲子县，北部居新兴县，中部居大陵县，今文水。多者一万落，少犹四五千落。
晋武帝初，塞外匈奴大水，塞泥、黑难等二万余落归化，帝复纳之，使居河西故宜阳城下。后复与晋人杂居，由是平阳、今平阳郡。西河、今西河、昌化郡。太原、今府地。新兴、今定襄、云中郡。上党、今郡。乐平诸郡，今乐平郡、太原府之闲。靡不有焉。泰始七年，单于刘猛背叛，帝遣娄侯何桢讨平之。其后稍因忿恨，渐为边患。侍御史西河郭钦上疏曰：「戎狄强犷，历古为患。魏初人寡，西北诸郡皆为戎居。今虽服从，若后有风尘之警，胡骑自平阳、上党不三日而至孟津，北地、今彭原郡地。西河、太原、冯翊、安定、上郡并今郡尽狄庭矣。宜及平吴之威，谋臣猛将之略，出北地、西河、安定，复上郡，实冯翊，于平阳以北诸县募取死罪，徙三河、三魏见士四万家以充之。裔不乱华，渐徙平阳、弘农、魏郡、京兆、上党杂胡，峻四夷出入之防，明先王荒服之制，万世之长策也。」帝不纳。太康五年，复有匈奴胡太阿厚率其部落三万人归化。七年，又有匈奴胡都大博及萎莎胡等各率种类大小凡十万余口，匈奴都督大豆得一育鞠等复率其种落大小万一千五百口，并来降，帝并抚纳之。按晋史云：「北狄以部落为类，其入居塞者，有屠各种、鲜支种、寇头种、乌谭种、赤勒种、捍蛵种、黑狼种，赤沙种、郁鞞种、萎莎种、秃童种、勃蔑种、羌渠种、贺赖种、锺跋种、大楼种、雍屈种、真树种、力羯种，皆有部落，不相杂错。屠各最豪贵，故得为单于，统领诸种。其国号有左贤王、右贤王、左奕蠡王、右奕蠡王、左于陆王、右于陆王、左渐尚王、右渐尚王、左朔方王、右朔方王、左独鹿王、右独鹿王、左显禄王、右显禄王、左安乐王、右安乐王，凡十六等，皆用单于亲子弟也。其左贤王最贵，唯太子得居之。其四姓，有呼延氏、卜氏、兰氏、乔氏。而呼延氏最贵，则有左日逐、右日逐，代为辅相；卜氏则有左沮渠、右沮渠；兰氏则有左当户、右当户；乔氏则有左都侯、右都侯。又有车阳、沮渠、余地诸杂号，犹中国百官也。其国人有綦毋氏、勒氏，皆勇健，好反叛。蛵，呼丁反。
惠帝元康末，魏武所分左部都尉左贤王刘元海汉初高帝以宫女妻冒顿，约为兄弟，故子孙遂冒姓刘氏。为首叛乱，窃大号，据神器，自是戎狄迭有中夏矣。元海父豹，即单于扶罗子左贤王也。
范晔论曰：「自汉兴，匈奴强炽为患，穷力殚财，寇虽颇折，而汉之疲耗略相当矣。宣帝值虏庭分争，呼韩邪来臣，乃权纳怀柔，因为边卫，单于保塞称藩，故曰边卫。罢关徼之警，息兵民之劳，六十余年矣。后王莽陵篡，扰动戎夷，续以更始之乱，方夏幅裂。自是匈奴得志，内暴滋深。光武以用事诸华，未遑沙塞之外，因徙幽、并之民，增屯戍之卒而已。其后匈奴争立，日逐来奔，愿修呼韩之好，以御北狄之冲，奉藩称臣，永为捍御。天子乃诏有司开北鄙，择肥美之地，量水草以处之。于是匈奴分破，始有南北二庭焉。后雠衅既深，互伺便隙，至于陷溃创伤者，靡岁或宁，而汉之塞地晏然矣。后亦颇为出师，令窦宪，耿夔之徒，前后掩其窟穴，蹑北追奔三千余里。单于震慑，遁走于乌孙之地，而漠北空矣。若因其时势，及其虚旷，还南虏于阴山，归西河于内地，上申光武权宜之略，下防戎羯乱华之变，使耿国之算不谬于当世，袁安之议见从于后王，平易正直，若此其弘也。而窦宪矜三捷之效，忽经世之规，狼戾不端，专行威惠。遂复更立北虏，返其故庭，并恩两护，以私己福，弃蔑天公，坐树大鲠。永言前载，何愤恨之深乎！自后经纶失方，叛服不一，其为疢毒，胡可殚言！降及后世，翫为常俗，终于吞噬神乡，丘墟帝宅。谓刘元海等及托跋氏并都中国。呜呼！千里之差，兴自毫端，失得之源，百世不磨矣。」