汉初，经济残破，民不聊生。秦时已经兴起的匈奴部族的势力逐渐强大，所控制的地域包括贝加尔湖以南辽阔的草原大漠。在秦末战争中，尽数收回了秦将蒙恬所占领的匈奴地方，又进入长城以南。楚汉战争时，中原疲于征战，匈奴日益强盛，军中勇士多达数十万，对新生的西汉帝国形成了严重的威胁。汉高祖七年，匈奴发兵攻打太原郡，兵临晋阳城下。刘邦于是亲自率军迎击匈奴，时值冬季严寒，士卒中冻伤患病的人大量增加。匈奴冒顿单于佯败，诱汉军北上。
三十二万汉军追击，刘邦先到平城，主力尚未抵达，匈奴派兵四十万将刘邦围困于平城东北的白登。汉军指挥中枢七日不能与汉军主力联系，亦无法得到后勤补给，不得不贿赂单于妻阏氏，使说服单于解围一角，终于脱逃，得与主力会合。匈奴退军，刘邦也引兵而罢。此后，汉与匈奴结和亲之约。相互约为兄弟，汉以宗室公主嫁与单于，每年给予匈奴织品酒米食品各有定数。不过，匈奴仍然时时侵扰代、云中、上谷等郡国，使北边地区社会经济生活难以安定。
自平城之役以来，汉廷与匈奴的关系，表面上以“和亲”形式维系，却一直处于战和不定的状态中。公元前177年夏天，匈奴右贤王乘文帝新即位，国内政局不稳，大举入侵河套以南地区。
匈奴破坏和亲，捕杀汉朝官吏和士兵，掠夺当地居民的财物和土地，汉文帝便发兵抗击匈奴的骚扰。这是自实行“和亲”政策以来，汉廷首次以兵戎对付匈奴。汉文帝派灌婴率八万五千车骑，在高奴迎击右贤王，又发中尉材官防守长安。文帝还亲自到甘泉督战，结果右贤王兵败逃出塞外。汉军乘胜追击，汉文帝从甘泉到达高奴，并取道高奴去太原。就在这时，济北王刘兴居得知文帝去太原，以为他要亲自指挥追击匈奴，乃起兵发动叛乱。汉文帝闻讯，立即命令灌婴罢兵，同时赶回长安，平定济北王的反叛。匈奴退回塞外后，即令右贤王西攻大月氏，先后征服楼兰、乌孙等二十六国。
公元前176年，冒顿单于派人给汉文帝送来一封信，表示愿意跟汉朝恢复和亲。由于当时匈奴新破月氏，士气方盛，形势对汉朝不利，同时汉朝需要一个和平的环境，以便恢复和发展社会经济，因此决定与匈奴恢复和亲。公元前174年，汉文帝派人前往匈奴，双方约为兄弟，还送给冒顿许多贵重物品。过了不久，冒顿单于死了，子稽粥继位，这就是老上单于。老上单于初立，文帝将一位宗室公主嫁给他，还派宦官中行说为陪嫁大臣，他到了匈奴后经常为单于出谋划策，劝他进攻汉朝，掠夺汉朝的财富，匈奴与汉廷的关系日趋紧张。公元前166年，匈奴以十四万骑攻入朝那、萧关一带，杀死汉朝将领，掳掠了大批人民和牲畜，烧毁安定郡的回中宫，甚至前锋到达雍县和甘泉，威胁着汉朝都城的安全。汉文帝派中尉周舍、郎中令张武调集十万骑兵，驻防长安以备匈奴。又派卢卿、周灶、张相如、董赤等人，发车骑进击匈奴，将匈奴赶出塞外。
从此，匈奴日益骄横，几乎年年骚扰边地，杀掠大量人民，云中及辽东两郡受害最为严重。公元前158年冬天，匈奴以三万骑兵侵犯上郡和云中郡，杀掠大批人民，告警频频传至甘泉和长安，京师为之震动。朝廷派大将屯守飞狐口、句注和北地。在都城长安附近，也派重兵防守。
周亚夫驻守细柳时形势紧张，驻军戒备森严，随时准备应急。汉文帝到细柳慰劳将士，周亚夫甚至披甲持兵，简直到了剑拔弩张的地步。过了一个多月，汉廷大兵赶至边地，匈奴撤出塞外，汉兵也停止追击。
汉文帝在位期间，为了谋求安定和平的环境，对匈奴一直采取克制的态度。他继续执行汉初的“和亲”政策，避免大动干戈。然而匈奴虽受益于和亲政策，却不信守和亲的盟约，大规模的骚扰就有三次，小的侵袭则不计其数，不但边郡人民深受其害，而且汉王朝用于军队的耗费也很大。当时晁错上书汉文帝，分析汉朝与匈奴双方在军事上各自的短长，指出匈奴是个擅长骑射的游牧部族，他们往来转徙无常，入侵之机灵活，一旦发现守塞之卒有所减少，便随时可以入境掠杀。如果朝廷不发兵救援，边民势必绝望而降附匈奴，而发兵人数少则无济于事，即使人数多，距离远的县也是救兵刚到，匈奴人却早已逃跑了。如果在边地驻扎防守，费用开支实在太大，不在边地驻守，匈奴人随时可以打进来。这样年复一年下去，则国穷而民不得安宁。于是，晁错提出在边地建立城邑，招募内地人民迁徙边地，每个城邑移徙千户以上的居民，由官府发给农具、衣服、粮食，直到他们能自给为止。凡接受招募迁往边地的老百姓，有罪的可免其罪，无罪的可以拜爵或者免除徭役。迁往边地的老百姓，能抵抗匈奴人的掠夺，夺回被匈奴人掠夺的财物，则由官府照价赏赐一半。这样，使远方无屯戍之苦，而塞下之民又可相保。
汉文帝采纳晁错的计策，便招募人民迁徙塞下，收到了良好的效果。不久，晁错在上《论贵粟疏》中，又提出使民以粟为赏罚的“贵粟之道”，规定凡入粟朝廷者可以拜爵，可以免罪。而入粟塞下者，也同样可以拜爵和免罪。汉文帝再次采纳晁错的意见，令民入粟于边，还根据入粟的数量，规定了拜爵的不同等级。这对于抗击匈奴的骚扰、减省运输之苦，都有一定意义。此外，文帝还在边地建立马苑三十六所，分布在北部及西部，用官奴婢三万人，养马三十万匹。在民间，同样奖励老百姓养马，以满足边防对马匹的需求。汉文帝所采取的上述措施，尤其是“募民实边”的办法，改变了单一轮换屯戍的制度，既有利于对边郡的开发，又大大加强了对匈奴的防御力量。这对景帝继续执行休养生息政策，解决内部诸侯王叛乱问题都起到了重要作用，也为后来汉武帝彻底解决匈奴问题打下了基础。
汉文帝死后，景帝对待匈奴，仍然实行“和亲”政策，并开放边地关市，对单于赠送财物一如既往。随着汉朝防御力量日益加强，匈奴对边地的军事骚扰也有所收敛。景帝在位十六年间，匈奴入边次数大为减少，大规模的入侵只有一次。
在公元前144年六月，匈奴入雁门，攻至武泉，又入上郡，抢掠汉朝的宛马。汉朝官兵奋起抗击，战死者达两千人之多。除此之外，在汉景帝在位期间，匈奴没有更大规模的军事骚扰，只是小规模盗边而已。总之，文景时期在对待匈奴的军事骚扰问题方面，并非只停留在单纯的消极退却，而是以积极加强防御力量为主，从而达到避免和减少战争的目的，为休养生息创造了和平的环境。
秦末农民起义之际，南海郡尉赵佗乘机扩大势力，听说秦朝灭亡，就合并桂林、象郡，自立为南越武王。汉初，刘邦无力远征，派使者立赵佗为南越王，要他在当地和越族各部，与汉朝通使，不要扰乱附近各郡，与汉胡关系和好。吕后时期，认为南越是蛮夷，因此禁止铁器及牛马羊供应南越，赵佗发兵攻打长沙边邑，自立为南越武帝，双方关系日趋紧张。吕后派大将率兵讨伐，结果因水土不服，军中疫病流行，进军南越中途受阻。一年后，吕后病死，遂告罢兵。从此，赵佗软硬兼施，先后征服闽越等地。在岭南广大地区，他也开始称制，仪制与汉朝无异。
赵佗本是真定人，虽去南海已四十九年，却不忘家乡。他听说先人坟墓已被破坏，亲族兄弟被杀，更为恼火，发书要求汉朝撤离长沙郡的驻军，放回他的亲族兄弟。为了避免战争给社会带来的严重灾害，创造一个和平安定的社会环境，以利于社会生产的发展。对南越王称帝一事，汉文帝采取怀柔的政策。刘恒下令修复了赵佗先人的坟墓，派人慰问了他在真定的亲人，还给赵佗的亲族兄弟以尊贵地位，给予特殊的礼遇。随后，汉文帝派陆贾持诏书和礼物前往告谕赵佗，只要削去帝号，不再扰乱附近郡国，则承认他为南越王，允许他自治，与汉朝通使往来。此诏书文辞颇为诚挚，赵佗为这篇言辞恳切、情感亲和的外交文书所打动，致书谢罪，自称“蛮夷大长老夫臣佗”，表示愿意长为藩臣，奉贡职，并宣布废去帝制。于是，自陆贾回朝后，一直到汉景帝时代，南越称臣遣使入朝。虽然据说在国内仍然暗自沿用旧的称号，但是使臣入见天子时，“称王朝命如诸侯”。此政策的运用成功，避免了一场兵乱。