楚国西与秦国毗邻，虽屡遭侵割，国势日衰，但至战国末年，楚国仍然占据江淮一带的广阔地区，成为秦统一天下的最大障碍。于是，秦攻取赵国都城邯郸（今属河北）后，将注意力大部分都集中到了楚国。秦王赢政二十四年（前223）攻破楚都寿春（今安徽寿县）活捉了楚王负刍，楚国正式灭亡。就在楚国灭亡之后，可能是为了躲避亡国之后的屈辱，班氏这一支后人辗转流徒到了北方晋、代之间。
秦朝末年，天下大乱，班彪的六世祖班壹为躲避中原战乱率领全家移居到了楼烦（今山西雁门一带）。他善于经营，北方边地畜牧业利润颇为丰厚，他便精心饲养这些大牲畜，经过长期努力经营，他所拥有的马、牛、羊等一度达到了好几千的数目。当时整个社会的经济相当凋敝，因为正值楚汉战乱，社会生产遭到了严重破坏，农民大量流亡，卖妻鬻子，城市人口也大大减少。面对这种残破局面，汉高祖刘邦不得不把恢复农业生产、稳定封建秩序作为首要任务，采取了“无为而治”的政策，一切工商业听任其自由发展。在这种政策下，班壹的畜牧业更是如虎添翼，得到了更为迅猛的发展。在孝惠、高后时代，班壹已经成为北方边境首屈一指的大豪强地主。
有了雄厚的财力作为基础，班壹的儿子班孺在北方边境成为远近知名的任侠，他豪爽大方、慷慨仗义、扶危济困，其名声甚至盖过了他的父亲。而成为一名任侠必须具备仁、义、诚信、谦让等美德，这其实并不容易。正因为如此，这往往也是后世侠客所代代遵循的道德规范和行为准则。任侠尽管没有明确的政治地位，但是在关键时刻往往是一呼百应，连官府所不能达到的势力范围往往都在其掌握之中，实为社会上隐形的巨大势力。班孺这种任侠精神与风貌，诚然与其家族长期在民风剽悍的北方边境定居有关，同时与其家族所固有的志节慷慨之传统也有着紧密的关系，后来班固弟弟班超有立功绝域的豪情壮志，正是与此一脉相承。
到了班孺之子班长的时代，班长官至上谷守，遂成为班家最早登上西汉仕途之人，这标志着班氏逐渐由富而贵。班长之子班回被举为本郡茂才，授长子（今陕西省东南部，上党盆地西侧）县令。西汉时期，守令尽管只是地方官员，但是大县守令往往与中央高级官员级别相同，这足见班家在地方的政治势力与影响。到了班回之子班况这一代，班况先是由荐举孝廉，被朝廷授为郎官，后来由于功劳突出，升至上河农都尉。当时，一地的农都尉职掌农业生产，秩比二千石。在朝廷对地方官的考核中，班况连年名列前茅，得以进入中央任左曹越骑校尉。校尉是武帝时所置的军职，略次于将军。从班况起，班氏家族逐渐进入了西汉的中央政权并开启了军功上的渊源。