除班婕妤外，班况有三子：班伯、班斿（音由）、班稚。在班伯兄弟一代，班氏家族不仅在政治上显赫荣耀，而且在文化上也取得重大成就，这个家族的兴盛状况在西汉末期颇为引人瞩目。
班伯是班固的大伯祖，少年时期机缘巧合，曾经跟随西汉末年知名的儒家学者、著名大臣师丹学习《诗经》，成为非常有名的儒生。当时掌握朝政的成帝舅舅大将军王凤对他很欣赏喜爱，并且把他推荐给了自己的外甥汉成帝。汉成帝亲自召见班伯于宴昵殿，见他容貌非常俊美又器宇轩昂，诵读诗书抑扬顿挫，讲论经典有章有法，头头是道，于是当场让他拜宫中常侍，使他得以随时出入宫廷在身边侍奉。当时，刚刚即位的汉成帝还非常喜欢学问，曾经让著名经学家郑宽中、张禹在金华殿为其传授讲演《尚书》《论语》，他特意关照让班伯陪同他一起学习。不久班伯升任奉车都尉，专门掌管皇帝出入乘车的事务。数年后，汉成帝沉迷于醇酒妇人的享乐之中，金华殿讲学也渐渐停止。班伯只能天天同贵族子弟混在一起。那些贵族子弟无心向学，成天斗鸡走狗，无所事事。班伯很讨厌这种行尸走肉的生活，于是他数次请求出使匈奴，想到边疆去建功立业。
河平三年（前26），匈奴单于来长安朝见汉成帝，汉成帝便派遣班伯持使节到塞外去迎接单于。当时定襄郡（今内蒙古和林格尔西北土城子）两户豪族因为一些私人恩怨，纠集了宗族奴婢一大群人进攻郡府衙门，杀伤了不少官吏。班伯在途中了解到这一情况，立即向朝廷上报，并且自告奋勇表示愿意暂时担任定襄太守一年。汉成帝便派人飞书正式任命他为定襄太守。班伯刚刚到任就派随行吏员将当地曾与班家祖上有过交情的世家老伯请到府中，好酒好肉殷勤款待，言必称晚辈后生，非常谦恭有礼，细致周到。受到班伯款待的长辈都非常感动，见他年纪轻轻，地位高贵，却不惜屈尊纡贵，都纷纷帮他出谋划策，建议将闹事的首恶分子抓起来治罪，恢复边境的安宁，并且主动报告了相关人员的隐匿藏身之处。班伯对长辈们表达谢意之后，立即召集属县各大小官员商议，挑选精兵强将，分工部署，顺利将作乱的首恶人员抓捕，又顺藤摸瓜查找出了隐藏在其他地方的不法分子，这一过程前后只用了十余天。
班伯治理定襄一年的时间里，政绩卓著，人民安居乐业。朝廷又将他征召回京师。班伯在接到调令之后，请求在回京师之前到班家的祖坟去祭拜一下，以尽孝道。汉成帝不仅答应了他的请求，还特别下令让当地郡县的所有官员也都去参加他的祭祖活动，以表示对他的奖励和重视。班伯回到老家之后，集合了班氏的族人，按照亲疏远近都给予了一定的赏赐，花费非常巨大，风光排场盛极一时。当地的人将他这种慎终追远的举动视为空前绝后之盛举，久久不能忘怀，美中不足的是班伯在回京师的途中不幸感染风寒。抵达长安之后，汉成帝晋封他为侍中光禄大夫，给了他非常丰厚的赏赐，还特别批准他在家里养病。
这段时间正逢许皇后被废，班婕妤供养东宫，侍者李平为婕妤，赵飞燕为皇后。班伯为了躲避纷争便长期称病。时间长了，汉成帝还专门跑出宫去探望班伯。班伯非常惶恐，只能勉强上朝供事。自从大将军王凤去世后，富平侯张放、定陵侯淳于长等开始受到宠幸，如果皇帝微服出行，他们会同坐一辆车，一起握着马的缰绳；入侍宫中，他们也一同设宴饮酒，与赵飞燕、李平等和班侍中一起狂饮谈笑。当时他们乘坐的车帐中放着一张有画的屏风，上面画的是商纣醉靠妲己通宵寻欢图。汉成帝因为班伯刚被起用，非常敬重他，有一次还专门指着画问班伯：“商纣无道能到这个地步吗？”班伯回答说：“尚书》上说‘于是听用妇人的言语’，哪里有在朝廷上放纵这样的行为呢？所谓众恶归之，没有比这更过分的了。”汉成帝说：“如果不是这样，这张图画告诫的又是什么？”班伯回答道：“商纣沉湎于酒，是微子离他而去的原因；《诗经》《尚书》所诫止的淫乱，其本源都在于酒。”汉成帝长叹一口气说：“我很久没有见到班生了，今天又一次听到了正直的话！”这番话却惹得张放等人很不高兴，过了一会儿，他们这群宵小之徒便借着上厕所为名趁机溜走了。当时，正好王太后长信宫中有使者前来看望成帝，将这些都看在眼里并且禀报给了太后。
此后，有一天汉成帝去长信宫朝见太后，太后哭泣着说：“你近日面容消瘦，脸色发黑，身体要注意了啊。班侍中本来是大将军专门为了你推举的，你应当对他宠爱有加，能更加亲近他才好。这样，他才能更好地辅佐你，而富平侯这些人应该逐出朝廷。”汉成帝不得已只能回答道：“是。”车骑将军王音听说之后，暗示丞相御史上书言明富平侯的罪过，汉成帝不得不放逐张放为边都尉，可不久之后，汉成帝又找机会把张放征召入朝。在这种状况下，王太后专门给汉成帝写信说道：“以前所讲的尚未见到实效，今日富平侯却又回到了朝廷，我岂能默然不语？”汉成帝谢罪道：“那我现在执行您的懿旨。”当时，许商为少府，师丹为光禄勋，皇上征引许商、师丹二人为光禄大夫，将班伯升迁为水衡都尉，掌管上林苑并保管皇室财物及负责铸钱等事宜。班伯和两位老师一起任侍中，俸禄均为中二千石。汉成帝每每入长信宫朝见太后，班伯经常跟从在后；逢朝中有大事，班伯被派往向公卿大臣宣示汉成帝的意图。在一段时间内，汉成帝暂时将游乐宴饮之事抛在脑后，重新学习经书，太后非常高兴。丞相翟方进又趁机上书，富平侯张放最终被放逐于朝外。可惜好景不长，不久班伯病故，终年38岁，朝廷上下都觉得非常惋惜。
班固的二伯祖班斿，自幼读书就刻苦用功，博学纵览，非常有才华。左将军史丹因为欣赏他：的才学，特地举他为贤良方正，在朝廷上通过对策，被成帝授为议郎。他做事认真负责，又才华横溢，不久就被迁为谏大夫、右曹中郎将并与西汉末年著名学者刘向共同校理秘阁藏书。班脖虚心好学，一丝不苟，很快脱颖而出。每次校书工作需要向汉成帝报告时，都由班脖亲自负责。汉成帝对班脖的才学非常赏识，经常咨询他应该读些什么书、哪些书有些什么内容等等。班脖参加校阅皇家藏书，丰富了历史文化知识，开阔了心胸，学问也越来越深厚广博。
不仅如此，班脖最难得的殊荣在于成帝曾经赏赐给他皇家藏书的副本。当时皇家藏书并不外传，连成帝的叔父东平思王刘宇向汉元帝请求把皇家藏书和《太史公书》赐给诸子也没有获得批准，由此可见班脖乃至班氏一族深得成帝的信任和器重。班脖既参与了典校秘书，又获得赐书，这是班氏家族极大的荣耀。班氏家族所拥有的大量珍贵藏书为班氏家族的学人辈出奠定了基础，同时也为班彪、班固父子写作汉史提供了极其优越的文献基础。但这位班脖也是才华出众却寿命不长，较早离开了人世。
班况最小的儿子是班稚，也就是班固的祖父。班稚性格方正刚直、小心谨慎。因为是外戚子弟，他年纪轻轻便做了黄门郎中常侍，在皇宫内服务，主要负责传达诏令。他按照规矩办事，并不因为自己地位特殊而弄权要奸。成帝晚年因一直没有子嗣，想立自己弟弟的儿子定陶王为太子，多次派人询问近臣意见，别人都随口应承，唯独班稚谨慎至极，一直也不敢回答。成帝死后，定陶王即位，是为汉哀帝。哀帝因当初班稚没有积极拥立自己，就把他降职为西河属国都尉，后来他又迁任广平相。
汉平帝即位后，王太后再度临朝，王莽辅政。班家兄弟与王莽少年时同为外戚子弟，互相非常友善。班斿死时，王莽甚至为之修祖庙，赠送了许多车马布帛。当王莽辅政之后，欲以文教致太平，派使者行风俗、采颂声。当时群臣纷纷逢迎拍马、伪报祥瑞，而班稚却没有任何表示，因此遭到了王莽亲信大司空甄丰的诽谤，说他对于朝廷当时的政治现实不满意。此时，幸亏王太后出面为班稚讲情，认为他尽管没有宣扬朝廷的美政，但是处罚应该与上报灾异的人区别对待，并明确说明他是“后宫贤家，我所哀也”，这就是王太后感念班婕妤的贤德所以对班家格外照顾。班稚因此免于处罚，但同一批的琅邪太守公孙闳因为言灾害却惨遭杀害了。险遭杀身之祸的班稚非常恐惧，为了在变幻莫测的政局中保全性命，他很快就上书陈恩谢罪，愿意归还朝廷守令的印绶，去做比较闲散的管理延陵的官。王太后也答应了他的请求，并让他按照原定的级别待遇终老于延陵任上。大概也就是从此时起，班氏家族定居于扶风安陵。班氏一族在王莽当权期间虽然不显于莽朝，却也因此在王莽败亡时未受牵连。
因为班稚的主动退让，班氏家族暂时与政治中心保持了相当的距离。而经过班固祖父这一辈的经营，班氏一族具有了两方面的优良传统。一方面是家族子弟从小都熟读经书，学问上的造诣令人羡慕。再加上拥有皇家所赏赐的独家藏书，班氏成为了两汉之际著名的儒学家族，家族子侄也多在浓厚的学术氛围中接受熏陶。另外一方面，长期的边地生活和祖上杰出的文韬武略，又时时激励着家族子侄的慷慨志节，激发着他们注重然诺的任侠意气，这些都深深影响了家族成员人生价值的追求与人生道路的选择。
班稚的儿子是班彪。班彪，字叔皮，从小便和其堂兄班嗣一起学习。班家有皇上赐给的图书，其中多珍本秘藏，而且班家财力雄厚，又慷慨大方。许多好学之士便慕名从远方而来。父辈的朋友中，像当时的大学者、大文豪扬雄等人也经常登门拜访。班嗣虽然学习儒学，但他更崇尚老庄之学。
这里有一则小故事：桓谭，这位两汉之际的著名学者不仅擅长音乐，善于弹琴，而且博学通达、遍习五经，皆诂训大义不为章句。能文章，尤其喜欢古学，多次从刘歆、扬雄辩析疑异，《新论》一书就是他写作的。他也向班家借过书，结果班嗣答复说：“庄子那样的人，绝圣弃智，修炼生命保养真气，清静虚无不追求名利，归万物于自然，只有师友之间相互影响，而不被世俗力量所役使。在山壑中垂钓，天下万物难以干扰他的心志；隐居在一小山之中，则天下万物不能改变他的安乐。不受圣人的束缚，不为人君爵禄所诱惑，放纵自己的躯体，放任自己的心志，谈论的人难以给他命名，因此非常宝贵。如今你已经套上了仁义情谊的羁绊，系上了声名的枷锁，信服了周公、孔子的主张，传扬颜回、闵子骞的精华，受拘于世俗教化，又何必言用老、庄之大道而自炫耀？过去有个人到邯郸学人走路，没有学成，反而忘掉了原来的走法，于是只好爬了回去！我深深地担心你也会那样，因此不想把书借给你。”班嗣的立身行事以及这种抨击儒家、崇尚老庄的言论，在西汉后期朝廷上下已经形成的浓厚儒家氛围里面，可谓石破天惊之语。
班彪却和班嗣所喜好的学术不同，他基本是以儒家思想作为人生的信仰原则，“唯圣人之道然后尽心焉”。在两汉之际动荡的社会环境中，他基本也是以儒家思想作为行事指南。在他20岁的时候，适逢王莽被灭，光武帝在冀州即位。当时隗嚣据有陇西拥众自立，招集英雄俊杰，而公孙述在蜀汉称帝。天下大乱，群雄割据，势力大的接连州郡，势力小的占据县邑。因为隗嚣向来有谦恭爱士的名声，更始帝刘玄被赤眉起义军打败之后，故都长安及周边地区的上层人士都跑来归附隗嚣，班彪也到了隗嚣的陇西地区。
因为长期动乱，局势并不明朗，隗嚣内心想联络公孙述割据一方，表面上却假装归附光武帝。他在建武三年（26年）曾派人到洛阳行过尊奉光武帝为皇帝的大礼。有一回，他曾经故意试探班彪对于形势的看法，他问道：“以前周朝灭亡，战国纷争，天下分裂，几代之后方才安定下来，难道战国之时的纵横之事还会在今日再次出现吗？将会有一个人承受天运代而兴起吗？希望先生能够评论一下。”班彪回答说：“周朝的兴衰与汉代不同。当初周朝设立五等爵位，使各诸侯国各自为政，王室衰微，而各诸侯国日益强大，所以周朝末年出现了诸侯纷争之事，客观条件决定了这一切。汉代继承秦代的制度，并立郡县，人君有专制的威权，大臣没有成百年基业的权柄。到了成帝时，外戚专权，哀、平二帝短命，皇位三次没有人继承，危机是从上边出现的，而没有危及根基。所以虽然王氏的显贵危及朝廷，能够窃夺皇位改立国号，但并不能得民心。因此王莽登基之后，天下百姓没有不为汉室衰落而叹息的，十几年间，外扰内忧，各地纷纷揭竿而起，立国号的人遍地皆是，都自称是刘氏后人，未曾商量而语辞相同。如今拥有州城的英雄豪杰，都没有七国世代相承的基业的资本。《诗经·大雅·皇矣》中言：‘伟大的上天，俯视天下赫然甚明，监察众国，求人所定而授之。’如今百姓皆长歌短叹而思念汉朝，民心向汉，已经很清楚了。”隗嚣说：“先生所言周朝、汉朝之形势，非常正确，至于仅是见到愚民们习惯了刘氏姓号的缘故，就以为汉室可以复兴，所论则未免显得粗疏了。过去秦王朝丧失政权，刘邦起兵得到天下，当时百姓又怎会知晓汉室呢！”
班彪通过与隗嚣的这番对话，对隗嚣隐秘的内心略有察觉，深有感触而写作了《王命论》表达了对时局的看法。班彪心里深知隗嚣终究不会采纳自己的建议，于是他找了个借口又辗转到了窦融河西的领地上。河西大将军窦融不仅任命他为从事，深深地敬重礼待他，以师友之道与他交往。