23岁那一年，班固的生活发生了巨大变化。这一年，他的父亲班彪带着诸多遗憾病逝。而出于种种现实原因，他们一家只能返回老家扶风安陵乡里居住。首先，班彪去世之后，按照东汉的世俗礼节，守孝三年是作为儿子应该尽的义务。人死之后，入土为安，归葬扶风安陵的祖坟是必然的。其次，班彪去世之后并没有留下多少资产。班彪尽管断断续续担任过一些职务，但是他生性清高，从来不徇私舞弊，像一些贪官那样蝇营狗苟地干敛财的勾当。他除了赋闲在家，也就是当当三公府邸的高级参谋，虽然名声大，但并没有带来多少收入。仅有的几次外放机会，原本也都是比较实惠的职务，或因为身体原因或因为其他原因，班彪都没有做多久，这么多年坐吃山空，等到班彪去世之后，家里已经没有多少值钱的东西了。除掉安葬费用，班固一家只能在老家维持温饱生活而已。
这种情况下，班固只能离开太学，在家里承担起赡养寡母、教养弟妹的责任。但是于他而言，闲居在乡里的日子并不好过，没有丰富的书籍可供他阅读参考，也没有志同道合的学人可以讲经论义、写诗作赋，他倍感寂寞与压抑。与此同时，有消息陆续传来，他留在洛阳的同学谁谁通过什么途径登上了仕途、谁谁又被朝中哪个大宫征用了，不仅如此，有些人已经干得有模有样引起了皇帝的重视。而沉潜在乡里的班固想出仕却又苦于没有合适的门路，于是他写了《幽通赋》陈述吉凶性命来表明自己的心志。赋文写道：班氏本是颛顼的后裔，家世中叶在楚国也非常显赫，楚亡后离开了故土，雄踞北方晋、代之地声名远扬。汉皇十世时官居高位，在天子京城也是显赫一时。但因王莽罪恶滔天灭亡了汉室，我父班彪遇祸乱只能高歌远行，终于保全自己一家并且为百姓做出了表率，他像上古仁人一样逃避时凶。我们班家的先祖是多么贤能英明，穷困显达之中都能救济黎民。可叹我从此势单力薄，恐怕无路成名而使祖业断送。难道我的才能不能够营谋先人之业吗？我只能为家世的衰微而深深遗憾落寞。
幽室隐居使我思绪万千，岁月悠悠使我心绪渺远，我不敢与有德行之人相提并论，但也怕玷辱先祖而恪守善行。我的心魂常常与神灵交会，精诚往往发于深夜之中，睡梦中我登山远眺仿佛看到了幽谷的神人，他手执葛万交给我并且回望峻谷告诉我勿坠深渊。清晨醒来，我仰卧冥思，心智恍惚，未知吉凶。但黄帝离我遥远，无人可问，我只好凭借谶书，在心中猜测神人的意思。书中说梦中登高遇神预示着道术能够通达而不会迷路，葛万缠连于树木而歌咏《南风》是安乐的象征，心中恐惧如临深渊乃是《诗经·小雅》中两篇诗的劝诫。梦境已经给了我吉祥的象征，神明又给我以警戒，我怎么能不及早登上仕途去追赶同辈的足迹呢，时光倏忽而逝不会再来。虽承神灵训诫，但我心中仍然有疑问，我只能久久盘桓却难以前进。只有天地才能够长久而无穷无尽，孤苦的人生在天地面前是多么的短暂啊。纷繁的世间险阻重重，人生路上艰难太多，但我的智慧又太少。上古圣贤遇到困难能够解决，凡夫俗子岂能轻易同他们一样！当年卫叔武握发迎接他的哥哥成公，成公反而把他当作敌人射死。管仲要射死仇敌公子小白，桓公即位后竟命其为宰相。事物的变化是多么难以预料啊，谁能预测出它的终始！雍造不满国君却最先受赏，丁公施恩惠反被杀戮；栗姬因为受宠而招致灾难，王膺由于忧伤却获得幸运。世事乖违竞至于此，塞北老翁却能够认识到祸福相倚的道理。单豹调理体内五脏为猛虎所伤，张毅外修礼仪却发内热而死。有人说中庸之道可以使人免于灾难，可是颜回、冉有又都不得意。桀溺招子路跟随自己，认为孔子之道无济于世，子路不避乱世，终于在乱世中被杀。虽游学圣贤之门也未得救助，即使赴汤蹈火又有何补益呢？
过于刚强必遭凶险，免于祸乱还有赖于圣人之道；万物的生气皆发于根柢，根柢强壮才能枝叶茂盛。魍魉竟至责备影子，这都是未得大道的体现。重黎昌明于高辛之时，楚国在长江一带称强；秦国由于伯益而扬威于六国；齐国因三礼而兴盛。求仁得仁，何其诚信，仰视天道，亦同此理。商纣暴虐杀害三仁，周武王得贤人故成天子；骊姬残酷致使孝子身亡，晋文公归国获得大位；周武王还师终成天命，重耳醉行正与天命相合。神龙流涎于夏帝王廷，经过三代就亡国了。汉宣帝宫中有雌鸡化雄，过了五世，终于酿成灾祸。天道悠悠而人世短暂，邈远冥然不可尽知，必须借助卜筮而谋诸鬼神，借此以穷古今通幽微。陈完少年时占卜得知将来必占有齐国，史书上有周公用龟甲占卜的记载。周宣王、曹伯阳都在下人的梦境中预示了他们的兴败，鲁成公、卫灵公是在铭谣中预示了谥号。叔向的母亲听到伯石的哭声而知道他是亡晋之人，许负从周亚夫的面相看出他以后必定会饿死。
大道浑然一体而成于自然，道术虽分为各流派，其发源却相同。神明先于人心而注定命运，命运随着人的行为而变化。世事如江海长流没有止息，人生的祸福遭遇时有盈亏。栾氏三代本是一脉相承，虽世代变化却不差半点。洞悉天道幽微纷乱，众人却迷惑不醒。庄周、贾谊思想狂诞，宣扬齐生死、一祸福的理论，高谈阔论而违反本心。可贵的是圣人的至理名言，顺应天性而且以道义为决断的依据。富贵是人之所欲，但不合道义，君子不取。死亡是人所厌恶的，但若因守道而死，则不逃避。守道恒一，不持两端，不为物欲所累。三位仁人行事虽异但同致于仁，伯夷、柳下惠去留有别而同得美名。段干木安卧于居室而保卫了魏国，申包胥双脚磨出了厚茧才保存了楚国。纪信焚身来保卫皇上，四皓坚守操节而不迷惑。就是草木也有类别之划分，人能实践仁义之道则必得荣名。人死后应该声名不朽，这是先哲遵循的正道。
观天网恢弘包容万象，实是辅助诚信，保护善良，谋求先圣的济世之道，有德的人必有志同道合的友人，诚信的人一定会得到别人的辅助。虞舜的《韶》乐优美引凤凰来朝，千百年后还使孔子听而忘味。孔子的文章彰显礼仪而招来麒麟，汉朝于异代加以追封。精神能与神通则可感动万物，神动气运而能达到微妙的境界。养由基张弓转目，猿猴即号叫；李广箭发而石开，不是至诚，如何能通灵感物呢？如果没有实效谁又会相信呢？掌握了射箭这样的小技还能感应于猿石，何况执着于大道呢！自孔子、太昊直到今天，有多少先哲圣贤经纬天地。朝闻道，夕可死，可以忘了自己的躯骸。如果能像彭祖、老聃一样长寿，我将告诉将来的人幽通之情。
乱曰：天造万物于冥昧之中，并确定他们的性命，恢复本心弘扬大道，只有圣贤才可以做到。天地之元气运生万物，周流而不停息，保全自己并留下美名，以此作为民众的表率。舍生取义去实践大道，为外物短折而忧伤不已，那是莫大的耻辱和痛苦呵！守死善道不染流俗，又怎么会变色呢？守道通幽，则近乎神明了啊！
班固这篇赋模仿了屈原《离骚》的写作方法，表达自己当时不得志的心境，但他也在文中表明了自己遭受打击后仍然要有顽强的毅力去突破困境，继承祖先的光荣志业，这点与他们一家深受儒家思想熏陶是息息相关的，这点正是儒家“温柔敦厚”的诗教传统的体现，也非常符合班固的性格。其实，当时班固也是积极寻找了出路的，只是一直未能得到达官显贵的重视而已，这点在他隐居乡间时向东平王刘苍的上书中就可以看出来。
东平王刘苍是光武帝刘秀和皇后阴丽华所生的第二个儿子，也是汉明帝刘庄的同母弟弟。刘苍自幼便好读经书，博学多才，很聪明。汉明帝做太子时便对这位弟弟非常钦佩，继位称帝后对刘苍更加器重。永平元年（58年），东平王刘苍被任命为骠骑将军留在京师辅政，位在三公之上，成为东汉时期地位最高、权势最大的藩王。汉明帝出外巡视时便由刘苍在京留守。刘苍辅政时间有四五年，为汉明帝时的“太平盛世”作出了较大的贡献。据载，刘苍曾与大臣共同拟定了南北郊冠祀和冠冕车服等一整套礼乐制度，又曾多次谏劝汉明帝不要在春耕农忙时狩猎游玩，以误农事，都为明帝所听取。与当时王子们骄奢淫逸的作风绝然不同，刘苍虽位居一人之下、万民之上，地位尊贵，但毫无骄纵之意。相反，刘苍因辅政期间声望日重，非常不安，便多次上奏请求辞去辅政之职，出居所封东平王国，以维护皇帝的权威。
永平五年，他离开京师来到东平，但仍佩骠骑将军印。刘苍就国后，多次受到明帝、章帝的褒奖和厚赏，其所受恩宠远非其他藩王能比。班固上书的时候，正是他刚刚开始担任骠骑将军辅助政事之时，当时汉明帝特地批准他多备官属以便参谋计议国家。班固上书刘苍，希望他敞开怀抱，招徕来自远方的贤士，在信中还推荐了一些德才兼备的人。
他这封推荐信交送东平王刘苍之后，尽管史言“苍纳之”，但班固并未因此引起刘苍的注意而获得重用，他所推举的几位贤才也没有被刘苍尊为上宾的记载。整体而言，只能说班固这封上书对刘苍任用贤才起到了一定的推动作用。与此同时，班固只能继续沉顿在乡间，一边勤学，一边等待出仕的合适时机。