这天清晨，从洛阳通往古韩国的大道上，一骑快马飞奔而下，马蹄之声响彻四周。这马上之人正是奉高祖之命前去召张良入朝议事的，人忽马快。没多久便来到一僻静的小村庄，此人下马后向村中最大的一座院舍走去。这家一老奴正在打扫院落，一见有一官服打扮的人牵马走来，便上前问道：“不知先生远道而来，是找谁呀？”
那人忙说：“我是当今天子派来找张良的官人。”老奴一听赶忙说：“这便是张良的家。老爷正在书房看书，我先进去通告一声。你暂且随我进来吧。”
两个进院后，由老奴先到书房通告了一声，张良出来一看确是宫中的人，便问：“不知万岁派你来找我何事？”
那官人道：“万岁命我召你入宫进见，面议国事，切勿迟疑。”
张良忙说：“那好，你先休息一下，待我收拾一下，就随你回去。”
张良说罢命人引那宫人下去，自己回到书房中，开始收拾所带的东西，脑中不禁回想起自己辞官临行前的情况。
那是高祖刚定都建国，一切还都刚开始，这时张良来到宫中对高祖说：“我已帮助您完成了一统天下的大业，现在我要向你告请辞职回乡下去，不知万岁可否许可？”
高祖一听怎能同意，但看张良已经决定，不再有改变之意，也只好说：
“先生是一贤能之士，佐我汉成，立有汗马功劳，你可是我的得力之助，我怎舍得你离去呢？不过你意已决，我自不去勉强，许你回乡，但若朝中有事，召你入内，万望你能为天下利益，有召必来呀！”
高祖说罢便又命人拿来千两黄金，要送给张良，但张良坚决不收，之后张良回到家中，不是读书静思，就是学习导引吐纳等道家之术，到后来竟不怎么吃谷物了，并且终日不出家门半步，谢绝一切人来拜访。还曾经对家人们说：
“我家世代是韩国的大臣，佐韩国有功，可韩国被秦灭掉了，所以后来我就下决心要誓死为韩国报仇，不惜重金甚至性命，现在暴秦已灭亡了，汉室崛起。我在这期间也不过是凭借自己的三寸不烂之舌，为汉帝出了些力，自己想想也心满意足了，所以自愿引退，从此不问世事，只要能像仙人般地过着无忧无虑的日子，也就足以使我后半生过得很顺心了。”
想到这些，张良又不想再入朝，可又一想临行前已答应了高祖，怎能失信呢？于是便赶紧随命进见。
高祖见张良，就把娄敬的话和众臣的建议都说了一遍，张良听罢沉吟了一会儿，说：
“洛阳虽有险阻可依靠，但中间的地方狭小，不过数百里的平原，田地又很贫瘠，每年收成不好，如果真是四面受敌的话，恐怕这里究竟不是兵家用武之地呀！而关中左有崤山关，右有陇蜀地，三面据险处，一面东临诸侯，当诸侯安定无事时，可由渭河调运粮食，向京师供给，万一诸侯有动乱变故，顺河流而下，征讨并不费力，运输粮草人马都很方便。过去人们所说的金城千里，也不过如此吧，看来关中确实是块宝地，可迁都关中。娄敬所说的，很有见识，请陛下再考虑一下，再做决定也好！”
高祖这时说：“先生既然认为可以迁都，那我就依了你的话，迁都关中。”
于是传命群臣：“我已决定迁都关中，不许再有异议。”
并找人选良辰择吉日，收拾行装，不得迟延，立即做好准备。群臣这时再有意见，一看高祖已下了圣旨，就不敢多说别的，只好从命，这下整个洛阳城忙乱起来，大家都忙着收拾东西，整整好几天，到了迁都之日，高祖便乘龙辇，众侍卫排出仪仗，摆好御驾，起程上路。后面是太公、太子后妃等声势浩大，前呼后拥。再后面才是百官文武，坐轿乘马，家人随从。好不热闹，统统向西进发。
走了好几天，好容易到了栎阳，丞相萧何前来接驾，高祖一见萧何便谈到迁都一事的前后经过。
萧何说：“秦关雄伟坚固，地形最好，只是自从项羽入关以后，一把火烧了咸阳的所有宫殿，房屋没剩几间好的，全都是残缺不全的。陛下最好先在栎阳住些日子，等到我派人去修复了宫殿，再迁到那里也不迟呀。”
高祖一听便说：“丞相所言极是，你当速速前去催促宫室的修理，让他们快些完工，我先在这里住上几日，等你的消息。”
萧何便西入咸阳，督修宫室，而高祖就在栎阳先住了下来。