桓谭被大司空宋弘推荐做议郎给事中。桓谭善于弹琴，刘秀非常欣赏他弹的曲子。宋弘得知后，很不高兴，听说桓谭从宫中出来，宋弘就穿上公服，坐在大司空府中，派官吏去召桓谭前来。
桓谭到了，宋弘不让他坐下就责备他，说：“自己能改正过失吗？还是要我根据法律检举你？”桓谭磕头谢罪。过了很久，宋弘才让他回去。
后来，刘秀大会群臣，让桓谭弹琴。桓谭看见宋弘，弹得颇失常态。刘秀很奇怪，就向他询问。宋弘从坐席上站起来，摘下帽子道歉，说：“我推荐桓谭，是希望他能以忠义之心辅佐君主，而他却让朝廷沉湎于靡靡之音，这是我的罪过。”刘秀听了，很是惭愧，一脸严肃地向宋弘道歉。
刘秀的姐姐湖阳公主新近守寡，刘秀和她一起评议朝臣，并暗中观察她的心意。公主说：“宋弘的威仪容貌，道德气度，没有人能赶得上。”刘秀说：“我正在考虑这件事。”
不久，刘秀召见宋弘，让公主坐在屏风后面。刘秀对宋弘说道：“俗话说得好‘地位尊贵了，就换朋友；财富增加了，就换妻子。’这不也是人之常情吗？”宋弘回答说：“我听说：‘贫贱之交不可忘，糟糠之妻不下堂。’”刘秀就回头对公主说：“事情看来没有希望了。”