在伦敦的社交圈有一位活泼大方，但性情却反复无常的名女人叫卡洛琳·兰姆。她在七年前嫁给墨尔本爵士的第二个儿子，并且已生了一子。她极富青春活力，并且十分敏感，虽然已经结婚生子，可是仍保有少女的纯洁和天真气息；她没有受过什么正式教育，但却天生聪慧，能写诗也会作画。她久闻拜伦的名声，十分仰慕，但苦无见面的机会。
有一天，罗杰士到她家去拜访，递给她一本《哈洛王孙游记》，并且说：“你应该认识这位新的诗人！”不过，罗杰士又警告她说：“这个人不但脚跛，还常咬自己的手指……”但是卡洛琳读过拜伦的书以后，说：“即使他像伊索寓言的作者那样丑陋，我也想认识他。”
可是，她第一次见到拜伦时，却不肯上前去与他谈话。可能是因为当时已有一群妇女包围着拜伦，所以她不愿意和她们一样去逢迎吧。
正由于她不愿去趋奉拜伦，反而引起拜伦对她的兴趣。因此，不久后（可能是她的主意），她终于在厚兰夫人家中和拜伦初次结识了。对拜伦来说，这是一种新鲜的经历，因为以前在他身边包围着的，尽是一些社会地位比他低，仰慕他、奉承他的女人，而现在他却面对着一位社会地位相等，知识又相当的社交界名女人。这对他来说，实在非常地刺激。而卡洛琳呢？她已完全被拜伦的风采所迷惑了。
根据罗杰士的记载：“……她向拜伦保证，如果他需要金钱的支助，她所有的珠宝都可以任他取用。而且，如果拜伦去参加她未被邀请的宴会，她甚至愿意在街角等候拜伦，直到宴会结束。”罗杰士很感慨地说：“年轻，加上有诗人的头衔和爵位，还有到过希腊的浪漫经历，使得世界上很多人都为哈洛王孙——拜伦而疯狂。”
拜伦第二次赴卡洛琳的约会时，见到卡洛琳的一个从乡下来的表妹安娜贝拉·密尔便克。可能当时拜伦曾十分注意她，因而引起了卡洛琳的嫉妒。这个乡下来的姑娘暗恋拜伦已有很长一段时间了，她很天真地把自己的习作诗交给卡洛琳，托她转给拜伦，请拜伦指导。
卡洛琳将安娜贝拉的诗交给拜伦时，心中以为拜伦不会有什么反应。不料拜伦却坦白地向卡洛琳表示了他的看法——她的确是一个很特别的女孩，真意想不到，在她那单纯的面貌下居然会有这种坚强而又丰富的思想。不过，我却没有想和她见面认识的欲望！……她太纯洁、太完美、太好了！我这个“灵魂堕落”的人，不值得她认识……
卡洛琳自然不会把拜伦的话转告给安娜贝拉。在失望之余，安娜贝拉离开了伦敦。
拜伦和卡洛琳的爱情是两者个性强烈、自以为是的冲击使然。这段缠绵而波折起伏的爱情，自始至终造成两个人刻骨铭心的痛苦记忆。有时拜伦硬逼着卡洛琳承认——她爱他甚于爱自己的丈夫。甚至，有一次为了要检验卡洛琳是不是对他真心，而向她提出私奔的要求。或许他明知卡洛琳绝对没有勇气离开她现有的舒适环境，也或许他只是要试试看，卡洛琳是否会离开她的丈夫与儿子。
除了和卡洛琳的恋情，拜伦还收到一大堆倾慕他的女人写来的信。有的想要帮助他改变信仰，有的要拜伦对她的诗下评语，有的甚至自作多情地以为他诗中所写的女人就是影射她的。拜伦在这时候，与卡洛琳的六十二岁婆婆墨尔本夫人（年轻时非常漂亮，现在仍风韵犹存）成为了知心好友，以后和她无所不谈，毫无隐瞒。
当拜伦和卡洛琳的关系达到某一高潮后，拜伦想要“急流勇退”，但却不知如何是好。他想退出的原因之一，是卡洛琳处处想操纵他，使他感到十分受不了。正巧这个时候，拜伦因为参加一个自由派的贵族团体，认识了另一位活泼的牛津夫人。因为这位夫人的关系，拜伦还有幸见到英国的王子。
7月底，拜伦和卡洛琳的关系已显出僵持的状态，他又因为拒绝去见卡洛琳而激怒了她。因此，在7月29日的中午，卡洛琳改了装扮进入拜伦家中，尽管霍豪士对她好言相劝（其他的仆人们已认出“她”是谁了），可是，卡洛琳却拿出刀来想以自杀威胁拜伦。拜伦夺下刀后，霍豪士接着把她劝到别的房间去，让她更换衣服，再用马车送她到朋友家，这样才算结束了这一幕闹剧。
从表面上看来，他们两人的关系似乎已经告一段落了，然而事实上，卡洛琳仍旧为拜伦痴狂如昔。她的家人为了避免流言蜚语而将她带到爱尔兰去。自然，拜伦曾写了一封文情并茂能满足她欲望的送别信给她。
自从爱他如痴如狂的卡洛琳离去后，拜伦的生活总算恢复了平静。至于他是否对卡洛琳已经忘情，连拜伦的心腹好友——墨尔本夫人也不肯透露。墨尔本夫人为了平息他和卡洛琳之间的风风雨雨，曾努力促使她的侄女——安娜贝拉和拜伦认识。因为她以为：若是拜伦能有一位贤慧的妻子就不至于再和卡洛琳纠缠不清了。拜伦接受了墨尔本夫人的建议，果真向安娜贝拉求婚，大出所料，竟遭到安娜贝拉的拒绝，于是，拜伦只好一笑置之。
这时候，成熟而稳重的牛津夫人（和敏感而歇斯底里的卡洛琳刚好相反），又吸引了拜伦的注意（拜伦自己也承认，他必须经常“心有所属”才能快乐）。因此，他又成了牛津夫人的座上客。
拜伦回顾自他出了名以后的这一年，发觉只有目前的状况最令他满意。
在年终的最后一天，他写给墨尔本夫人的信上说——
“这一年，我没有什么成就，但唯一可以自豪的是：我在你们家两个月的时间里，创下了我的纪录——没有打过一次呵欠！”