起初黄宗羲喝了含山泉之后，写了三首诗，大意就是认为含山泉的水不如余姚的化安泉，吕留良则和了三首诗，仍推含山泉为天下第一，此时两个人的争论还仅限于是泉水。而第二轮争论就涉及到了人物。吕留良在答诗中提到了“江西”和“徽州”，所谓“江西”指的是陆九渊，实际上是在影射王阳明，而所谓“徽州”则指的是朱熹。两个人的学术宗派的差异正在于此：两人虽然都信奉宋明理学，但吕留良崇尚的是朱熹的“紫阳之道”，而黄宗羲尚德是王阳明的姚江学派，两者一个是属于客观唯心主义，一个是主观唯心主义，因此两方的学术观点和治学方法也有很大不同。好在此时吕留良率先做了让步，将纷争的焦点又转到了泉上来，且针对黄宗羲所说的化安泉最上，他提出请黄宗羲到时带一些来大家品尝，在品尝之后再讨论孰优孰次，还让他们将含山泉的味道留一滴在舌头上，到时饮了化安泉再做比较，颇有点调侃的意味。
康熙五年（1666），绍兴澹生堂的藏书求售，吕留良就委托黄宗羲前往绍兴代为购买，而黄宗羲也以自己的束修“参股”，也买了一部分图书，但这次买书却使两个人之间的关系产生了无法弥补的裂痕，可以说是两人关系开始交恶的转折点。
当时吕留良派人和黄宗羲一起去澹生堂买书，本来黄宗羲想买的《礼记集说》和《东都事略》两本书最后却被吕留良购得，去黄宗羲说，这可能是吕留良派去和他一起买书的那个人从黄那偷来的，而授意此人这么做的无非就是吕本人。于是在购书事件之后，黄宗羲便不再来吕留良家中教书了。但此时两人关系并未正式破裂。
康熙六年（1667）二月，吕留良见黄宗羲没能如期来到馆中教学，便作有《问燕》和《燕答》两首诗，其门人严鸿逵在《问燕》一诗后曾注道：“此以下三诗皆为大冲作也。凡浙东之馆浙西者，皆必以二月到馆。又其轻薄情事，有与燕适相类者，故借以为喻。盖自丙午子弃诸生，太冲次年便去，而馆于宁波姜定庵家。所以诬诉子者无所不至，此《问燕》《燕答》之所作也。又太冲所至，必诋旧交以示亲信于新知。后海宁令请讲学，至便诋姜，及往昆山徐氏，又诋海宁人士。此诗结语甚洞见其狡绘伎俩也。”这里严鸿逵很尖锐地对黄宗羲的为人进行了批评，虽有有失偏颇之处，但也在某种程度上反映了吕、黄二人关系的进一步恶化。当然，吕所作的两首诗中虽有对黄宗羲的批评，但态度还算是比较温和的。
这年八九月份，高旦中从浙东来到吕留良家中。此前吕留良听从浙东来的人说黄宗羲有信给他，但他并没有收到，于是就问高旦中怎么回事，旦中回答道：“诚有之，不过责善意耳。”也就是说，黄宗羲确实写过一封批评吕留良的信，但没有将信寄给自己，这就让吕留良大为恼火，刚好又有人乘机挑拨说这是黄宗羲想要跟你绝交的表现。于是吕留良当即写了一封《寄黄太冲书》，信中批评黄宗羲不够朋友，还要求黄能对自己提出直言不讳的批评，就这样，两人的矛盾进一步公开化。
康熙九年（1670）五月，吕留良的好友高旦中病逝，黄宗羲受其子孙之请给高旦中写了墓志铭，而吕、黄两人为高旦中墓志铭一事又再生冲突。吕留良在《与魏方公书》中对黄宗羲所写的《高旦中墓志铭》和《南雷文案》提出了尖锐的批评。尤其是高旦中的铭文，吕留良不惜与黄失和也要阻止将其刻于碑石。其实隐于墓志铭背后的，是两个人学术观点和治学方法的又一次尖锐对立。而这次正面冲突之后，两个人在此后的十几年里就再也没见过面了。
此后的康熙十四年（1675），黄宗羲还让自己的儿子黄百家去杭州看望过一次吕留良，并且带了一封黄的书信和一把题诗的扇子，以表重结旧好之意，但吕留良在答诗中，虽流露出丝丝怀旧知情，但最终以“枯桐”自比，拒绝了黄宗羲复交的建议，两人从此断绝了书信往来，分道扬镳。
吕、黄两个人的关系以这种方式结束，不能不说是一件憾事。他们曾经由于共同的政治理想，抛弃了年龄、身份的差异，结成忘年交，后来却又因学术观点和治学方法的差异而分道扬镳，给后人留下了一个不解之谜。
遁隐山林，以“酒肉和尚”而终
吕留良是在康熙十四年（1675）他的评书、售书事业蒸蒸日上的时候选择遁隐山林的。为此他还贴了一个布告来显示其隐居的决心。其实他隐居之心早已有之，而非一时心血来潮之举。
早在康熙二年（1663）黄宗羲刚来到吕留良家中时，吕就曾将明末大画家宋旭的《辋川图》拿出来与黄宗羲、高旦中、吴之振等人欣赏，当时黄宗羲题了一首诗，吕则和乐黄宗羲一首，在这首诗中吕留良流露了自己想要仿效王维隐居山林的愿望，他宁愿卖掉《辋川图》，“纵横置屋数十间，左右可容吾友寄”，但并没有得到朋友们的响应。
此后几年间他仍一直想着过隐居生活，在平时与朋友交谈时也会经常提出一起到南阳村隐居，过上耦耕生活的建议，但也还是一直得不到众人的响应，于是他便写下了十首著名的《耦耕诗》。在诗中他表达了自己想隐居和得不到朋友响应的孤独、落寞与失望。
其实吕留良想隐居，还有另一个原因，他想弥补当年“失脚”的过错。“谁教失脚下渔矶”，可以说是这十首诗的中心，也突出反映了吕留良当时痛苦懊悔的心境。此时距离他考秀才已经有十三年了，这十三年来他对自己一度的“失节”一直耿耿于怀，“心迹年年处处违”，可以说是备受煎熬，而怎样才能让自己从这种自责、懊悔中解脱出来呢？唯有隐居，做一个遁隐山林、不问世务的大明遗老。遗憾的是他的朋友们没有一个能理解他的苦心，而且他们各自也有自己的向往和追求，很难与吕留良一起躬耕南阳的。
就这样，吕留良的归隐大计一直拖到了康熙十四年（1675）才得以实施。
隐居乡间之后，由于不再评选时文，没有什么事情可做，吕留良就和朋友张履祥一起编辑朱熹的遗书。朱熹的思想、学说大部分都在其弟子所编的《朱子语类》中，但朱子语类是汇编性质的书，没有经过朱熹本人的编订，于是这二人决定重新采辑、审定《朱子语类》。然就在初稿完成之后，张履祥便突感身体不适，很快就去世了。而这本书后来也一直拖到康熙二十二年（1683）才正式出版。
康熙十八年（1679），清廷下诏修《明史》，黄宗羲虽然自己没有直接参与修史工作，但他支持自己的学生和儿子参与修史，并提供了大量的宝贵资料，可以说是对新朝合作的一种变通。吕留良则不同，当黄宗羲送自己儿子去修《明史》的时候，吕留良却将自己儿子送到南京做商贾。当然，他虽然让孩子们入贾经商，但始终提醒他们不可一日忘记读书、不可一日废弃文章。也正因如此他的长子公忠后来才得以高中榜眼。
第二年，清廷又大征天下山林隐逸，这下又打破了吕留良宁静的隐居生活。由于早年评点时文，吕留良早已是名声在外，故自然在朝廷征召之列，当时的嘉兴知府也竭力向朝廷举荐吕留良。而他在闻讯后吐血满地，卧病于床，不久他就在病床上削去头发，披上袈裟，对外宣布出家为僧，取僧名为耐可，字不昧，号何求老人。他在《自题僧装像赞》一文中曾这样描写自己出家的情形：“僧乎不僧，而不得不谓之僧；俗乎不俗，亦原不可既谓之俗。不参宗门，不讲义录……有妻有子，吃酒吃肉……”虽是自我调侃，却又是充满无奈，为了躲避清廷的骚扰，他在晚年还不得不剃发出家，做一个“酒肉和尚”。
到了康熙二十一年（1682），吕留良的身体已是大不如前。但纵有疾病缠身，痛苦不堪，他还始终坚持每天补辑手头上的《朱子近思录》和《知言集》这两本书。也许他感觉到了自己时日无多，所以他经常叹息道：“傥不成，则辜负此生耳。”于是更是手批目览，日夜不辍。其弟子门人都曾劝他注意身体，等病好点再作不迟，但都被他喝退了：“一息尚存，不敢不勉。”
康熙二十二年（1683）八月十三日，吕留良病逝在家中，年仅五十五岁。
吕留良面对自己一生，曾这样评价：“吾行年五十有五，然计来生此世，只可二十年耳。自甲辰以后，所为方可谓之内省不疚，无恶于志。从前三十年，行事愧怍，不可胜悔也。”正是从康熙三年（1664）年以后，他最终确定了以提倡程朱之学为己任，笃行不移，直至生命最终一刻。至于他身后仍受“挫骨扬灰”之奇冤，后人也早已还给他一个公道了。
蔡元培先生曾撰一联：“为民族争存碎尸无憾，以文章报国没世勿谖”，可以说这正是吕留良一生的业绩风范。