对伊尔莎有欲望。
爱因斯坦就在与米列娃离婚不到4个月后，1919年6月2日，他的感情人生梅开二度，即与他的表姐（同时也可以说是堂姐）爱尔莎正式登记结婚。
当时，这个决定让爱因斯坦的朋友们也颇感吃惊。
其实，爱因斯坦自己也有些勉强。
因为其中有他寡居的母亲波林的施压。不久，她也搬来与他们同住了。
此时爱因斯坦40岁，爱尔莎43岁。
但要不是当时一道难题横在爱因斯坦的心坎里，让他举棋不定，难以取舍，也许他们结婚的日子还更要提前。
这道难题也许并不比什么狭义、广义相对论容易--当然是对于爱因斯坦来说。
那就是，他究竟是娶爱尔莎，还是娶她的女儿伊尔莎？
不管怎样，爱因斯坦总算从一场不幸福的婚姻中脱身而出了，似乎可以开始他一直想要的那种新生活了。但是，又出现了一个新的问题，他又爱上了另一个女人--年轻、漂亮的伊尔莎。
爱尔莎带着与前夫生的两个女儿生活在一起。伊尔莎（Ilse）是埃尔莎的长女，长得很是俊俏、妩媚，1918年刚满20岁，正是情窦初开的妙佳年龄。爱因斯坦和她们母女住在一幢房子里，天天有接触，感情丰富的爱教授难保不对她产生非分之想。
事实上，伊尔莎给爱因斯坦当秘书已经有一段时间了。当他应奥斯陆大学学生联合会的邀请去挪威作短暂访问的时候，陪伴他的是女儿伊尔莎而不是母亲爱尔莎。为此，他对朋友马克斯·博恩解释道：“她更健康，更务实。”
所以也有朋友提出，或许爱因斯坦与伊尔莎结婚更加合适。
面对这个提议，大度、清醒的爱尔莎便将主动权让给爱因斯坦，让他自己拿主意。爱因斯坦实在无法定夺，只好长时间不置可否。
本来伊尔莎要嫁给爱因斯坦也未尝不可，但她对爱因斯坦爱上自己仍感到非常困扰，因为她也知道母亲和爱因斯坦的关系。
为此，不知所措的伊尔莎只得写信给朋友乔治·尼古莱请救：“昨天，这个问题突然提了出来：阿尔伯特究竟想和妈妈结婚还是和我结婚。阿尔伯特拒绝作出任何决定，他可以和两人中的任何一个结婚。”由于情况特殊，她在信文的上方写道：“看完此信请立即销毁。”但尼古莱显然并没有照办。
伊尔莎在给尼古莱的信中这样写道：“我知道爱因斯坦非常爱我，也许超过了一切可能爱我的男人，他昨天甚至自己也对我这样说了。”她透露爱因斯坦曾经承认，他和她在一起时，很难控制自己的性欲。
不过，在有过最初短暂的一段时间倾慕、依恋（其中当然不乏爱的成分）爱因斯坦之后，伊尔莎其实内心深处并没有真正爱上他。她说：
“如果两个不同类型的人之间确实存在着友谊和同志之情，他们之间当然应该是像我对爱因斯坦的这种感觉。不过我从来没有在身体上有接近他的愿望或者最轻微的渴望，也从来没有感觉到这种欲望。而他却相反--至少在最近。他本人甚至对我承认，对他来说，要管住自己是多么困难。”
没有激情，伊尔莎无法维持一段婚姻，而且她也害怕会变得不再爱他，甚至怨恨他。她认为，她对他的感情还不足以使自己和他结为夫妻。“最后一点，但一样重要，到头来我会觉得自己像个卖身为奴的女人。必须承认，这有点儿不合常情。（虽然阿尔伯特坚持说这些都是社会偏见。）”
伊尔莎很怀疑爱因斯坦可能是想有一种三角式的家庭生活（今天的人则时尚地称为3P），他可以因此同时享有爱尔莎的烹饪和社会关系，以及和伊尔莎的性关系。伊尔莎说，爱因斯坦还告诉她，如果她不想为他生小孩的话，那么她不嫁给他会更好些。“我也的确没有这种愿望。”她声称。
此外，伊尔莎还觉得：“经过这么多年的努力，我的母亲才刚刚接近自己的目标。如果我在这个节骨眼上和她竞争，我实在不知道这样做是否公平。也许您会觉得奇怪，我这个20来岁的傻丫头居然要做出如此严肃的决定。我自己也觉得难以置信。这使我感到非常难过。帮助我！”
好在她并不需要别人帮助。爱因斯坦权衡再三，最后还是决定娶了母亲，而放了女儿。
他俩有关系吗？
当时还有一个原因是，伊尔莎比较爱慕虚荣，不够朴实，爱因斯坦对她是有一些保留意见的。
虽然结果如此，但最初爱因斯坦毕竟喜欢过漂亮姑娘伊尔莎，甚至到了决定是否娶她的地步；毕竟伊尔莎也并不是对他一点不动心，并没有坚决拒绝嫁给他；而且，他们毕竟曾长时间生活在一片屋檐下，“抬头不见低头见”，按照他激动、热烈的情感，再说他也承认，与伊尔莎在一起时“他很难控制自己的性欲”，并亲口向她示爱--那么，他有没有和伊尔莎发生过身体关系，有没有“老牛吃嫩草”，而成为伊尔莎生命中的第一个男人呢？
至少，热切、深情的对话，火热的搂抱、亲吻、爱抚……这些总是有的吧？
对这个问题，现在已经找不到确凿史料了，包括爱因斯坦、伊尔莎、爱尔莎，当事人都没有说明，所以我们也无从知晓，不敢妄说。
但是，我们完全可以这样猜测一下。而且，这个可能性也并不是完全没有。
直到4年后，即1923年，25岁的伊尔莎·爱因斯坦才终于嫁给了荷兰人鲁道夫。
1934年5月中旬，爱尔莎已陪着丈夫爱因斯坦在大洋彼岸安顿下来1年多了，而留在欧洲大陆的大女儿伊尔莎则患上了癌症。爱尔莎怀着一颗悲伤的心，再次漂洋过海回去看望正在绝症之中痛苦挣扎的伊尔莎。尽管爱尔莎求他，爱因斯坦还是决定不和她一起去。一则工作繁忙，抽不开身；二则非常危险，德国法西斯分子到处布置有人，企图暗杀他。
伊尔莎已经病得很重，由她的妹妹玛戈特照顾。据爱尔莎的另一女婿、玛戈特的丈夫马里安奥夫说，伊尔莎认为她的病是身心失调引起的，因此她宁愿接受心理分析而不是正规的治疗。伊尔莎在8月份病故，她的骨灰埋在荷兰她丈夫居住的地方。
爱尔莎从欧洲回来后因过度悲伤而病倒，在家休养了好几个月才恢复社交生活，2年后自己也在异国他乡病逝。
爱尔莎的小女儿玛戈特则来到了美国，与母亲、继父爱因斯坦一起生活，并成为爱教授的养女，陪伴、照料他终生。