在巴黎，卡萨尔斯认识了葡萄牙大提琴家吉列米娜·苏吉娅，两人经常共同演出，关于他们的关系也有诸多传闻，但最终的结果却是分道扬镳。吉列米娜·苏吉娅生于葡萄牙，被誉为当时最伟大的女大提琴家。据说她的个性反复无常，狂暴不安。卡萨尔斯比苏吉娅大十二岁，在共同生活了几年之后，苏吉娅突然于1912年离开了卡萨尔斯，其中的原因至今仍是一个谜团。
离开了卡萨尔斯之后，苏吉娅到了英国，并在那里创造了辉煌的演奏生涯。而卡萨尔斯也很快在纽约与美国女高音歌唱家苏珊·梅特卡夫结了婚，然而在1928年他们的关系宣告破裂。有人说，卡萨尔斯和那位美国歌唱家妻子的最终离异，是因为卡萨尔斯老派固执的性格和美国妻子浪漫的气质难以调和。
1957年时，卡萨尔斯已经八十岁了，在这一年，他作了两个重要的决定，一是和比他小六十岁的学生玛尔塔结婚，其次是永久定居在波多黎各。玛尔塔来自于波多黎各，有着极好的音乐天赋，她最初见卡萨尔斯的时候只有十四岁，在跟随卡萨尔斯学习大提琴的过程中，两人暗生情愫，最终结成伉俪。至此，在度过了几十年漂泊的生活之后，卡萨尔斯跟随新婚妻子回到了母亲和妻子共同的故乡波多黎各。
在和卡萨尔斯结婚之后，玛尔塔几乎放弃了自己的事业，把全部的精力都放在了卡萨尔斯的身上，玛尔塔的善良活泼给晚年的卡萨尔斯带来了快乐和安慰。在玛尔塔的照顾下，卡萨尔斯在举行音乐会的同时，把更多的精力放在了教学上，他开设了大师班，教学的足迹遍布世界各地。在玛尔塔的伴随下，卡萨尔斯的晚年生活幸福而充实。