刘大不善于说话，往往因此得罪不少人。
这天，刘大五十岁生日，特地邀请好友张三、李四、王五和赵六来聚聚。准备吃饭了，刘大发现赵六还没有来，懊恼地说：
“该来的又不来。”这话给张三听到了，暗想：我可能是不该来的，于是就走了。刘大看到张三走了，着急地说：“哎，不该走的又走了。”这话给李四听到了，心想：看来我是应该走的，于是也立即走了。刘大见李四走了，摊摊手对王五说：“我又不是讲他的。”王五想：你不是讲他的，那一定是说我了，于是也起身走了。
刘大一看，不明白了：“哎，怎么都走了？”
请问小朋友：你知道刘大的话错在哪里吗？