乒乓球起源于何时何地，说法很多。大致归纳于下：据有关史料中说，清初我国已有台球流传于民间，深受人们喜爱。在我国四川、云南交界山区的苗族人，就把这种台球游戏作为农闲和饭后消遣。他们用晒干的梧桐树或柑树的果子当球，用带长柄的木板当拍，用门板当球台，两边对打，人们称此为“臭柑子”游戏。另据资料记载，清末珠江流域盛行类似的游戏，不过不用干果当球。而是用猪尿泡吹气做成小球，比干果弹性要大，或在桌上、或在地上、或在空中对打，这可谓乒乓球运动的前身。
远在1 800年前，美国一个体育用品制造商别出心裁。发明了一叫做“室内网球”的游戏。想在美国推广，但遭到了冷落。他不甘心，把它转到伦敦代理商那里，这种游戏便在英国流行起来，人们将餐桌拼在一起，中间拉网对打，因而称之为“桌上网球”。当时的球用软木或橡胶制作，外裹棉线以防止被拍击坏。几年之后，空心球诞生了，桌上网球开始走向全世界。
伦敦一位叫古德的人把橡胶黏在球拍上，因而拍击球时发出“乒”的声音、球碰桌面时又发出“乓”的声音，所以英国人称这种游戏为“乒乓”。
另一种说法是源于南美洲。当地的印第安人用橡胶树的汁液做成实心球，晾干后重量轻、弹性好，称为“马卡瓦”，在当地很流行。后来由哥伦布或其他探险者带回欧洲逐渐传开。
还有一种说法是源于俄国。沙皇时代贵族家庭的一些成员，用橡胶球缠上毛线做成球玩游戏，1890年前后已相当流行。也有人说欧洲一些国家的宫廷中，最早用象牙做球，因造价昂贵，难以推广。
最流行的说法是乒乓球源于英国。19世纪末的一天，伦敦遇到少有的闷热。两位青年看过温布尔登网球赛后，到一家星级饭馆的单间去吃饭。先是用雪茄烟盒当扇子，继而讨论网球技战术，顺手捡起软木塞酒瓶盖当球，以桌子为球台，中间拉一细绳为网，用雪茄烟盒盖打球。碰巧侍者在一旁喝彩，闻声赶来的女店主见此情景，不禁脱口喊出“TABLE TENNIS”。从此，桌上网球在大学生中流行，进而在全英国流行。一声喝彩“桌上网球”为乒乓球命了名，一直沿用至今。
大约在1890年，英格兰的一位退休的越野跑运动员詹姆斯·吉布（James Gibb）到美国旅游时，偶然发现了一种用赛璐珞制成的空心玩具球，弹跳力很强，于是产生了用这种小球来替代软木球和橡胶球的想法。他把这种球带回英国后，就将这种球稍加改进，并逐步在英国和世界各地推广起来。或许因为赛璐珞球在桌上，被羔皮纸拍打来打去发出了“乒乒乓乓”的声音的缘故，英国一家体育用品公司模拟其声，首先用“乒乓”（Ping-Pong）二字作了广告上的商品名称。至此，乒乓球才开始有了如此之名。到了1926年，早已成立的英国乒乓球（Ping-Pong）协会发现“乒乓”二字是商业注册名称，加之原乒乓球协会缺乏代表性，因而便解散了原组织，重新成立了“桌上网球协会”。自此，“桌上网球”这个名字一直沿用至今。国际乒联至今仍采用这个名称。汉语中的乒乓球是从声音上得名；日本称其为桌球则与原意更为相近。
首位国际乒联主席蒙塔古说，19世纪末，乒乓球以各种奇特的名称盛行，器材与现在大不相同，欧洲的“室内网球”
可在桌上、也可在地上打，球拍与现在的羽毛球拍相似，球是硬而轻的实心球，等到赛璐珞实心球出现后，它几乎传遍全世界。