中国古书上出现的有关数学中剩余定理的记载，要比欧洲数学家创立的早1300多年。
公元4世纪，中国有部数学著作叫《孙子算经》，书中提出这样一个问题：今有物若干，如果3个3个地数，最后剩2个；如果5个5个地数，最后剩3个；如果7个7个地数，最后也剩2个。问有多少物。后来有人把其中的“物”字改为“兵”字，编了一道有趣的数学游戏，叫做“韩信点兵”。
《孙子算经》提出的这一问题的解法是：首先，求5乘7之积的2倍得70（70被3除余1），3乘7之积得21（21被5除余1），3乘5之积得15（15被7除余1）。然后，将所得之积乘以问题中的相应剩余数2、3、2，得数相加为233，再减去3、5、7连乘积的2倍，最后得23，这就是最小答数。如果题目中的剩余数不是2、3、2，是其他数，可依此类推。这种解法，后来就叫做中国的剩余定理，距今约有1600年，是世界最早的剩余定理。
剩余定理，在中国晋朝以后，在天文学方面获得了实际应用。特别是南宋时，秦九韶推广了剩余定理的应用，补充了计算法则，并在他的《数术九章》中发表出来。秦九韶的“大衍求一术”，大大超越前人。这项卓越的数学成就传到西方后，受到西方学者的高度评价，秦九韶被誉为“最幸运的天才”。公元5世纪以后，剩余定理传到了印度，被印度科学家应用到天文计算中。
在欧洲，这类问题叫做一次同余式问题。但一次同余式的解法相当复杂，长期找不到好的解法。后来，大数学家欧栾提出了与《孙子算经》中相似的方法，才使这一难题得到解决，但这已是公元1734年的事。因此，有一位著名的外国数学家写道：“中国数学与希腊、罗马、印度、中亚细亚以及中世纪数学之间的关系，至今依然研究很不够。但是这种关系确实存在的，在不少国家的数学书本上，问题的内容恰恰与中国原著完全一样。”