尽管小数点这个小小的符号产生于欧洲的文艺复兴时代，但中国在小数概念的提出和应用上，则远远地走在世界各民族的前列。中国自古以来使用十进制计数法，一些实用的计量单位也采用十进制，所以很容易产生十进制分数，即小数。
已有确切的证据表明，小数的出现是与测量密切相关的。比如用某种尺子度量，当遇到某一部分不足一个测量单位时，便需要用更小的一些单位来表示，这些较小的单位是原单位的十分之一，百分之一，千分之一……十进制分数或许在公元前几个世纪就已存在，从留传至今的刘歆为一标准量器所作的铭文中，可以确切地推断为公元5年，其中提到的一个长度准确到9.5个单位。
在现存数学文献中，小数的第一次出现见于刘徽在公元3世纪中期的著述中。他在计算圆周率的过程中，用到尺、寸、分、厘、毫、秒、忽等7个长度单位；对于忽以下的更小单位则不再命名，而统称为“微数”。在他对公元前1世纪的《九章算术》的注释中，记述了一个1.355尺的直径。《九章算术》本身已谈到平方根和得到的非整数的解，即留有余数的计算结果。但刘徽并不满足于余数，而以“微数法”进一步表示成一系列的十进制小数位。他说：“微数无名者以为分子，其一退以十为母，其再退以百为母。退之弥下，其分弥细，则朱幂虽有所弃之数，不足言之也。”通过演算可证明，刘徽的“微数法”与现代小数概念是一致的。
南北朝的祖冲之（429年～500）在圆周率的计算中取得辉煌成就，求得直径为一丈的“圆周盈数三丈一尺四寸一分五厘九毫二秒七忽……”圆周率相当于在3.1415927与3.1415926之间，所以说祖冲之计算圆周率精确到小数点后6位的依据就在于此。
到了宋、元时代，小数概念得到了进一步的普及和更明确的表示。杨辉《日用算法》（1262）载有斤两换算的口诀：“一求，隔位六二五；二求，退位一二五。”即十六分之一等于0.0625，十六分之二等于0.125.这里的“隔位”、“退位”已含有指示小数点位置的意义。秦九韶在《数术九章》（1247）中，则将单位注在表示整数部分个位的筹码之下，这是世界上最早的小数表示法。元代刘瑾写的《律吕成书》（约写于1300）一书中，对忽以下的“微数”采用降一格的书写形式。
在欧洲和伊斯兰国家，由于古巴比伦的60进位制长期以来居于统治地位，因此10进制小数迟迟没有发展起来。15世纪初中亚细亚地区的阿尔·卡西是中国以外第一个应用小数的人，他在《算术之钥》（1247）一书中给出了10进分数与60进分数间的互换法则。欧洲数学家直到16世纪末才开始考虑小数。作为整数部分和小数部分的分界符的小数点，最早出现在佩洛斯的《算术》（1492）一书中，但它的使用直到1585年斯特文的《论十进》一书出版后才明确下来。