“数学的另外一个基本作用，那就是提供自然现象的合理结构（这一点在现代特别突出）。数学的概念、方法和结论是物理学和其他一些学科的基础。这些学科的成就大小取决于它们与数学结合的程度。数学已经给互不关连的事实的干枯骨架注入了生命，使其成了有联系的有机体，并且还将一系列彼此脱节的观察研究纳入了科学的实体之中。”
1930年，爱因斯坦在《物理学中的空间、以太和场的问题》这篇论文中，对理论科学数学化的问题做了一次精辟的论述。他说：
“相对论是说明理论科学在现代发展的基本特征的一个良好的例子。初始的假说变得愈来愈抽象，离经验愈来愈远。另一方面，它更接近一切科学的伟大目标，即要从尽可能少的假说或者公理出发，通过逻辑的演绎，概括尽可能多的经验事实，同时，从公理引向经验事实或者可证实的结论的思路也就愈来愈长，愈来愈微妙。理论科学家在探索理论时，就不得不愈来愈听从纯粹数学的形式的考虑，因为实验家的物理经验不能提高到最抽象的领域中去。适用于科学幼年时代的以归纳为主的方法，正在让位于探索性的演绎法，这样一种理论结构，在它能导出那些可以同经验做出比较的结论之前，需要加以非常彻底的精心推敲。在这里，所观察到的事实无疑是最高的裁决者。但是，公理同它们的可证实的结论被一条很宽的鸿沟分隔开来，在没有通过极其辛勤而艰巨的思考把这两者连接起来以前，它不能做出裁决。理论家在着手这项十分艰巨的工作时，应当清醒地意识到，他的努力也许只会使他的理论注定要受到致命的打击。对于承担这种劳动的理论家，不应当吹毛求疵地说他是异想天开；相反，应当允许他去自由发挥他的幻想，因为除此而外就没有别的道路可以达到目的。他的幻想并不是无聊的白日做梦，而是为求得逻辑上的最简单的可能性及其结论的探索。为了使读者更愿意来听取下面一连串的想法，就需要做这样的恳求。就是这条思路，它把我们从狭义相对论引导到广义相对论，从而再引导到它最近的一个分支，即统一场论。”
爱因斯坦在这里是针对他的广义相对论和统一场论曾长期遭受过科学界的冷漠与非难而有感而发。这两项迄今还是人类思想最伟大的结晶的成就，正是爱因斯坦文中所说的那种纯粹数学推理演绎的产物。它们不但不是建立在任何实验和经验的基础上，而且也是用任何实验手段都难以证明的，因为它们的触须已经深入到了人类根本无法进入的太空世界和原子世界。当时的科学家们讽刺它们是“理论的天堂，实验的地狱”。就是说，它们只是爱因斯坦头脑中异想天开的产物，根本没有实验可以加以证明。因此他们也就根本不承认它们，长期将它们打入冷宫。如果不是后来的日食观测证明了广义相对论推导出来的一个效应，也许这个改变了人类科学进程的伟大理论至今还会被积压在图书馆的旧纸堆里。因此爱因斯坦在这里恳求科学界对理论物理学家们多一些宽容，允许他们有自由幻想的空间，不要动不动就指责他们是在白日做梦（这些都是爱因斯坦亲身感受过的）。爱因斯坦更在这里明确地指出，人类今天的科学发展趋势是：
适用于科学幼年时代的以观察和归纳为主的研究方法，正在让位于纯粹数学推论为主的探索性演绎法。抽象思维代表了人类科学发展到最高级阶段时的思维特征，当然它也离现实愈来愈远，愈来愈难以用实验去验证，愈来愈难以被人所理解。爱因斯坦开始向现代物理学理论高峰发起挑战时，他甚至不具备任何实验手段。在这种情况下怎么还能做出那么重大的物理学发现呢？当理论物理学发展到它的高级阶段时，更需要的已经是纯粹的数学推理，而实验已经很难成为甚至完全不可能成为科学研究的辅助手段了。因此，缺少实验手段，已经不是爱因斯坦的弱势和劣势，反而变成了他的强势和优势。
自从科学进入20世纪以来，不仅是爱因斯坦的相对论，其他许多伟大的发现也都是高度抽象思维的产物。如普朗克的量子论；波尔的原子结构的量子化轨道理论；爱因斯坦的有限闭合的静态宇宙球状模型；洛伦兹的时空坐标变换；薛定谔的物质波动力学；以及哈金的宇宙黑洞理论等重大理论，都不是在实验基础上建立起来的，而且几乎都是无法用实验去加以验证的（或者说，是今天的实验手段还无法加以验证的，将来有一天也许可能会得到验证）。然而却正是它们，把20世纪的科学推上了人类历史上从未达到过的高峰。
数学的另外一个特性，是它的高度和谐与完美。
无论是代数、几何、三角、微积分……它存在的合理性，就在于它是否能达到和谐与完美。证明一个图形也好，解答一个难题也好，能否成功，最后都要看它是否能达到真正的和谐与完美。
英国的数学家、诺贝尔奖获得者罗素，关于数学的美有过一段论述：
“数学，如果正确地看它，则具有一种至高无上的美——正像雕刻的美，是一种冷峻而严肃的美。这种美不是投合我们天性微弱的方面，这种美没有绘画或音乐那些华丽的装饰，它可以纯净到崇高的地步，能够达到严格的只有最伟大的艺术才能显示的那种完美的境界。一种真实的喜悦的精神，一种精神上的亢奋，一种觉得高于人的意识，这些是至善至美的标志，能够在诗歌里得到，也能在数学里得到。”
爱因斯坦力图使理论物理学数学化，就是想借数学的力量，使理论物理学也达到数学的和谐与完美，他在狭义相对论、广义相对论和统一场论的研究中出色地做到了这一点。他用简明和谐的数学形式——黎曼非欧几何，推论出新的广义相对论的引力理论的工作，无论在理论物理学还是在数学上，都是20世纪人类在科学上的最漂亮的创造。爱因斯坦在建立广义相对论的过程中，曾经为不能给新的引力理论寻找到一种新的数学手段而苦恼，后来又幸运地找到了黎曼非欧几何。没有黎曼非欧几何，就不会有广义相对论。完美的数学形式，对新的科学理论的创造，有着重要的意义。
1983年的诺贝尔物理学奖获得者、印度的宇宙学者钱德拉塞卡就看到了这个关系，他说：“爱因斯坦是通过定性讨论一个对于数学的优美和简单的切实感相结合的物理世界，得到了他的场论方程。”
广义相对论第一次得到全世界公认，是因为1921年的日食观测，证实了广义相对论的空间弯曲学说所做出的恒星的光线经过太阳表面时会发生弯曲的预言，而且偏转的角度完全符合广义相对论的计算结果。如果我们现在再来回顾一下这次事件发生前后的几个细节，就会发现一个十分有趣的现象，那就是理论的数学计算部分在形式上是否和谐完美，竟然直接关系着理论本身的正确与否。
早在1907年，还是伯尔尼专利局小职员的爱因斯坦，根据他的相对论又发现了“等效原理”。这时他就认识到这个原理意味着光有某种弯曲。但是根据计算，这个效应太小，无法进行观测。由于他对这个计算方程不够满意，光的弯曲问题也就暂时放下了。1911年，已经是布拉格大学教授的爱因斯坦又重新捡起了这个问题，他发现在日全食时，这个效应是可以被测到的，并且计算出了星光的弯曲度应该是087″。当时他还没有向广义相对论进军，还没有发现奇妙的“空间弯曲”，因此这个星光的弯曲度还是根据牛顿的平直空间来计算的。当时他就对其中的运算方程感觉有些不尽如人意，但却没有找到原因，只觉得有什么地方不太对头。
1914年，一支德国的远征队开赴克里米亚，准备观测8月21日在该地出现的日全食，以验证爱因斯坦的预言，但后来因为第一次世界大战的爆发而无法完成这次考察任务。后来爱因斯坦对此并未觉得遗憾，因为当时他计算出的星光弯曲度083″依据的还是牛顿的平直空间，得出的数据是有误差的。1915年广义相对论出世，根据爱因斯坦的弯曲空间理论，计算出的星光弯曲度是17"，正是牛顿平直空间值的两倍。
终于，1919年的日食观测，不但证实的了星光的弯曲，而且也宣告了爱因斯坦的弯曲空间对牛顿的平直空间的胜利。观测测得的星光弯曲度是：17"！
凡是当数学方程不够和谐的时候，理论本身就是有缺陷的，而当引力方程达到了真正的和谐与完美，理论也就取得了最终的胜利。