忽必烈从小就接受了汉文化的熏陶，受到汉人的影响，“思大有为于天下！”他从青年时代起就结识了一些中原文士，对中原的情况十分熟悉，而且结识的这些儒士也对他以后的治国安邦起了极为重要的作用。
汉人刘秉忠对他影响最大。刘秉忠，名侃，字仲晦。曾任金国小吏，后弃职出家，与云海禅师一起入漠北讲道，被忽必烈留在身边，商议军国大事。刘秉忠博学多能，善于出谋划策，深受忽必烈重视。
忽必烈因刘秉忠的关系对汉族文化产生兴趣，之后招来越来越多的读书人到王府。西京怀仁赵璧与刘秉忠同年入幕。忽必烈称他“秀才”，让自己的妻子亲自为他做衣服以示宠爱。忽必烈还让他学习蒙古语，翻译《大学衍义》（南宋理学家真德秀作品，发挥《大学》思想，告诉封建皇帝如何治理国家），好为忽必烈讲说，马上帐中，常年不辍。赵璧又推荐了金朝状元王鹗。如此这般，忽必烈通过召见或者他人推荐，将许多儒生招致麾下。连隐居山林的大儒姚枢也被招来为忽必烈讲帝王之道，忽必烈的儿子真金甚至作为姚枢授学生。
姚枢，字公茂。柳城人，后迁至洛阳。少年时曾与杨惟中拜见过窝阔台。蒙古军南伐宋朝，诏令姚枢跟随惟中往军中寻求道、儒、医、释、卜诸色人等。蒙军破枣阳，主将准备屠杀该城居民，被姚枢极力劝阻，说这样做并不符合旨意，以后如何向皇帝交代。攻下德安后找到名儒赵复，得到了朱熹、程颐的著作。宋淳祐元年（1241年），任命姚枢为燕京行台郎中，并赐予金符。不久因拒绝收受贿赂，辞官不做，携家迁居辉州，在那里建立家庙，专门布置了一室，供奉孔子及宋儒周敦颐等，刊印经书，打算就这样每日读书抚琴，在此终老一生。魏县的许衡也跑到姚枢家中来抄录程、朱所注的经书。
忽必烈在即位前，派赵璧把姚枢召至王府，以上宾之礼对待他，向他询问治国之道。姚枢上书千言，首先列了八条二帝三王治国平天下之道：力学、修身、亲亲、尊贤、畏天、好善、爱民、远佞。其次是拯救时弊三十条，大意是：设立中书省和各部，统一政令，纲举纪张；裁汰平庸之辈，选贤举能；颁赐俸禄，堵塞贪赃；审理刑狱，制定法律，把生杀之权收归朝廷，使冤者能够昭雪；设置监察机关，官吏能者升，庸者降；停止征敛，对部族不许勒索诛求；对驿传进行精简，减轻州郡负担；修建学校，表彰节孝，提倡经书，以培养人才，淳化风俗；严肃军政纪律，不准扰民；发展农业，轻徭薄赋，禁止游手好闲；屯田戍边，巩固国防；周济贫困者，抚恤孤寡；开通内河漕运，使京都仓廪充足；禁止高利贷，让借贷的家庭不至于破产；设立常平仓，以储粮备荒；建立度量衡制度，使奸商无法欺诈；为了减少不应有的诉讼，杜绝诬告；等等。忽必烈认为姚枢才华出众，有事就询问他。
当初蒙哥即位，令忽必烈总揽赤老温山以南的军政大权。除了姚枢外，群臣都来称贺。忽必烈问他是什么原因。姚枢回答说：“如今天下土地之广，人民之众，财赋之多超过了汉人所占有的区域吗？若军民全部归属殿下管辖，还要天子做什么用？日后若有廷臣从中挑拨，皇帝听信，必定会把你现在的权力夺去。倒不如现只握兵权，由有关行政机关供给所需财物，这样就会安然无事。”忽必烈听从他的建议，并得到蒙哥的批准。姚枢又建议在汴京设置屯田经略司，为以后攻宋做好准备；在卫辉设都转运司，以便把粮食转运到河南。蒙哥大封宗室领地，忽必烈听从姚枢的意见，把其封地选在关中。
蒙哥汗二年（1252年）夏，姚枢随忽必烈征大理，途中引用宋太祖遣曹彬取南唐没有杀一人的事例，劝忽必烈不要过多杀人，被全部采纳。翌年蒙军攻陷大理城，在旗上大书止杀令，传于军中，因此当地人民得以保全性命。
当然，忽必烈重用汉人、在汉地推行汉法的成功，使他在汉地中的声望迅速提高，也引起了蒙古贵族和朝中大臣等守旧势力的不满，蒙哥便以忽必烈患有脚病需要回家休息为由，解除了他的兵权。在汉儒们的策划下，他不但躲过了这场考验，反而有了指挥东路灭宋的指挥权。
1259年，蒙哥大汗逝世的消息传来。忽必烈在汉人的帮助下，1260年先发制人，在开平称汗，并且凭借着近十年经营漠南汉地所积聚的经济和政治实力，一举打败了另一个汗主——他的弟弟阿里不哥，确立了君临天下的绝对地位。
忽必烈即位，设置十道宣抚使，其中姚枢为东平宣抚使。姚枢到任后，平均农民的赋税负担，把铁官罢去，设检察、劝农二人监理其事。中统二年（1261年），拜他为太子太师，姚枢以为不适宜，辞去不做，又改任大司农。
至元四年（1267年），拜姚枢为中书左丞。姚枢奏请废除各地宗室世代承袭地方长官的旧制度，官吏改由中央委派。忽必烈非常恼怒，姚枢上书说：“太祖开创基业，超过前代，但还没来得及治理就辞世了。其后数朝官员多且滥用刑罚，以致民生凋敝。陛下生来圣明仁慈，即位前就讲求治国之道。河南、陕西、邢州这些地方本来治理很混乱，陛下在那里设置安抚、经略、宣抚三使司，选派官吏去任职，颁行俸禄，清除贪污，提倡廉洁，鼓励农桑，不到三年这些地方就完全变了样。各地百姓都企盼陛下去拯救他们，就像子女之盼母亲。先帝宪宗驾崩后，国内陷于混乱之中，是上天让陛下继承皇位。陛下采用中国历代制度，内立中书省及各部，外设监察院及各道按察司。自中统至今五六年间，虽内叛外侮接连不断，但官民还是比较安定地恢复。”
忽必烈成为唯一的蒙古大汗。忽必烈明白，如何建立一个既能保持蒙古之成法，又能适应中原地区经济文化发展水平的一整套国家机器，是他面临的最大的问题。完全采用汉化，做中国的皇帝，那势必要牺牲蒙古贵族和早先征服的部落的利益。更为重要的是，中原仅仅是大蒙元帝国的一小部分，他们又是最后被纳入版图的，而要让征服者接受被征服者的文化与文明是非常困难的事情，虽然被征服的汉人（北方人）、南人（南方汉人）的文化已远远超过了他们这些游牧民族。
但是忽必烈又明白，就是这一小部分，却代表着先进的文化，是蒙古帝国中最有活力的一部分。自己要想在中原立住脚跟，要想创造出比成吉思汗还要宏伟的事业来，最终他还是要依靠这一小部分。因此，他便毫不犹豫地在建国之初就利用汉人，进行了一系列的汉化改革。
他又找到了那些推他到汗位上的汉儒们。刘秉忠是第一个，忽必烈委托他：“凡治天下之大经，养民之良法，卿其议拟以奏。”
刘秉忠立即着手进行这项工作。他们上采祖宗旧典，参以古代制度，结合现实需要，详细列出了条文上奏忽必烈。
首先采取了一个具有重大意义的措施就是建立年号。蒙古人原以十二生肖纪年。成吉思汗建国后，历代大汗也没有用过年号，忽必烈采用了刘秉忠的建议，按照中原汉王朝的传统，称帝建年号。建立年号一事，是忽必烈意图按照中原王朝原有模式来建立自己的政治机构所迈出的第一步，既表示蒙古国继承中原王朝前代之定制，也表示蒙古统治者统一全国，实现“天下一家”的意志。1264年，他又下诏改燕京为中都，升开平为上都，并改元“至元”。至元八年，废蒙古国号，取《易经》中的“大哉乾元”之意，新建国号为“大元”，进一步表示要“统一天下”，实现“天下一家”的愿望。
第二点就是为建立稳固的政治地位，逐步建立健全中央和地方的行政体例。许衡奏道：“自古立国，皆有规模。循而行之，则治功可期。而堂堂天下，可无一定之说而妄为之哉？”他们借鉴宋、金制，在中央设立中书省；在地方上设置行中书省，简称行省，形成沿用至今的行省制度。行省之下分路、府、州、县等各级政府机构。各级官吏“颁章服，举朝仪，给俸禄，定官制”，改变了过去蒙古人无俸禄、依靠掠夺自给的传统。
第三点就是劝课农桑，发展经济。1261年，忽必烈建立劝农司，劝农司挑选农艺学上有造诣的人去帮助农民更好地利用他们的土地。各地严禁蒙古贵族圈地毁田；相反，政府还鼓励垦荒，实行屯田、招抚流民、劝课农桑、兴修水利、轻徭减负、建立学校等。这些措施的施行，有力地促进了中原地区的经济文化发展，不到十年，就使中原部分地区得到初步治理，为忽必烈开动军事机器准备了充足的物质保障。
忽必烈用汉人治国，不仅推动少数民族之间的联系，加快了民族融合的步伐，而且推动了少数民族地区经济和科学文化的发展，也使中原各地的经济、文化生活大为丰富。同时也保护了中原汉民族的文化没有被人为割断，促进了经济的发展。