忽必烈采用汉法治理汉地效果显著，威望日增，财力开始雄厚，这样必然会损害蒙古游牧贵族和西域商人的利益，这又形成了对蒙哥汗权的威胁，为此引起了一些宗室大臣和蒙哥的不安。1257年，蒙哥以忽必烈患有脚病，让其留在家中休息为由，以塔察儿为左翼军统帅，从而解除了忽必烈的兵权。同时又派阿兰答儿、刘太平、囊家台等到陕西、河南钩考钱谷。阿兰答儿设立钩考局就是为了夺回忽必烈控制地区的民政、财赋大权，打击忽必烈的势力，阻止其改革计划。后来，忽必烈听从姚枢的建议，反把妻子、儿女送到汗廷作人质，表示并无异志。当年11月，忽必烈又去谒见蒙哥，兄弟间终于消除了疑虑，蒙哥下令停止钩考，忽必烈也撤了设在邢州、陕西、河南的机构，调回了以前派出的官员。这样，避免了一场不测之祸。1258年11月，因塔察儿军事失利，蒙哥又命忽必烈重率东路军征南宋。
蒙哥死后，关于汗位归属问题在蒙古王室内部争论激烈。当时忽必烈认为自己理所当然应该继位，但皇弟阿里不哥和宪宗蒙哥的儿子们也可继承汗位。蒙哥南征时，阿里不哥奉命留守和林，主持大兀鲁思，管理留守军队及诸斡儿朵，在政治上处于非常优越的地位。同时，皇后忽都台以及蒙哥诸子都拥护阿里不哥，他又拥有留守和林的军队及南征的部分军队。故阿里不哥在政治上有声势，军事上也有一定实力。当蒙哥去世后，阿里不哥先发制人，派阿兰答儿发兵于漠北诸部，派脱里赤扩兵于漠南诸州，阿里不哥的军事行动给忽必烈极大的威胁。忽必烈的妻子获悉后立即报告了忽必烈。忽必烈此时正在率军南伐，蒙哥的异母弟末哥也派使者对忽必烈说：“末哥请你回漠北去，以你的威望维系天下人心。”忽必烈察觉问题的严重性，便召集诸王、大将和幕僚们商议对策，忽必烈听从郝经的建策，立即即位。正好此时南宋贾似道遣使讲和，达成以长江为界，每年纳银二十万两、绢二十万匹的议和条件。忽必烈断然率军北上，展开了同阿里不哥的汗位争夺战。1260年3月，忽必烈到达开平，召集忽邻勒塔，诸王塔察儿、也先哥、合丹、末哥等及大臣们商议时，他们再三劝进忽必烈先发制人。忽必烈终于在开平登上了汗位。忽必烈即位后不到一个月，其幼弟阿里不哥在和林自称奉遗诏，在另一些王的拥戴下宣布为大汗。这年秋天，忽必烈亲统大军前往和林，阿里不哥自知不敌，便放弃和林，撤到西北的谦谦州（今叶尼塞河中、上游）一带。他一方面派阿鲁忽主持察合台汗国的国事，筹集兵械粮草，另一方面与忽必烈假意议和。忽必烈则留也先哥镇守和林，派宗王移相哥驻守边疆，而自返开平。1261年秋，阿里不哥对移相突然袭击，移相溃败。阿里不哥挥师南下，11月，忽必烈与他大战于昔木土脑儿，阿里不哥大败北遁。此时阿鲁忽背叛，阿里不哥发动了对阿鲁忽的战争，1262年阿鲁忽倒向忽必烈。这时诸王昔里吉等相继转向忽必烈。不久阿里不哥在漠北被战败。阿里不哥在政治上因循守旧，军事上少援寡助，经济上困难重重，其失败是必然的。他于公元1264年7月在开平向忽必烈归降，一场争夺汗位之战从此结束。
公元1264年（一说1267年）8月忽必烈迁都燕京（今北京市），改燕京为中都。至元九年（1272年）又改中都为大都，并进行营建。忽必烈把中央政府机构设于此地。他的迁都，其意义重大：第一，避开了叛乱诸王的威胁；第二，立足于人力物力俱丰的中原地区，以便驾驭幅员辽阔的大蒙古帝国；第三，便于鲸吞南宋，一统天下。
忽必烈于公元1271年11月将“大蒙古”国号改为“大元”，从此以一个新朝雄主登上历史舞台。公元1279年灭南宋，统一了全国。
忽必烈在位的最初几年中，致力于巩固汗位，对南宋只求维持现状。公元1260年4月，他派郝经为国信使到南宋宣告自己即位的消息，并商谈与贾似道达成的协议。但贾似道害怕郝经会败露他屈辱投降的议和条约，就把郝经拘留在真州（今江苏仪征），忽必烈得不到回音。至公元1267年，忽必然以宋廷拘囚郝经为借口举兵南下伐宋。首先攻击南宋的重要据点——襄阳（今湖北襄樊），同年11月，南宋降将刘整向忽必烈献策说：“攻宋方略，应先围襄阳。如能得手，便可由汉水入长江，一举扫平南宋。”忽必烈听从他的建议，于公元1268年派阿术、刘整等进攻襄阳。蒙军在头几年中用筑堡垒、造舰船、练水军、绝援襄粮道等方法，但始终未能攻下，直到公元1272年正月，元军采用张弘范断绝襄樊水上联系的策略，又用西域“回回炮”猛攻樊城，宋将范天顺战死，樊城失守。2月，吕文焕以襄阳投降元朝，至此，历时六年的襄樊保卫战宣告结束。
公元1273年6月，忽必烈发布伐宋诏书，命左丞相伯颜统帅二十万大军，水陆并进。伯颜分两路，一路进犯淮西淮东，指向扬州；一路由他率领沿汉水入长江，沿江南下，直趋临安。12月，伯颜攻占了汉阳、鄂州（武汉）。公元1274年，贾似道迫于压力，于公元1275年2月统十二万军迎击元军。丁家洲（今安徽贵池）一战，贾似道败退到扬州。3月，伯颜进占建康（今南京）。7月，忽必烈升伯颜为右丞相并进攻临安。公元1275年正月，伯颜率军进驻临安，宋帝赵遣使上表投降。5月，赵被送到上都，忽必烈召见后废去帝号，封为瀛国公。此后，宋益王赵，广王赵在陆秀夫、张切杰、文天祥、陈宜中等人扶助下在东南沿海又转战数年。公元1278年12月，文天祥在五坡岭（今广东海丰）被捕。公元1279年2月，南宋的最后据点厓山被攻破，陆秀夫背着八岁的小皇帝赵投海而死，南宋亡。
逐水草而居的蒙古人对于定居的农业文明很陌生，所以在征服之初，他们对汉族地区实行野蛮的武力镇压和经济掠夺，给中国北方经济造成极大破坏。成吉思汗灭金之际，曾有蒙古贵族向成吉思汗提出“汉人无补于国”的观点，主张将中原田地全部改造为放养蒙古牛马的牧场。在耶律楚材等一批宋、金降附士大夫的规劝之下，好利的蒙古统治者为每年不可计数的国家赋税所动，最终改变了初衷，使汉族地区的农业生产得以保持较为正常的发展态势。
但蒙古族真正改变政策，由马背走向田间，则是从元世祖忽必烈重视农业、劝课农桑、建村社开始的。
1261年的开平忽必烈王府，各项事业蓬勃发展。新任命的大劝农官张文谦出班奏道：皇上，臣自接受劝农官以来，夙夜忧叹，今思得发展农业十法，特向陛下禀明：
其一曰：亲祭先农。皇上不但要明宣农为国本，首诏天下倡农，还应择机祭祀先农，让蒙古胄子代耕藉田，大造声势，让农业成为时尚，为农业发展铺路。
其二曰：重申政令。重申禁止诸王贵族因围猎践踏田亩，严禁私改农田为牧场的禁令，同时应停止官府供给移居中原蒙古人粮食的做法，直接分给耕地，让他们自己耕种获得俸禄，让他们从马背走向田间。
其三曰：实行屯田，减轻农民军粮负担。要剿灭南宋，巩固我蒙古帝国的边防，靠远途运输，劳民伤财，得不偿失，因为会加重百姓粮食生产和运输徭役负担。为解决这一矛盾，臣下以为，当实行屯田制度。明令各军种、兵种，改秋来春去之兵，为分据要地，敌人来犯，则战；敌人退走，则耕田。待收获粮食，供给充足，边备自然会巩固。等秋天到来，再大举出兵，则敌无有不破之理。
其四曰：选拔专家。命各路宣抚司访贤求能，寻找通晓农业事务的有专门技术的专家，任命为劝农官，分赴各路，劝农植桑并指导农业。
其五曰：传播技术。搜集天下古今所有的农桑之书，征集各地农业生产的成功经验，编辑成册，指导农民耕作。
其六曰：打造农具。国家应打造农具，发至穷乡僻壤，也可定价出售，作为增加国家财政收入的手段，推动农业经济的恢复和发展。
其七曰：增设劝农司。中央和地方设立劝农机构，派遣各级农官到各路督励农桑，各级官府衙门要悬挂耕织之图，使为吏者出入观览而知其本。
其八曰：设置义仓备荒。加强仓储制度建设。要重视粮储问题，丰年入仓，待有灾变，则开仓赈灾，救民于水火。
其九曰：兴修水利。中央设都水监、河渠司，以兴修水利、修河治渠为务，并责成劝农官及知水利者巡行于各路督察“农桑之制”。
其十曰：改革田制。允许农民开垦荒地，并给予多种优惠，承认他有永久使用权。这样自然能大大调动农民垦荒的劳动积极性。
忽必烈对好这十奏疏大为称赞，并命郝经拟旨，依照张文谦的意思，由中书省协办相关事宜，诏谕全国实行。
忽必烈从小就受这些汉儒幕僚的影响，他以唐太宗为榜样，“思大有为于天下”，因此，对于中原的政治经济制度，有比较深刻的印象；再加上他在经略漠南时期，他的“附会汉法”制度，获得了巨大的成功，为他打败阿里不哥，夺取汗位提供了有力的物质保障。因此，对于中原地区的农业生产，他有着不同于一般蒙古游牧贵族的见解。
夺取汗位后，忽必烈统治地域扩大了，统治所面临的新问题也产生了：是继续保持游牧的传统，废农田为牧场，还是由马背走向田间，适应中原的农业社会的发展？
卓有远见的忽必烈当然知道哪个更有利于他的统治！
他专门成立了劝农司，派出许多劝农使分赴各地整顿农桑。几天后，陆续传回了消息，各地劝农使恪尽职守，各路都已经完成春播，全国新增耕地二三十万亩。
忽必烈规定诸县所属村疃，凡五十家立为一社，推年高、通晓农事、家有兼丁者为社长，组织农民耕垦，修河治渠，经营副业，教督村社农事；增至百家者，别设长一员。不及五十家者，与近村合为一社。地远人稀，不能相合，各自为社者听。其合为社者，社长仍择于村中。平时田边树立木牌，上书某社某人，社长以时点视劝诫；社中的疾病凶丧之家，由众人合力相助，一社内如受灾民户较多，则两社助之；社长的徭役予以免除，地方官府不可另派科差。
蒙古游牧民族刚入中原之时，蒙古贵族往往跑马圈地，把原来土地上的汉人赶走，任其荒芜，开辟为牧场，放牛放羊，致使大量依靠土地谋生的汉人流离失所，被迫逃离了家园；造成土地荒芜，人口锐减；也造成了汉人的誓死抵抗，不愿降服。如今自忽必烈称汗以后，大力发展农业，劝课农桑，兴修水利，改革田制，并轻徭薄赋；政府采用“以农桑为急务”的政策，坚持“使百姓安业力农”的思想，把农业发展的好坏，“户口增、田野辟”作为考核地方官吏、决定升迁的首要条件。这些政策和措施使饱受战乱之苦、流离失所的百姓重新获得了土地，一度荒芜的田野又种上了庄稼。
忽必烈在全国大兴学校，普及教育。规定每个社都要有为村里的儿童们建立学校的义务。“当农田中只需要很少的劳动力时，就让他们的子女去上学，接受儒家思想的熏陶，这样我们再通过考试选拔的形式，就不难把有志之士纳入怀中，为国家出力了。”
忽必烈采取的这一系列发展农业的政策和措施，使素有“马背上的民族”之称的游牧民族，较快地接受了中原地区先进的农业生产技术，由马背走向田间，使全国各民族融合在一起，推动了农业生产向前发展，同时使经济在长期战争影响下得以发展。