姚崇在“十事要说”中，有好几处是讲到整顿吏治的。玄宗对这些意见完全赞成，因为他深知吏治败坏是中宗以来一直存在的问题。韦后、安乐公主为了扩大自己的势力，用高官厚禄来网罗亲信死党，也用卖官鬻爵来搜刮钱财。当时花钱三十万，就可以别降墨敕，斜封付中书授官。这种斜封官的任命，不通过正常的考选途径，不能保证任官者具有合格的素质。斜封官补授没有限制，员阙不够，就置员外官，多达数千人。“时政出多门，滥官充溢，人以为三无坐处，谓宰相、御史度员外官也”。吏治的败坏达到无以复加的地步。
睿宗朝初期，宋璟任检校吏部尚书、同中书门下三品，李义、卢从愿为吏部侍郎，姚崇任兵部尚书、同中书门下三品，陆象先、卢怀慎为兵部侍郎。他们都为官清正，不徇私情，文武选举，取舍平允，铨综有叙，又罢去斜封、待阙、员外等官数千人，使吏治的情况好了一阵子。不久，由于太平公主干权弄政，姚、宋被贬职，斜封官又重新起用，贿赂公行，任人唯私，吏治的腐败一如中宗之世。
玄宗从睿宗那里接过来的官僚队伍是一支冗员众多、素质不良、办事效率极低的队伍。他必须整顿和改造现有的官僚队伍，使之变得精干、有效率，才能使整个国家机器有力地运转起来。
因此，姚崇上任以来，裁汰冗员、整顿吏治就成了首要任务。姚崇和唐玄宗主要采取了下面这些措施：
1.撰写《五诫》，严整吏治
姚崇严格要求官吏，开元二年（716年），姚崇集中撰写《持秤诫》、《弹琴诫》、《持镜诫》、《辞金诫》、《冰壶诫》（合称《五诫》）。今天，当人们读到姚崇的《五诫》时，无不为他的浩然正气、高风亮节、博大胸怀、精辟见解所折服！
他撰写的《五诫》，向官吏提出了在道德规范上的具体要求。其中在《持秤诫》中，他要求官吏像持秤那样，“不差毫厘，使锱铢不惑，轻重无疑，智不能矫，愚不能欺，存信去诈，以公灭私”。在《辞金诫》中，他极口称赞了“昔子罕辞玉，以不贪为宝；杨震辞金，以四知为惧”的为政廉慎的高贵品质。他要求官吏廉洁：“尔以金玉为宝，吾以廉谨为师；尔以夜昏可纳，吾将暗室不欺。”他告诫官吏贪赃受贿必将暴露：“欲人不知，莫若勿为；欲无悔恡，不若守慎”。在《冰壶诫》中，他赞扬了冰清玉洁、表里如一的为政者，抨击了“当官以割剥为务，在上以财贿为亲”的卑鄙龌龊行径，并规劝官吏说：“在位禄厚官尊，当耸廉勤之节，塞贪竞之门，冰壶是对，炯诫犹存”。姚崇主张行法公正，不避权贵。开元二年，薛王李业的舅舅王仙童骄横不法，仗势欺压百姓，遭到御史的弹劾，将依法治罪。李业闻讯后，立即到唐玄宗那里去求情，玄宗念舅甥之亲，下令重新审理此案，旨在宽免。姚崇知道后，与另一宰相卢怀慎联名上奏：“仙童罪状明白，御史所言无所枉，不可纵舍。”姚崇坚持法行自近，即便是皇亲、近臣犯罪，也决不宽贷。玄宗只好同意依法惩治，“由是贵戚束手”。
黄门监魏知古，论其功劳、地位和声望，与姚崇不相上下。魏知古原蒙姚崇荐举，后来竟与姚崇并列相位，姚崇渐渐地瞧不起魏知古，最终把魏知古排挤到东都洛阳去专管那里的吏部事务。魏知古心怀不满。姚崇有两个儿子，都在东都做官，他们知道魏知古是自己父亲提拔的，就走魏知古的后门牟取私利。魏知古回到长安时，将他们的所作所为都报告给了玄宗。有一天，玄宗与姚崇闲谈，顺便问道：“你的儿子才能与品德怎样？现在做什么官？”姚崇十分机敏，一下子就猜透玄宗的话里有话，答道：“我有三个儿子，两个在东都，为人贪欲而又不谨慎，必定会走魏知古的后门，不过我还没有来得及问他们。”玄宗原以为姚崇要为儿子隐瞒，在听了姚崇道出真情后，很是高兴。玄宗又问姚崇，他是怎么知道的。姚崇说：“在魏知古社会地位很低时，我保护过他，提拔过他；我的儿子蠢得很，以为魏知古必定因为感激我而容忍他们为非作歹，故而去走他的门路。”玄宗听了，认为姚崇为人高尚，而鄙薄魏知古，觉得魏知古有负于姚崇，要罢他的官。姚崇又请求玄宗说：“我的儿子胡闹，犯了法，陛下赦免他们的罪已经是很万幸的了，倘若因为这件事而罢魏知古的官，天下必定以为陛下出于对我的私人感情而这样做，这就会连累到陛下的声誉。”后来，玄宗迁魏知古为工部尚书。
姚崇的吏治思想影响了当时的皇帝和各级官员。唐玄宗和姚崇身体力行，开元之初基本上扭转了中宗以来的不良风气，为社会、经济的发展奠定了良好的基础。
2.严格铨选制度，裁汰冗员
自武则天末年以来，铨选制度比较紊乱，王公、妃主与权戚有的卖官鬻爵，有的随意请托，斜封官多，冗官滥吏盈溢官府，甚至宰相、御史及员外郎无有处理公事的地方。这种弊端睿宗未能革除。玄宗即位后，开始与姚崇一起整顿吏治。开元二年（714年）二月，玄宗的二哥申王李成义请求把王府录事官（从九品上）阎楚珪破格提拔为王府参军（正七品上）。宰相姚崇、卢怀慎闻讯后上奏玄宗说：“先尝得旨，云王公、驸马有所奏请，非墨敕皆勿行。臣窃以量材授官，当归有司；若缘亲故之恩，得以官爵为惠，踵习近事，实紊纪纲。”玄宗嘉纳二人的奏议，遂停止了此事。
接着，又开始裁减冗官。这时的斜封官已多达数千人，他们坐食俸禄，无所事事，还增加了国家的财政开支。开元二年五月，玄宗下令罢免所有的员外官、试官及检校官等冗员，严格控制官吏的铨选，规定没有战功及别敕，吏部、兵部不得注官，结果“大革奸滥，十去其九”。开元二十三年（735年），玄宗又精简机构和裁汰冗员，认为各类补署颇多繁冗，决定停废诸司、监、署府十余所，减免冗散官300余员。既克服了机构庞杂、官吏冗多、人浮于事的现象，又提高了各官府的工作效率。
3.认真选拔牧宰守令，改善地方吏治
重视京官而轻视地方官，在唐朝积习已久。在中宗时期，宰相韦嗣立曾上疏指陈此弊，他说：刺史、县令多不加选择，把一些犯错误的，或声望低下的京官充任牧守，吏部也选用一些年高体衰及无文才者做县令。至开元初年，重京官而轻外任的风气仍然盛行一时。班景倩由扬州采访使调入京城任大理少卿，路过大梁。汴州刺史兼河南采访使倪若水在西郊为他饯行。宴会结束后，班景倩登舟而去，倪若水远望着行船帆影，怅然若失，对部下说：“班公是行，何异登仙乎？为之驺殿，良所甘心。”默然很久，才整顿车马回城。大理寺少卿官秩仅从五品下，官位不如汴州刺史，在倪若水眼里，调入京师任京官，却如同羽化登仙一样，甚至不惜屈尊甘心做他的骑从，由此可见一斑。
为了改变这一弊风，加强对地方州县的治理，玄宗特别重视牧宰守令的选任。他特意颁下《戒牧宰敕》，其中说：“郡县者国之本，牧宰者政之先，朕每属意此官，有殊余职。”开元二年（714年）正月，玄宗下令从现任京官中挑选一些有才有识者到地方任都督、刺史，同时又从都督、刺史中选拔有政绩者充任京官，使出入有常，并成为定制。用这种内外对流的办法来改变重京官而轻外任的社会偏见。
开元四年（716年）五月，有人向玄宗反映说，今年选举的官员粗滥，一些县令多非其才。他很重视这一情况，当新官入朝谢恩时，就把所有的新任县令召入大明宫宣政殿，亲自出题考试，了解县令是否通晓经国治民之道。其中鄄城令韦济才学位居第一，当即提拔他做礼泉令。其余200余人不入第，依旧任原职，另有45人被淘汰，放回去重新习读。为了整肃选举，还把这次的主考官、吏部侍郎卢从愿贬为豫州刺史，李朝隐贬为滑州刺史，以示惩前毖后。
玄宗尤其留心提拔地方上的廉洁、正直、奉公的官吏。开元十三年（725年），从泰山封禅回京。一路上，他了解各地的风俗民情，察看地方官吏施政的善恶利弊。怀州刺史王丘除了上献几头牲畜外别无他献，玄宗认为他为官正直，不买恩宠；魏州刺史崔丐派人供应玄宗路上用物不用锦绣，这是向玄宗表示要俭朴；济州刺史裴耀卿上书数百言，声称“人或重忧，则不足以告成”。玄宗对这三个刺史的做法十分赞赏，对随从宰相说：朕将把奏书放在座右，常常自戒，因为他们都很爱护百姓。
玄宗还建立了严格的考核制度，通过对刺史、县令的实际考核，作为陟黜的依据。他颁行了《整饬吏治诏》，规定每年十月委派各道按察使对刺史、县令的政绩进行考察，按政绩的大小分为五等，上等为最，下等为殿，中间又分为三等，以此定为优劣，作为地方官改转、升降的基本依据，以奖善劝能。
4.勉励京官到地方任职
开元八年（720年），黄门侍郎、同中书门下三品源乾曜上疏说：权要子弟多任京职，俊义之士多任外官，不该如此。他请求玄宗将自己现任京官的三个儿子中的二人出任外职。玄宗欣然答应了他的请求，并大力褒奖宰相源乾曜身先力行的做法，并下令：凡文武百官父子兄弟三人并任京官的，都要仿效源乾曜的做法，出二人为地方官。于是公卿子弟由京官出外任职的有100多人。
开元十六年（728年），玄宗还亲自选拔一批京官充任各州刺史，许景先、源光裕等11人分别任虢州、郑州等州刺史，并命宰臣、诸王、御史等朝廷要员在京城外饯行，盛具酒宴，奏太常乐，仪式隆重而热烈。
玄宗勉励新任州刺史要爱民如子，当好父母官；还要注意发展生产，狱讼清明，抑强扶弱，安定人民生活；他还告诫刺史要脚踏实地，且不可沽名钓誉，弄虚作假。
为了保持地方官的廉洁清明，玄宗对一些贪赃枉法者也绳之以法，严惩不贷。开元十年（722年）八月，武强县令裴景仙贪赃5000匹绢，被揭发后，他又畏罪潜逃，以避惩罚。玄宗命缉拿归案，追回了全部赃物，命在百官面前斩首示众。大理卿李朝隐奏请，赃物已追回，不该死罪。玄宗又改罚杖刑100，然后流放到岭南荒僻之处。玄宗打击贪赃枉法的官吏取得了一定的成就。在新、旧《唐书》立传的良吏、循吏共65人，其中属于开元时期的即有12人，约占五分之一，于此可见一斑。
玄宗虽然厉行法治，却严而不酷。武则天重用酷吏，罗织罪状，闹得大臣人人自危，朝不虑夕。玄宗即位之初，武则天重用的醅吏仍然在任。开元二年（714年）闰二月，颁下一道敕令，说：涪州刺史周利贞等13人，都是则天时的酷吏，比周兴罪状稍轻，应放归田野，终身不许做官。开元十三年（725年）三月，御史大夫程行谌奏请玄宗，说来俊臣等23人，情节严重，请禁锢其子孙，不许做官；傅游艺等四人稍轻，不许任近职。玄宗听从了他的奏请，不仅惩罚了过去的酷吏，对现任的官吏也是个极好的教训。