郭子仪接到唐肃宗的宣召之后，连夜启程，赶往长安，面见肃宗。到了长安之后，郭子仪深知唐肃宗的意思，于是上了三道奏表，请求辞去副元帅之职。其实，这个时候唐肃宗召他回来，意思已经很明显了。看到郭子仪的奏请，唐肃宗便顺水推舟，批准了郭子仪的奏请。自古立功受奖，战败治罪。郭子仪被解除兵权的时候，已经63岁了。虽然朔方军在相州之役中先溃，与郭子仪治军不严难脱关系。然而自古无常胜将军，郭子仪毕竟是位沙场宿将，杰出统帅。唐肃宗出于猜疑，在战事紧张的时期，听信谗言，贸然换掉主帅，置郭子仪于散地，实在是一种极其不理智的做法。
郭子仪应召回京后，乾元二年（759）五月二十三日，唐肃宗诏以李光弼代郭子仪。此时的李光弼担心骤然上任，一时难以统驭郭子仪领导的朔方军队，于是就上奏请求肃宗任命一位亲王为元帅，自己为其副。七月十七日，肃宗以其次子赵王（李系）为天下兵马元帅，李光弼为副元帅兼统诸道节度行营，并代替郭子仪为朔方军节度使，留守东京。同时还让潞沁节度使王思礼兼任太原尹、北都（太原）留守、河东节度使，代替李光弼。唐军相州溃败时，王思礼与李光弼二人全军返回本镇，所以肃宗决定“易帅”之时，予以破格拔擢。
郭子仪走后，李光弼接管朔方军。李光弼一向治军很严，他担心朔方将士反对他，果然，李光弼受命之后，恐朔方军有变，立即带领河东军骑兵五百人奔赴洛阳，乘夜晚进入军营之中。李光弼治军严整，与郭子仪作风不同，到达朔方军行营后，立即发号施令，朔方军士卒、营垒、旗帜为之一变，军容焕然。但朔方军将士喜爱郭子仪的宽厚，畏惧李光弼的严厉，差一点酿成哗变。镇守河阳的左厢兵马使张用济与诸将商议，拟率精兵突入洛阳，赶走李光弼，请回郭子仪。右武锋使康元宝说：将将互相观望，责任不明，难以协同配合，并力攻城。二是监军宦官鱼朝恩不懂军戎事宜。拒绝采用李光弼的作战方案，贻误战机，坐致败局。三是诸节度使多数治军不严，纪律涣散，如果都能像李光弼、王思礼所部那样，遇惊不散，在乱能整，未必不可再战。
朔方军左厢兵马使张用济，作战英勇而性情暴烈，领兵驻屯于河阳（河南盂县），闻知李光弼夜入洛阳行营，大发牢骚说：“朔方军又不是叛军，李光弼竟要乘夜而入，为何对我们这般猜疑呀！”遂与其他将领商议，准备带精锐骑兵冲入洛阳，驱逐李光弼，请回郭子仪。并下令所部将士全体披甲上马，整装待发。但是，都知兵马使仆固怀恩不赞成这种目无法纪的蛮干，说：“邺城溃退时，郭公先领兵退走，朝廷责罚元帅，所以罢免了他的兵权。现在若是驱逐李公而强请郭公回来，便是反叛行为。这怎么能行呢？”左武锋使康元宝对张用济说：“你若率兵强请郭公回来，朝廷必然怀疑这是郭公暗中指使你干的，这岂不是要让郭公一家被满门抄斩吗！郭公一家老小上百口，有什么对不起你的呢？”听完这些话，张用济才明白过来这其中的利害，于是不再提这件事。
后来，这件事传到了李光弼的耳朵里，由于张用济生性鲁莽，李光弼担心他会做出一些不利之举，于是李光弼便留在洛阳行营，并上表朝廷仍让张用济驻军于河阳。不久，侦知史思明叛军要南下渡河，李光弼对诸将说：“叛军渡河后，必定要来进攻洛阳。我军必须守住虎牢关（河南荥阳西北），前锋部队应布置在广武（河南荥阳东北），严阵以待。”于是，李光弼带兵东出洛阳，巡视黄河沿岸防务，驻扎于汜水县（河南荥阳汜水镇），并传召河阳张用济。而张用济仍然骄悍不逊，故意拖延迟到。李光弼忍无可忍，决定杀其儆众。待张用济单骑前来进见时，李光弼列举他的过错，依军法处斩，另以部将辛京果代替其职。接着，李光弼又传召仆固怀恩。仆固怀恩心中畏惧，提前到达。李光弼引其进入营帐相谈。不一会儿，守门人进来报告：“有蕃浑部落的五百名骑兵来到营前。”李光弼闻言大惊失色。这时，仆固怀恩起身来到营门，召其部将责备说：“已经告诉你们不要来，为何还要违抗命令？”李光弼立即明白，仆固怀恩是有备而来，只好容忍不发，随机应变说：“士卒跟随自己的将帅，这没有过错。”并下令营中拿出酒肉，分赏给仆固怀恩的士卒。七月二十七日，肃宗任命朔方节度副使、殿中监仆固怀恩兼任太常卿，晋爵大宁郡王。仆固怀恩自平叛战争以来，跟随着郭子仪，一直担任前锋，勇冠全军，战功最多，所以，肃宗特加奖赏。可见，为了缓和朔方军将士的抵触情绪，稳固军心，免生事端，李光弼颇费了一番心思和周折。此时，在唐朝诸军中，以朔方军兵马最多，战斗力最强，地位最高，是朝廷主要的军事支柱。在郭子仪长期统领下，朔方军纪律涣散，多有悍将骄兵。李光弼熟知此情，才轻装简从，夜入其行营，并立即严饬风纪。其结果一方面是朔方军阵容严整，气象焕然；另一方面是张用济被杀之后，逃散而去者为数众多。郭子仪退守河阳时，尚有数万将士，及至李光弼退守河阳，只剩两万余人。而当郭子仪后来被重新起用时，这些逃散离去的将士，又纷纷返回军营。
乾元二年（759）七月，唐肃宗罢免郭子仪的兵马副元帅，以李光弼接替其职的时候，史思明在范阳也稳定了叛军内部。当他得知郭子仪被夺去兵权，心中大喜，九月，发兵南下。史思明开始发动攻势，留其子史朝清守范阳，下令各郡太守率兵三千人，跟随他南下进攻河南。十多万叛军兵分四路：令狐彰率兵五千人自黎阳（河南浚县）渡河攻滑州（河南滑县）；史思明自率大军从濮阳（河南濮阳）渡河；史朝义和周挚两路分别自滑州对岸的要津白皋、胡良渡河，兵锋共同指向汴州（河南开封）。正在黄河沿岸巡视防务的李光弼，闻报敌情后紧急赶到汴州，命令汴州节度使许叔冀坚守半月时间，等待援军前来。但是，由于叛军攻势凶猛，当李光弼还在返回洛阳途中，叛军就已经进抵汴州城下。由于敌强我弱，这个时候许叔冀与叛军刚一交锋，就吃了败仗，许叔冀难敌叛军，终于在九月二十四日，和濮州刺史董秦等人献城投降。接到这个消息，李光弼感到事情不妙，于是就加快了行程，赶往洛阳。攻下汴州之后，实力又得以增强，士气更盛。于是，叛军乘胜西进，很快就攻陷郑州，随后又直逼洛阳而来。
李光弼一路疾奔赶到洛阳，由于叛军一路上有唐军的阻击，李光弼终于赶在叛军的前面到达了洛阳。然而，李光弼发现，洛阳东面虽有险阻可以据守，但是他们手中只有两万余人兵力，实在难以布成防线和叛军对抗。李光弼审度形势，决定放弃洛阳，退守东北方向黄河对岸的河阳，一如郭子仪上年自相州退兵之后的部署。河阳北依太行山，与泽（山西晋城）、潞（山西长治）二州相接，可以得到王思礼河东军的支援，有利则进，不利则守，如同猿臂可伸可缩，表里相应，使叛军不敢轻易西侵，能够在敌强我弱的形势下，占据主动地位。经过商议，李光弼命令河南尹李若幽带领官吏民众出城躲避，将士火速转送军需物资到河阳，他自己亲率五百名骑兵断后。日暮黄昏，唐军手持火炬，保持严整的战斗队形，在前徐行。叛军游骑尾随于后，不敢轻易进攻。由于形势危急，李光弼全军快速移驻河阳，而他们的粮食只够维持十天时间。这对他们来说是一个非常艰难的时期。唐军一路撤退，而叛军却一路势如破竹，攻城略地。九月二十七日，叛军在毫无抵抗的情况下，进入洛阳，城空无有所得。史思明担心唐军自河阳南下，断其后路，不敢在洛阳宫中居住，退兵于城东的白马寺之南驻屯。又急督士卒在河阳南岸筑起一座月牙小城，以为防御，然后在十月四日引兵渡河，攻击河阳。
在当时的唐军将领中，郭子仪和李光弼各有所长。郭子仪擅长野战，而李光弼则擅长守城战。这一点，早在太原保卫战时，就已经有证明。此时的史思明在河北、河东战场上，曾屡败于李光弼手下。但这次河阳之战，史思明凭借优势兵力，猛攻唐军，战斗异常激烈。在这样的生死关头，李光弼在军靴中插上一把短刀，激励将士说：“将士们，临阵杀敌，随时有生命危险。我身为主帅，宁可战死沙场，也绝不能死于叛军之手。万一战斗失败，诸位战死于前，我便自刎于此，不会只让大家牺牲。”主帅抱必死之心，部将白孝德、李抱玉、荔非元礼（羌族）、郝廷玉、论唯贞（吐蕃族）、仆固怀恩和仆固眺父子，皆身先士卒，拼死冲杀。唐军众志成城，顽强血战，斩敌骁将刘龙仙于阵前，活擒叛将徐璜玉、李秦授，智降敌勇将李日越、高庭晖。歼敌一万余人，生俘八千余人，夺敌战马一千余匹，取得了河阳保卫战的胜利。十二月，史思明派其大将李归仁率五千名铁甲骑兵西攻陕州，被唐神策军兵马使卫伯玉设伏击败。
第二年，也就是上元元年（760）二月，李光弼亲率大军北进，攻打怀州（河南沁阳）。得知这个军情后，史思明立即发兵救援。李光弼早有埋伏，二月十一日，当史思明的援军赶到的时候，中了李光弼的埋伏，这一仗，李光弼率领的唐军杀死叛军三千人。史思明战败后，并不甘心，三月二十三日，怀州守将安太清出城交战，又被李光弼打败于城南。四月二日，史思明转而出兵掩袭河阳，被提前回军设防的李光弼截击于河阳西渚，又遭兵败，无奈之下，史思明只好退回南岸，并且还损失了一千五百人。六月，史思明又想从郑州北渡黄河，往救怀州。李光弼派平卢兵马使田神功带兵夜袭，烧毁其渡河船只。史思明欲进不能，只好退回洛阳。十一月，怀州在被围百余日，外无援兵的困境之下，被李光弼攻克，伪刺史安太清及军将杨希文等人被俘，押解长安。李光弼坚壁固守河阳，屹然不动，与史思明对峙相持达一年又四个月之久。此段时间内，李光弼虽然多次重创叛军，杀伤其有生力量，但叛军以洛阳为中心，仍居于优势地位。
此时，虽然国内的战事不断，但是郭子仪却闲居在家。然而，在他的内心中依然是一腔的报国热情。虽然当时很多人都为他抱不平，可他自己却丝毫没有怨言，对朝廷依然是忠心耿耿。上元元年（760）正月，因西北党项等羌族部落入侵到京城附近，唐肃宗焦虑不安，才又任命郭子仪为邻宁、郫坊两镇节度使，但仍然把他留在京师，只不过借他的威名而已。朝廷大臣向肃宗上书，认为郭子仪有大功于朝廷，安史之乱尚未平息，不应该将他闲置不用。唐肃宗自己也意识到了这一点，九月，命郭子仪为诸道兵马都统，率英武、威远禁军及朔方、郫坊、邪守、泾原诸道兵七万，自朔方直破范阳，然后南下平定河北。然而，就在命令下达了才十几天，郭子仪正在上任的路上的时候，这道任命却又被奸邪的鱼朝恩所阻止，郭子仪再次被召回。