青年时期的李善长没读过太多书，略通文墨，但为人有智计，喜欢法家学说，“策事多中”，里中推为祭酒。元顺帝至正十一年（1351年），刘福通在颍州起义，李善长由于不满元朝的统治，“欲从雄，未果”，便在东山躲避纷乱。
至正十三年（1353年），朱元璋方任郭子兴麾下大将，运用计策把横涧山兵二万收降后，南下攻打滁阳（今安徽滁州）。在路上，李善长到军门求见，朱元璋听说他在地方上很有名望，很礼貌地接待了他，双方谈得很投机。朱元璋问四方兵起，什么时候才能太平呢？李善长说，汉高祖也出身平民，心胸宽广，善于用人，不乱杀人，五年工夫，便平定了天下。元朝不得人心，上下不和，已到了土崩瓦解的地步。濠州与沛相去不远，您如能学习这位同乡的长处，天下太平也就快了。朱元璋把他留在幕府做掌书记，而且还嘱咐他：如今群雄四起，天下糜烂，仗要打得好，最要紧的是要有好的参谋人员。我看群雄中管文书的和做参谋的幕僚，因为总说身边将士的坏话而导致文武不团结，将士无法施展才能，当然无法成功。将士垮了，主帅势孤力单，接着也就灭亡了。你应该吸取这个教训，协调诸将，不要效尤幕府。从这时候起，李善长便一心一意地追随朱元璋，随他“下滁阳，为参谋，预机画，主馈饷”，很受朱元璋信任。随着势力日渐扩大，来自四面八方投效的将士也越来越多，李善长考察他们的才能，建议提拔奖励有功的、能力好的，处分不积极的将吏，使部下能人尽其才，安心做事，武将中有不和的，李善长就“委曲调护”，使之不发生矛盾。但由于李善长具有很重的乡里观念，到明朝建立以后，有结党之嫌，最后招惹了是非。
至正十四年（1354年），郭子兴南下，率万人至滁阳，统领朱元璋的军队，并欲夺善长自用。李善长不愿，朱元璋说：“主帅是我义父，怎么能不去呢？”
但由于李善长极力推托便一直都没有去，时间长了，郭子兴也就不再勉强他，而朱元璋却对他更加信任了。不久，郭子兴病死，朱元璋便取代了他的位置，镇守和阳。朱元璋有一次亲袭鸡笼山寨，派很少兵力帮助李善长留下驻守，临走还嘱咐道：“敌人一旦来犯，千万不要出击！”当时元朝王子秃坚、枢密副使绊住马、“民兵”元帅陈也先在新塘、青山等处屯兵，闻和阳城虚，急来偷袭。李善长在危难面前随机应变，悄悄设下埋伏，打败了敌军进犯，朱元璋闻报大喜。后来一起谋划渡江的事，李善长说：“我兵众粮少，舟楫不备，请稍候。”碰巧巢湖水帅俞通海、廖永安等带了万余水兵来投降，李善长大喜说：“真是天助我也！”便决定渡江，打败了蛮子海牙，拔牛渚，下采石，乘胜取太平。在军队进城前，朱元璋叫李善长先写好禁约：禁止掠夺百姓财物，违犯者按军法论处。等到一攻下太平城，就到处贴上禁约，军士们看了，“肃然无敢犯”。严明的军纪使朱元璋在民众中留下良好的影响，便设立了太平兴国翼元帅府，朱元璋任元帅，李善长做帅府都事。这年，朱元璋为江南等处行中书省平章，以李善长为参议，当时宋思颜、李梦庚、郭景祥、陶安等都是省僚，而军机进退，赏罚章程，则由李善长控制。有一天，朱元璋问他：“你经常把我比作汉高祖，你好比是酂侯。至于徐达嘛，也比得上淮阴侯，可用谁来比作留侯呢？”李善长答：“金华人宋濂博闻强记，又兼通象纬，应当可以担此重任。”朱元璋补充说：“据我所知，通象纬者莫如青田刘基。”于是就把两个人都邀请来共图大事。后来以宋、刘为代表的浙东文士在朱元璋一生事业中发挥了巨大作用。
至正二十年（1360年）夏，陈友谅约张士诚一起攻打应天，朱元璋决定采取速战速决的战术，叫康茂才迅速激起陈友谅的斗志。李善长不解地说：“我正发愁他来攻打呢，怎么反叫他快点来呢？”朱元璋解释道：“如果陈友谅同张士诚合伙攻打我们，我们怎么应付得了呢？必须集中优势兵力，先攻破友谅，陈败，张就不敢轻举妄动了。”李善长称是，遂出兵，大败陈友谅。
至正二十四年（1364年），朱元璋称吴王，拜李善长为右相国，时犹承元制尚右。李善长断事清晰，明辨是非而且口才很好。朱元璋有所招纳，经常让他先给起草。几次大的战斗如西克江州、两平洪都、援安丰、讨庐州、下武昌，李善长都留在后方据守，将士们都很服从他，百姓们也信任他。前线战争不断，所有的征召兵士、粮草经费李善长都要负责。又请征两淮盐税，立茶法，都吸取元朝制度的教训，去除弊端。不久复请制钱法，开铁冶，定渔税，“国用益饶而民不困”。
吴元年（1367年）九月，平吴，李善长因功封宣国公，改官制，尚左，以为左相国。时惩元纵弛，颇用重典，法律有三条关于“连坐”的款文，李善长建议，除了大逆以外的款文都应更改，朱元璋遂命他和刘基一起修订法律，向内外公布。不久，李善长又率群臣上表劝朱元璋即帝位，朱元璋称帝后，李善长被封为大礼使，定追封祖、父及册立后妃、太子、诸王等事宜。置东宫官属，李善长兼太子少师，授银青荣禄大夫、上柱国，录军国重事，余仍旧。没多久他又建议设置六部官制，议官民丧服及朝贺东宫仪式。监修《元史》，主编《祖训录》、《大明集礼》等书，制定朝臣大小服色俸赐、天下神只名号、封建藩国及功臣爵赏，慰问体恤国初先锋、十大元帅、都尉、指挥、阵亡无后者之父母妻子，禁淫祀。
洪武三年（1370年），徐达、李文忠率军返回京城，朱元璋大封功臣。当时，将军们功劳大的平定了中原，功劳小的也夺取了闽越州郡，李善长在南京留守，“雍容无所见绩”，朱元璋体会到这一点，说李善长虽无汗马功劳，但和我一起共事了很长时间，又在后勤供应上贡献很大，晋封韩国公，授开国辅运推诚守正文臣，特进光禄大夫、左柱国、太师、中书左丞相、参军国事，岁禄四千石，子孙世世勿绝，赐铁券，免二死，子免一死。当时虽然大将军徐达军功累累，地位仍在李善长之下。
李善长外表宽和但内心对人很苛刻，晋封大国，却受爵不让；参议李饮冰、杨希圣，稍侵其权，便论罪奏明皇上要免其官职，和他交情好的中书都事李彬犯法，刘基铁面无私，按法律例令办事，李善长“恶人先告状”，以致刘基被迫告老退职。朱元璋借淮西力量做了皇帝后，淮西诸将和幕府僚属都成了开国功臣，所以在明朝初年，淮人地位很突出。特别是李善长骄横专擅，既富且贵，凭借自己的权势，颐指气使，凌驾于百官之上，使朱元璋对淮人集团和他越来越不满。
张昶、杨宪、汪广洋、胡惟庸先后获罪被杀，碍于李善长过去的功劳，朱元璋一直对他较宽容。一天，朱元璋在和陶凯论斋戒当至诚的时候，向李善长暗示最好还是早些退位：“人之一心，极艰检点，心为身之主，若一事不合理，则百事皆废，所以常自检点，凡事必求至当。今每遇斋戒，必思齐整心志，对越神明。”
李善长听了向皇帝磕头称是。洪武四年（1371年）正月，李善长以疾致仕，皇帝赐临濠地若干顷，置守冢150户，给佃户1005家，仪仗士20家，与魏国公徐达等同。洪武五年，皇帝命他督建临濠宫殿。洪武七年（1374年），朱元璋提拔他弟弟李存义为太仆丞，存义的两个儿子李伸、李佑担任府州官员。又在洪武九年（1376年）将大女儿临安公主下嫁给他儿子李琪，拜为驸马都尉。婚后一月，御史大夫汪广洋、陈宁上疏言：“李善长依仗皇上的宠信，自以为是，陛下病不视朝将近十天，也不来问候。驸马都尉李琪六日不上朝，被宣来上朝时，到了陛下面前也不请罪，实属不敬，应交有司来处置。”于是削李善长岁禄1800石，几及其半，李善长“自是意忽忽不自得”。
洪武十三年（1380年），左丞相胡惟庸被杀。胡惟庸是李善长同乡，初为宁国知县，正是李善长当政时，胡惟庸用二百黄金贿赂他，得以入京任太常少卿。
累迁中书参政，又把兄弟的女儿嫁给李佑，所以相互交往日深。胡惟庸任相后，和李善长交往密切，依权受贿，无所顾忌。朱元璋为防止大权旁落，遂以“擅权枉法”之罪杀了胡惟庸及其同党御史大夫陈宁、中丞涂节等数人。其他大臣都请求将李善长一并治罪，朱元璋认为他是自己势力渐起时的心腹，所以没有追查。
李善长得以告老还乡。
胡惟庸被杀后，胡案成为朱元璋进行政治斗争的武器。因为自己年事渐高，懿文太子又柔仁，便决心消除“棘杖上的刺条”，为下一代营造一个安定的政治环境。凡是心怀怨恨、骄横跋扈不利于皇家统治的文武官员、大族豪强，都陆续被罗织为“胡党”罪犯，处死抄家。随着统治阶级内部矛盾的发展，胡惟庸的罪状也发展扩大。最初增加的罪状是“通倭”，接着又是“私通蒙古”。作为当时明朝两大敌人的日本和蒙古，通敌当然是谋反了。据历史记载：“时四方仇怨相告讦，凡指为胡党，卒相收坐重狱。”洪武十八年（1385年），有人报告说李存义父子其实是胡惟庸的同党，皇帝下诏免除死刑，发放去崇明。李善长知道个中缘由，也不去道歉，朱元璋便也包容了他。
洪武二十三年（1390年）李善长已77岁，“耄不检下”，却仍旧想扩大他的宅第，从信国公汤和那里借卫卒三百人，汤和密以闻。四月，京民中有连坐应发配到边关的，李善长又多次求情，免除了他的亲信丁斌等人。于是朱元璋勃然大怒，先严刑逼供丁斌，查出了丁斌原在胡惟庸家办过事，了解了李存义等和胡惟庸相勾结的情况，接着下令把李存义父子逮到京师审问，结果供词中牵连到了李善长，说：“惟庸有反谋，使存义阴说善长。善长惊诧：‘尔言何为者，审尔，九族皆灭。’”后来又叫善长老友杨文裕劝说：“事成当以淮西地封为王。”善长虽表面拒绝，其实已被说动了。惟庸于是亲自劝说善长，仍旧没有答应。又过了很长时间，惟庸复遣存义进说，善长叹曰：“吾老矣，吾死，汝等自为之。”后来又过了几天，惟庸谒善长，延之东西向座，屏左右款语良久，人不得闻，但遥见颔首而已。御史们这时也纷纷上疏告李善长的状：洪武二十一年（1388年），将军出塞，至捕鱼儿海，掳获无数元宗室大臣及宝玺、图书、金银印章，元宗室大臣中有胡惟庸暗通沙漠的使者封绩，李善长却故意替他隐瞒。有的更说私书中有李善长的亲笔信。这时，李善长家仆卢仲歉等也来报告他与胡惟庸“通赂遗，交私语”。说完狱词，朱元璋说：“善长元勋国戚，知逆谋不发举，狐疑观望怀两端，大逆不道。”
恰好有灾变的天象显示，占得应在大臣，遂并其妻女弟侄全家70余人诛之。
李善长子李琪，被发放到江浦，不久死。李琪子芳、茂，承公主的恩泽，免受株连。第二年，御史解缙、虞部郎中王国用上书为李善长称冤。朱元璋得书，但没有怪罪他们。
“蓝党”冤狱
明洪武二十六年（1393年），蓝玉以谋反罪伏诛，受株连的达15000余人，史称“蓝狱”。
蓝玉（？～1393年），凤阳定远人，洪武后期的主要将领，多次领兵打击元朝残余势力，在明朝统一中国的过程中作出了重要贡献。
史书记载的有关蓝玉早期的历史不详，只说他是常遇春妻弟，隶属常遇春手下，作战勇敢，所向披靡。常遇春在朱元璋面前经常夸奖他，因此被朱元璋器重，起先叫他管军镇抚，后升武德卫千户，不久改任亲军千户，积功至武德卫指挥使。
洪武二年（1369年），常遇春北征开平，暴死在南归的途中。当时的政治形势是：平定了中原与东南，但元朝势力仍据守北方广大地区，在甘宁一带常与明廷有战事，夏的割据势力占领四川，云南梁王忠于北元，誓不附明。洪武三年（1370年），蓝玉被擢为大都督府佥事，从而进入了明朝的最高军政机构。次年，朱元璋派傅友德、汤和领水陆军伐蜀，蓝玉跟从傅友德，经过几战，夏主明升（明玉珍子）投降，元末形成的最后一个割据政权得以平定。
扩廓帖木儿（王保保）也在元末的政治军事舞台上异常活跃，这时退入西北，徐达曾和他展开过激烈战斗，但未将其击垮，所以还经常会由西北方面对新建立的明朝滋事进犯。洪武五年（1372年），朱元璋命徐达、李文忠、冯胜统兵去讨伐。徐达出中路，都督蓝玉为前锋，在山西境内的野马川，将其游骑击败，再进败王保保于土剌河。但王保保后退拒明军于岭北，明军再攻失败，死伤有一万多，只好退兵。两年以后，蓝玉再度领兵北击，攻下兴和，俘获一些残元要人，却只是解除了眼前的威胁，并未从根本上清除。洪武八年，扩廓帖木儿死去，基本消除了从西北方面对明构成的威胁。
洪武十一年（1378年），蓝玉等率兵出征甘、青，次年获胜。朱元璋命置洮州卫，设官领兵驻守。还师以后，蓝玉被封为永昌侯，食禄二千五百石，从而成为明初新贵。
大体平定甘、青以后，朱元璋向西南和东北遣兵，在这些战争中蓝玉发挥了很大作用。云南梁王在灭掉匝剌瓦尔密以后，顽冥不化，始终不接受明朝招降，最后竟然杀掉了明使，为此朱元璋决定派兵征讨。洪武十四年（1381年）九月，作为左副将军的蓝玉，跟右副将军沐英一起，和征南将军傅友德率三十万兵征讨云南。“自九月朔出师，迄下云南，仅百余日”。次年闰二月，蓝玉、沐英率兵西攻大理，再次获胜，其他的民部地区被招抚。奉诏班师后，蓝玉因功加禄五百石，他的女儿被册封为蜀王妃。