面对敌人的大举“会剿”，黄公略率领红五军6个大队共200支枪，独立坚持在湘鄂赣进行游击战争。黄公略吸取了以前几次打硬仗受挫的教训，采取化整为零的办法，将各中队分散到浏阳、平江等地的农村，在群众掩护下隐蔽进行活动。1929年春，由于蒋桂矛盾激化，敌人一部被调走，形势变化开始有利于我军。黄公略迅速将3个纵队化零为整，狠狠打击地主豪绅和反动军队。先后发动了毛田、鲁家湾、老乌土段和金坑等地农民暴动，消灭了反动民团和当地的国民党驻军，扩大了游击区。11月，黄公略指挥部队奔袭万载县城，一举攻入城内，消灭了反动的靖卫团，镇压了反动县长，缴获了很多枪支弹药。2月中旬，黄公略率领第二大队会同区赤卫队共1000余人，乘黑夜突袭浏阳永和市，击毙敌军百余人，缴获枪支百余。
1929年4月12日，中共湘鄂赣边特委召开扩大会议，贯彻中共“六大”精神，决定以大沩山脉为中心根据地，向平、浏、修、铜、万各县发展。会议同时做出决定，为统一指挥武装斗争，成立中国红军湘鄂赣边支队司令部，下辖3个纵队，黄公略任支队长，张启龙任党代表。此后，黄公略统一指挥红军湘鄂赣支队和各县赤卫队，在湘鄂赣边界地区积极开展游击战争。孔荷宠任纵队长、胡筠任党代表的第一纵队，以平江西北为中心向湘阴、通城边境发展；黄公略率第二纵队，以大沩山为中心向宜春、宜丰及浏、铜、万边境游击；由吴溉之任纵队长兼党代表的第三纵队，以修、铜、平边界为中心向修水、武宁、通山游击。
黄公略统一指挥的三个纵队和各县赤卫队，采取积极防御的战略方针，当敌军大举进攻时，红军大队采取避敌锋芒，绕击敌后办法袭击敌指挥中心；当敌军驻扎不动时，红军大队和游击队就在黑夜时摸进敌人驻地向空中打枪、呐喊，使敌人疲于应付；当发现敌人小股单独行动时，就集中红军主力予以歼灭。冬季到来，部队在积雪的山路行军时，为迷惑敌人，黄公略叫战士们倒穿着鞋子，留下相反的脚印，使追击的敌人判错红军的去向，在黄公略的指挥下，红军屡次挫败了“进剿”的敌军。
黄公略还十分注意同人民群众保持密切联系，他教育部队要爱护人民群众，他无论走到哪里都领导部队积极开展宣传群众、组织群众和武装群众的工作，帮助建立地方革命政权。在他的支持和帮助下，各县赤卫队得到很大发展，拥有枪支数多的达到400余支，而且多数区都建立了赤卫大队，乡建立了赤卫中队。各区、乡赤卫队人数不等，有的十几人，多的有百余人，这些赤卫队都有较强的战斗力，常以几支枪与敌几十枪作战，并获得胜利。
为把部队改造成真正的革命军队，黄公略在红军中废除了薪饷制，改为奖金制，以鼓励战士们勇敢杀敌。为了减轻根据地人民的经济负担，他规定部队给养主要靠打土豪劣绅的办法解决。由于战斗频繁，红军四处打游击，生活十分艰苦。然而即使遇到的困难再多，黄公略都能用自己的模范行为去团结和带领部队，他同干部战士同甘苦共患难，和大家吃在一起，睡在一起，有时没饭吃，就用发了霉的红薯干或野菜草根充饥。在寒冷的冬天，他同红军战士一样穿着单衣单裤，以坚韧不拔的毅力向同严寒作斗争。他的裤子破了，就把裤腿撕下来补到上边。他对自己要求十分严格，但对部队和下属却是非常关心和爱护。每次执行任务的小分队回来晚了，他都会站在山头焦急地等待。一旦战士们回来了，他便感到欣慰，问长问短，他同红军战士亲如兄弟，情同手足。
湘鄂赣边特委扩大会议后不久，边区形势又发生了急剧变化。1929年6月、7月间，湘、鄂、赣三省反动派又调集了近5个团的兵力，联合平、浏、修、铜、万、萍、醴7县的反动地方武装(称为“七县联防”)向边区再次发动疯狂进攻。面对兵力数倍于己的敌军，黄公略采取昼伏夜出、彼合我散、彼散我合和避实就虚、声东击西等战术，积极打击敌人，在浏阳的官渡，万载的高村、大桥、黄茅等地袭击敌军，缴获了步枪80多枝，子弹数担，沉重地打击了敌人的嚣张气焰。在这期间，黄公略还曾总结如何避实就虚等游击战的经验，写成了一本《游击战术》的小册子，彭绍辉、何长工等都看到过，可惜已找不到了。
正当边区形势危急之时，彭德怀率领四、五纵队从井冈山杀回了边区。他们于1929年8月8日从永新出发，经莲花、萍乡，13日到达万载，开始同敌人作战。8月14日，一举攻克万载县城，取得了返回边区的第一个胜利，使边区开始摆脱困境。接着，又向万载、铜鼓边境活动，8月底在平江黄金洞、桐木桥地区，与黄公略率领的湘鄂赣边境支队会师。战友重逢，分外高兴，黄公略向彭德怀和五军党委汇报了四、五纵队离开后边区一年来的斗争情况，对四、五纵队重返边区表示由衷的欢迎。
彭德怀表扬了一年来边区工作的成绩，特别是对盲动主义有所克服表示赞赏。同时，又向黄公略介绍了湘赣边区和红四军的群众工作以及建设根据地和军队政治工作的经验，黄公略深受启发。根据湖南省委指示，两部合编，取消湘鄂赣边境界支队建制，仍称红五军，下属3个纵队，全军共3000余人。彭德怀任军长，黄公略任副军长，滕代远任政治委员。合编后，从10月到11月，部队又与敌作战数次，所向披靡，大大鼓舞了边区人民恢复和巩固苏区的信心。
黄公略不仅以英勇善战着称，他还是一位善于治军的红军将领。1929年秋黄公略担任红五军副军长后，通过彭德怀、滕代远了解到朱毛红军的建军经验，他认识到一支缺乏强有力的政治工作的部队，决不可能克服重重困难去战胜强大敌人，而使自己发展壮大。同年11月，滕代远因病离队休养，黄公略被选为红五军军委书记。黄公略担任军委书记后，非常重视加强部队党的建设和思想教育工作。他协助彭德怀率领部队在莲花进行集中整训，针对部队中不少共产党员组织观念淡薄、地方主义严重等问题，从普遍加强思想教育入手，主持军委会议对二、三纵队的共产党员规定了六条标准，对每个党员按照六条标准进行重新登记，符合这6条标准的即准予恢复组织生活。经过这次严格的整训，广大共产党员在思想上都有较大的进步，在群众中能真正起到党员模范作用了。
11月底，彭德怀、黄公略等率领一、三纵队开始向南活动。12月中旬，到达湘赣边区的永新、遂川一带。这时，红四军尚远在闽赣边。赣南特委和湘赣边特委为了适应形势的发展，决定赣西南的独立二、四团及延福、富田纵队等地方部队合编组成中国工农红军第六军。他们向红军提出了派黄公略当军长的要求，红五军党委满足了他们的要求。从此，黄公略离开了红五军，开始走上了创建一支新的工农红军的光辉道路。
黄公略出任红六军军长，将这支成分复杂、封建观念浓厚的部队训练得纪律严明，勇敢善战。率领红六军转战赣西南，将原本分散的根据地连成了一片。红六军改称红三军后隶属红一方面军。黄公略得以与朱德、毛泽东并肩作战，屡立战功。时人称他们为“朱毛彭黄”。
1930年初，正式组建红六军(七月改称红三军)，黄公略奉命出任红六军军长。红六军是由江西独立第二、三、四、五团和永新、莲花、宁冈等县的赤卫队编成。赣南的地方红军不乏强将精兵，也有着光荣的战斗历史，但因长期分散活动，存在着组织纪律松懈、地方观念较重等问题。为了加强红六军的建设，黄公略写信给毛泽东和朱德，要求抽调一批红四军的军政干部充实到红六军，并向彭德怀请教红五军的建军经验。红四军和红五军对红六军积极给以支持，先后派大批干部到红六军工作，大大提高了红六军领导干部的军政素质。
黄公略知人善任，重视发挥每个干部的特长。他对从赣南红军来的各团干部充分信任，大胆使用，并委以要职，他还重视发挥知识分子和各种专门人才的作用。对读过商业专科的刘士奇，大学毕业的陈毅和蔡会文以及学医的戴济民、钱壮飞等都放手委以重任。由于黄公略的博大胸怀和知人善任，使全军的各级领导班子亲密团结，密切合作，从而有力地推动了各项建设工作的进程，提高了部队的战斗力。在黄公略的带领下，全军各级领导班子团结一致，亲密合作，有力地推动了部队各项建设工作的开展。
黄公略具有较高的文化素养，他能写会画，常常亲自草拟作战计划和撰写战斗总结。他特别喜爱看书，一有空隙时间，他就抓紧学习，经常深夜还在挑灯夜读。红军指战员绝大多数出身贫寒，读过书的很少，黄公略深知文化知识对提高部队战斗力的重要性。因此，他经常督促和帮助师团干部学习文化知识。在黄公略、陈毅、蔡会文等人的督促影响下，大批工农出身的干部逐步提高了文化知识水平。
黄公略从切身的经验中体会到，红军建设的关键是思想建设，红军部队之所以打胜仗，广大指战员的高度觉悟和牺牲精神起着至关重要的作用。因此，他十分重视部队的思想政治建设。“二七会议”后，红六军政委刘士奇调地方工作，黄公略既当军长又当政委。他严格要求部队，认真执行党的路线、方针和政策，积极做好宣传、发动、组织和武装群众的工作。
为了使群众了解红六军的宗旨、政策调动群众参与革命斗争的积极性，他还用自己和政治委员陈毅的名义发布了一份六言体的红六军司令部布告。
黄公略对干部的错误思想从不迁就放任但也不轻用长官态度，而是对其进行徐徐引导。在红六军时期，部队在浏阳等地连连告捷，缴获了大批武器。当时一纵队人少枪多，三纵队人多枪少，军部决定两个单位互调人枪。开会时两个纵队的领导干部都反对此举。对此，黄公略没有硬下命令，而是讲清是非曲直，要两个纵队的领导干部去考虑。会后他又采取个别谈话的方式，分头说服，终使两个纵队的领导干部服从大局，同意了调换。黄公略抓住这件事对部队进行了反对本位主义地方观念的教育，引导指战员们从中国革命的大局着眼，树立推翻军阀统治，争取全国独立解放的思想，加强了军内团结。
黄公略从实践中深深懂得，红军要战胜人数众多、装备精良的敌人，不但要有高度的阶级觉悟，还要靠过硬的军事本领，所以他一直狠抓部队的军事训练。1930年12月，他领导的红军在黄陂刁封一带进行反“围剿”作战的战前准备。为适应从分散的游击战向运动战发展，黄公略率领全军进行了半个月整训。他以黄埔军校的纪律条令为基础，结合红军实际情况，制定了《内务条令》、《纪律条令》和《战斗条令》等，在全军实行。根据这些条令，所属部队普遍进行了整顿，克服了游击主义习气，有力地强化了红军的正规化建设。
黄公略还深知现代化武器设备在战斗中的重要作用。第一次反“围剿”胜利后，红三军缴获了一批“哈希克斯”轻机枪和“马克沁”重机枪。指战员们看着这些先进武器，很是高兴，爱不释手，但就是不会使用。找了一个俘虏兵来教，俘虏兵故意刁难。黄公略听说后立即把参谋人员都召集起来，亲自到现场做示范，一边发射一边讲要领。示范射击后，他又耐心地把机枪的结构、特性、分解、保养等讲解得清清楚楚，并且指导参谋人员进行练习。不到半个小时，30多个参谋都学会了使用这批武器。一旁观看的红军指战员们对黄军长的军事技术佩服得五体投地。
在中共赣西南特委正确领导下，在黄公略、陈毅率领红六军积极开展红军游击战的推动下，赣西南出现了连成一体的大片红色根据地，有组织的革命群众半年内由150万人增加到400余万人，加入赤卫队的群众近百万人。不久，又新成立了红二十军和红二十二军。毛泽东称赞这种可喜的大好局面，在《蝶恋花·从汀州向长沙》一词中写道：“六月天兵征腐恶，万丈长缨要把鲲鹏缚。赣水那边红一角，偏师借重黄公略。”
1930年6月，红六军改编为红三军，并与红四军、红十二军合编为红一军团，黄公略仍为红三军军长。从此，他和毛泽东、朱德并肩作战，屡建奇功。同年8月，在奇袭文家市战斗中，黄公略在兄弟部队的配合下，一举歼敌3个团又1个营，取得红三军合并后的第一个重大胜利。9月，一军团进攻长沙，黄公略率领红三军俘敌陶广师两个旅千余人，打死打伤800余人，取得这次攻打长沙的唯一一次胜利。
在以后占醴陵、攻吉安等战役中，红三军都发挥了重大作用。当时，黄公略与朱德、毛泽东、彭德怀被人们并称为“朱、毛、彭、黄”。
富田事变中，黄公略识破敌人阴谋，与朱德、彭德怀一起努力维护团结。在三次反“围剿”斗争中，黄公略率领红三军，活跃于赣西南，多次予敌以沉重打击，赢得“飞将军”美名。为给第七师找隐蔽点，被敌机所伤，不幸牺牲。
1930年12月，蒋介石对中央苏区发动了第一次大规模“围剿”，就在“围剿”前夕，红一方面军内部因打击“AB团”问题发生了“富田事变”。当时有人反对毛泽东“放开两手，诱敌深入，消灭敌人”的正确战略方针，以对富田肃反有意见为借口，到处煽风点火，提出“打倒毛泽东，拥护朱彭黄”的口号，并伪造了一封毛泽东的“亲笔信”，挑拨朱毛的关系。具有坚强的党性和敏锐的政治嗅觉的黄公略，立即识破了这一个挑拨离间的阴谋，他严厉地指责这种分裂党和红军的行为，积极教育红三军各级干部坚决拥护以毛泽东为书记的总前委的正确领导。他担心这件事会破坏前委同志的团结，特意骑马跑到60里以外的东山坝红三军团部了解情况。他听到彭德怀在干部会上明确表示反对“富田事变”、反对破坏总前委领导团结的分裂行为后，十分欣慰，对红三军团参谋长邓萍说：老彭还是站在毛泽东这边的。
不久，黄公略与朱德、彭德怀联名发表了公开信，严正指出：“诱敌深入”是“整个一方面军总前委的策略，不是泽东同志个人意见，所谓反对毛泽东同志的右倾等于无的放矢”。公开信宣告：“目前决战在即，凡是革命的布尔什维克同志，应站在共产党总前委领导之下，一致团结，坚决消灭敌人……朱德、彭德怀、黄公略对于同志之去就，只有革命与反革命之分，没有私人拥护与否之别。”此举坚决维护了毛泽东为首的总前委的领导和红一方面军的团结，从而为第一次反“围剿”作战的胜利奠定了坚实的基础。