当时的安庆，在五四运动的推动和陈独秀的影响下，新思潮风雷激荡。一批民主革命知识分子如蔡晓舟、光昇(明甫)、朱蕴山等编辑出版了《安庆评议报》、《安徽全省学生会周刊》等大批宣传马列主义及宣传科学与民主思想的进步刊物，许继慎在这里学习了《共产党宣言》、《唯物史观》等马列主义着作。1921年1月和4月，他参加了安庆社会主义青年团的筹备会和成立大会。同时还积极参加安庆的工运、农运、学运、非基督教大同盟运动，参加安庆学生组织的“马克思主义研究会”和“工读夜校”、“工商夜校”的义务教学活动。
在这些学习和实际锻炼中，许继慎意识到中国如果不经历一次彻底的变革，便很难使贫穷落后的面貌有所改变。为此，他经常与同学进行激烈的争论。在争论中，由于他思想精辟，概念清晰，论点正确，论据充分，语言生动有力，对方往往容易折服。但也有双方争持不下，互不相让的情况，这时他一般认为需要收集更多资料，经过更冷静的思考方可再谈。
北洋军阀爪牙倪嗣冲自任安徽督军以来，鱼肉人民，无恶不作。1921年安徽省议会编制预算时，不顾安徽省学校联合会、学生联合会和省教育会三个团体的多次呼吁，不仅不增加教育经费，反而将此前克扣的经费作为“特别预备费”，充作第三届省议会贿选之用。安徽的教育事业本已十分落后，此行为更激起了全省教育界的极大愤怒。6月2日晚各校学生代表到省议会请愿，要求马上召开会议通过增加教育经费案。
那些军阀及御用的议员们，对学生代表的要求不仅置若罔闻，而且指使卫队辱骂和毒打学生代表。以许继慎等社会主义青年团员为骨干的安徽学联闻讯后，立即发出紧急通知，要求安庆各中等以上学校的学生结队前往省议会请愿。请愿学生被血腥镇压，造成“六·二惨案”。学生姜高崎、周肇基二人因重伤先后死亡，受伤者近50人，许继慎积极参加了这次请愿斗争，在惨案发生后，为了揭露军阀的罪行，又多方联络，奔走呼号。
6月3日，安庆市各校学生总罢课，许继慎和同学们一起上街游行，贴标语，发传单，组织讲演、宣传。工人、商人也罢工、罢市，支援学生斗争。经过群众的团结斗争，“六·二”运动取得了预期成果：教育经费由70多万元增至150多万元；规定省议员永不得兼任任何学校校长。“六·二”运动后，安徽学生联合会为了加强领导，以团组织为基础进行了改组和扩大。经过改选后，任命舒传贤为会长，周骏(周新民)为副会长，许继慎为常务委员兼联络部长。此后，许继慎积极参与领导了反对第三届省议会贿选、驱逐省长李兆珍、驱逐六安县长骆通与反对曹琨贿选等一系列革命活动。
面对学生革命运动的蓬勃发展，安徽省反动军阀害怕至极，下令通缉王步文等34名进步学生，许继慎也为反动当局所注意。于是，他和一些进步学生逃到上海，探索民族解放的道路。
1924年5月，孙中山在中国共产党和苏联的帮助下，创立了黄埔陆军军官学校，培养革命军队的骨干。经党的推荐，许继慎于当年考入黄埔军校，成为第一期学生。
在军校期间，除了刻苦学习军事科目，积极参加操练外，许继慎还努力学习革命理论，阅读了《共产党宣言》等马列主义着作。由于他热情大方，善于交际，入校不久便结识了很多进步同学。在共产党员蒋先云的帮助下，许继慎的政治觉悟有了显着提高，并加入了中国共产党。同年11月，许继慎军校毕业，留校任教，被分配在新编教导团第二团任排长。
1925年2月，许继慎参加了广东革命政府讨伐军阀陈炯明的第一次东征。在淡水战役中，他因功升为连的党代表。棉湖战役时，又因作战勇敢，调任连长。
1925年7月，黄埔军校教导团扩编为国民革命军第一军。10月，国民革命军举行第二次东征。11月中旬，在兴宁战役中，三师某团遇到陈炯明部一个师的抵抗，败退下来，该团团长慌张得脱去军服，骑马奔逃，他的部队也落荒四散。在这关键时刻，已任第七团党代表办公室少校干事的许继慎，率第七团两个连赶来增援，并奋力追上该团长，劝他穿上军服，重回前线。在革命军增援部队汇集，团长又重新回到前线指挥的情况下，敌军顿时惊慌失措，终于被击溃。因此次作战转败为胜，该团长升为少将。许继慎不但不谈战功，更对说服该团长返回前线一事保持缄默。但真相却在第七团传开，蒋先云据实向东征军总政治部主任周恩来作了汇报。周恩来在党内对许继慎的机智、勇敢和谦虚精神大加赞扬。
许继慎不仅军事上智勇双全，而且政治上坚定敏锐。在黄埔军校学习和工作期间，他是青年军人联合会的骨干和负责人之一，经常同国民党右派分子进行尖锐的斗争。当时军校内部，青年军人联合会的发展大大超过“右”派的孙文主义学会，蒋介石感到害怕，决定加以限制。
1925年11月，蒋介石在潮州西湖公园，召开了连以上的军政人员联席会。右派分子缪斌等经蒋介石的授意，在会上肆无忌惮地贩卖戴季陶主义，公开制造分裂，排挤、打击共产党，诬蔑共产党员不忠于孙中山的三民主义。
许继慎等先后在会上发言，据理对右派的谬论进行了驳斥。许继慎在发言中运用作战是否勇敢的实例，来说明军人对革命的忠实和不忠实。他当场指着蒋先云说：第一次东征时，他两次受伤，伤痕犹在，人所共睹。又说：共产党员唐同德营长，冲锋在前，壮烈牺牲。牺牲的共产党员的连、排长更属常见。就拿我本人来说，攻惠州时，我不但立于城下指挥，还亲自爬城。但是攻城指挥官某团长却在敌人猛烈炮火下，临阵脱逃。这不仅是勇敢不勇敢的问题，更重要的是对革命忠实不忠实的问题，他的发言得到了与会人员热烈的掌声。
事后，周恩来在汕头召开了第一军少校以上的共产党员会议，指出潮州会议是分裂的先兆，表扬了蒋先云和许继慎等人，称赞他们不仅作战勇敢，也擅长说理斗争。同年3月20日，蒋介石制造中山舰事件，逼迫在一军中的共产党员放弃对马列主义的信仰，放弃自己的党籍，转而加入国民党。许继慎针对国民党右派的这一阴谋，与蒋先云等一起，首先公开宣布放弃国民党党籍，保留共产党党籍。这在黄埔军校内外影响很大。
1926年7月，在中国共产党的推动和组织下，广东国民政府正式北伐。由我党直接领导的国民革命军第四军叶挺独立团，作为北伐军的先遣队，早在5月已挺进湖南。7月中旬，在独立团占领湖南浏阳后，党从广州派许继慎等30多名营、连、排干部去加强独立团的工作，许继慎被任命为第二营营长。
许继慎一到独立团就深入连队，了解战士们的思想、生活、作战勇怯等情况。他特别重视党的领导，为了保证党对军队的领导，许继慎在第二营中健全和加强了党的组织领导。使重大事项除报告独立团党支部和团长以外，还得经过营党小组的集体讨论决定，从而使第二营置于党的直接领导之下。
强渡汨罗江，攻打平江，是许继慎到独立团后参加的第一个战役。独立团的任务是从上马铺附近渡过汨罗江，经狮子岩绕到平江城东北，向平江城攻击。为了完成这一任务，许继慎派侦察员对有关地段进行了详细侦察。19日晨，独立团强渡汨罗江，旋即攻占平江城，敌司令陆法被逼自杀。此役，敌在平江一带的主力几乎被全歼，计毙俘敌官兵6000余人，并缴获大批战利品。
平江战役结束后，许继慎写了《平江战记》一文。在文中，他总结以往战斗经验，认为通过这一次战斗，才真正懂得“两军对峙，勇者为胜”的道理。
此后，许继慎率营随独立团，作为第四军的先头部队，会同第七、八军，沿京汉线北进。8月21日，攻占湖南的岳州(今岳阳)，22日，攻占湖北的通城，之后又向汀泗桥进军。
1926年8月26日，国民革命军第四军开始攻打通向武昌的交通要道汀泗桥。吴佩孚纠集了主力部队在这里死守，并用火力封锁铁路桥。第十师的先遣队无法前进，十师与十二师的联系也被隔断。
为了扭转这一局势，许继慎奉命率领第二营立即投入战斗并阻挠了敌军的退路。许继慎指挥第二营与敌军强大的优势兵力进行了将近18个小时的较量，才使第十师和第十二师恢复了联系。经过第二营和第十师、第十二师的共同奋战，又将敌军击退到汀泗桥，并用火力封锁汀泗桥，两军遂成隔河对峙的态势。随后，许继慎又率第二营于夜间以白刃战，击退了全部敌军。
8月27日，北伐军几个团同时向汀泗桥发起进攻。独立团在当地农民向导的帮助下，经鼓塘角绕到敌人背后，进行了猛烈攻击，敌惊慌失措，遂全线崩溃。许继慎率第二营随独立团冲向铁路，一举占领了汀泗桥，残敌向咸宁城逃去。这次战役中，独立团生俘敌军官兵2000多人，缴获步枪4000余枝。
在追击溃逃咸宁的残敌战斗中，叶挺团长命令许继慎率领第二营为前卫。许继慎受命攻击咸宁城后，即对全营进行简短有力的政治动员，讲清楚了任务的重要性，并给全营下了一道死命令：一直向前冲，占领对岸敌人阵地！党团员必须冲锋在前！8月27日上午11时，独立团占领咸宁城，并乘胜向贺胜桥进击。
8月29日晚，独立团第二营和第三营分别沿着铁路东西两侧，隐蔽地向敌阵地前进，准备攻击。当许继慎率二营部队进至距敌人阵地只有百余米远的地方时，即到前沿阵地侦察敌情和进攻路线。30日晨4时左右，敌军不断向我射击。许继慎从实际出发，决定提前行动，立即指挥并带领第二营全体战士向敌人发起冲锋。战士们一鼓作气冲进敌人阵地，敌人纷纷放下武器，举手投降。独立团二、三营占领了桃林铺一带后，许继慎果断勇敢地带领部队向前猛攻吴佩孚的指挥阵地。
此时，吴佩孚慌了手脚，即令刘玉春率领第八师反扑，将第二营包围，战斗相当激烈。在这紧要关头，许继慎胸部负重伤，但他仍然坚持指挥战斗，对四面之敌进行反击。后在第一营的增援下，粉碎了敌人的包围。30日11点多，独立团攻占了贺胜桥，打开了通往武汉的最后一道门户。吴佩孚仓皇乘车向武汉逃去。不久，许继慎因伤口恶化，入院治疗。
1926年冬，许继慎伤愈归队，正赶上国民革命军第四军进行扩编。叶挺任新建第二十五师副师长，独立团改编为该师第七十三团，许继慎任第七十三团参谋长。他十分重视部队的思想建设，经常给干部和战士上政治课，进行思想教育。
1927年春，许继慎调任第二十四师第七十二团团长。这个团原来没有党的组织，许继慎对同时调去的几个党员强调最重要的工作是搞好党的建设，每个共产党员都要真正做党的宣传者与组织者，创造条件，发展新党员。
在北伐节节胜利的大好形势下，国民党新右派蒋介石篡夺了北伐军领导权，继一年前的中山舰事件之后，更加变本加厉地反共反人民。3月18日九江事件，3月23日安庆事件，4月12日，上海反革命政变，4月15日，广州的大逮捕、大屠杀。
蒋介石公开叛变革命后，许继慎出席了各种讨蒋会议，参加了各项讨蒋活动。他认为，蒋介石野心早有暴露，由于陈独秀太软、太右、太麻痹，我党曲予优容，才致今日。必须清醒自反，与蒋刀枪相对，方可自立。
1927年4月间，国民革命军继续北伐，进入河南，进攻奉系军阀张作霖。这时，蒋介石勾结夏斗寅，乘武汉空虚进行偷袭，武汉危急。一些国民党军政人员惊恐万状，认为武汉即将陷落，准备逃走。在这紧急关头，我党坚决主张打退叛军，迅速动员一切力量保卫武汉。
许继慎所在七十二团的任务是抢先占领距武汉仅40里的纸坊，阻敌前进，并掩护后续部队开进。许继慎接受任务后，立即和副团长率领全团出发，乘火车赶赴纸坊。到达纸坊后，全团立即进入阵地。此时，敌先头部队已进占纸坊车站和纸坊镇附近。第七十二团在许继慎的指挥下，向敌发起了猛烈的进攻，攻占了纸坊车站和纸坊镇，阻止了敌人的前进。
第二天拂晓，敌人集中兵力反攻，第七十二团团部被包围。值此生死关头许继慎命令全体官兵死里求生，击退敌军！他手执团旗，率先向敌人冲击，顿时冲散了敌人包围。激战数小时后，敌军开始动摇。许继慎下令吹冲锋号，带领部队向前冲去。这时，许继慎的左、右肘和胸腹部先后都负了重伤，肠子流出体外一寸多长，但他仍坚持指挥战斗。
敌人在第七十二团、第七十五团和中央独立师的打击下，终于溃退。革命军到至乌龙庙，在土地塘一带与敌人再次展开战斗，又将敌击溃，占领了土地塘。到此为止，夏斗寅的叛乱被粉碎，武汉转危为安。这次平叛的战斗，谱写了北伐战争史上光辉的一页。
尽管北伐军英勇斗争，但轰轰烈烈的第一次大革命，还是在蒋介石、汪精卫相继叛变之后失败了，共产党人和革命群众遭到疯狂的屠杀。为了挽救革命，党决定举行南昌起义。许继慎重伤未愈，遵照指示乘车离开南昌，经九江转赴上海养伤。以后他一直以没有能参加南昌起义，引为憾事。
南昌起义部队在广东潮汕地区失败后，许继慎与一部分起义人员住在上海租界内党的秘密机关。不久，他根据党中央的指示，率领薛卓江、李坦(荣桂)、陶紫光、孙一中、廖运周、胡允恭等秘密返回皖西准备建立工农武装。后因许继慎被敌认出，便不得不离皖返沪。途经合肥时，他找到了共产党员、原安徽省学联委员童汉璋及范毓南、徐梦观等，组建了中共合肥党小组。然后即返回上海，在党中央直属小组工作。
在上海，他充分利用乡土关系，以个人交友的方式，通过享有很高社会名望的家乡前辈朱蕴山对留居上海的安徽名流、北伐时期的国民党军政要人常藩侯、柏烈武等做统战工作。在促使这批人认清蒋介石的反动面目、抛弃拥蒋反共态度和倾向革命方面，起了重要作用。然而当时党内一些同志不了解他的任务，又受“左”的思潮影响，议论他交结过广，甚至诬称他不分敌我，消极动摇。他听到后，总是一笑置之——充分体现了一个共产党员为党的事业忍辱负重的宽广胸怀。
1928年，他奉命返回皖西收编流窜六安等地的豫南巨匪李老末部，因黄埔军校同学李自第(原名李自迷)告密，被驻六安的国民党军黄国梁师通缉，幸得鲍传胪的帮助，才脱险返沪。同年底，他参加了周恩来在上海召集的会议。会上，他批评了中共安徽省临委书记尹宽的“左”倾盲动主义政策，反对尹宽关于六安立即举行武装暴动的错误决定。在他和柯庆施、黄康的坚持下，尹宽的“左”倾盲动政策流产，六安也避免了一场无谓的牺牲。