义勇军的名义起源于东北军名将黄显声，他在“九一八”事变前已经利用其负责辽宁省警务的优势在东北公安系统内做了一定的应变准备。在正规军抗战不受支持的情况下，黄显声在锦州陷落前于当地组织义勇军抵抗日军进攻，并鼓励东北官民自发以此名义发起抗日。东北军正规军撤离后，义勇军成为抗击日军的主力，并在东北各地遍地开花，形成不同系统的数十万部队。这些部队里面有辽南邓铁梅、苗可秀等组织的铁血军，通化唐聚五等组织的辽宁民众自卫抗日军，辽西张海天、高振鹏等组织的辽西义勇军，吉林王德林的救国军这些新出现的抵抗武装，还包括义勇军化的马占山、李杜等原东北军部队。
义勇军不但在各地组织对日军的抵抗，并曾经多次策划实施对东北各战略要点，如沈阳、齐齐哈尔、哈尔滨等地的反攻。局势一度如火如荼。
1933年后，随着日军兵力加强，并着意切断义勇军与关内的联系，造成义勇军粮弹两缺，处境艰难。各路义勇军各自为战，缺乏统一指挥，被各个击破，逐渐招架不住日军的进攻，其组织松散的问题也暴露了出来，部分人员投降或解散，部分人员退入关内。1933年以后，其在抵抗力量中的地位逐渐让位于东北抗日联军。