在中央红军长征的队伍中，有一支由上百人组成的特殊编队，他们用扁担挑着金银财宝、用背扛着印钞机，在征途中积极服务于党中央财政需求，保障红军物资供给。这个被誉为“扁担上的银行”的编队，实际上就是流动着的中华苏维埃共和国国家银行。
早在1931年11月，中华苏维埃共和国临时中央政府就决定筹建国家银行并委派毛泽民担任行长。这是我们党最早建立的全国性银行，成为根据地经济的重要支柱。1934年10月中旬，中央红军开始战略转移时，银行14位同志和上百名运输员奉命组成15大队，编入军委直属纵队，在一个连兵力的护卫下参加长征。行军途中，15大队的成员们主要靠人力轮流肩挑100多副担子，这些担子里装满了黄金、白洋、银元和苏区印制的“红军票”，还有一些人专门负责背驮印钞机器。为了保管好这些红军的家当，他们一路跋山涉水，历尽千难万险。
1935年1月9日下午，军委纵队进入遵义城。为了加强对部队的后勤保障，红军成立了“没收委员会”，由苏区财政部部长林伯渠任主任、毛泽民任副主任，主要清查贪官污吏、没收土豪劣绅的财产。银行抽调大部分同志参加了“没收委员会”。“没收委员会”将没收的谷子、玉米、粮食制品以及金银珠宝、布匹、衣物、大烟土等，一一清点、登记造册，然后以实物或换成资金补给部队或散发给人民群众。
红军指战员每人只有很少的零用钱，为让官兵们能买到一些生活必需品，银行利用部队休整机会，还进行过货币发行和回笼工作。长征进入贵州境内，只要军委纵队或红军大部队在一个地方停留一天以上，银行就要写出布告：欢迎社会各界群众兑换中华苏维埃共和国临时中央政府印制的钞票。
为避免敌人迫害使用苏币的群众，银行有一个重要任务，就是在红军撤离前用实物、银元或国民党的钞票，把市面上流通的苏币从群众手中兑换回来。在红军离开遵义前夕，中央“没收委员会”和银行的同志通宵达旦地为群众办理兑换工作，许多老百姓见红军如此为群众利益着想，舍不得将手中的苏币拿去兑换，便珍藏起来留作纪念。
中央机关1月19日离开了遵义，经桐梓等地到达土城。1月29日，银行全体同志来到赤水河边的一个小山坡。为了轻装前进，他们在山坡上挖了一个大坑，不无伤心地将许多从苏区带出来的钞票以及印钞机焚烧掉。之后，他们随同红军一路征战，向北挺进。1935年10月，当中央红军到达陕北时，银行14名干部中只剩下了8人，另外6人则长眠于长征途中。