《铁道游击队》是一部以真人真事为素材而写成的长篇小说。故事发生在抗日战争初期的鲁南地区，日军长驱南下。国民党的军队不断撤退，中国共产党立即组织一批煤矿工人，拉到北山和八路军游击队汇合，坚持鲁南山区的抗日战争。为了配合山区八路军的斗争，司令部就把原来曾在枣庄煤矿当工人的刘洪与王强派回枣庄，进行各种活动，了解枣庄及临枣铁路沿线的敌情。刘洪回枣庄后，名义上是小炭厂的伙计，但经常领着工人在夜间去扒鬼子的火车。王强在车站和鬼子的国际洋行当上了拉车的脚行，欺骗鬼子，却受到他们的器重。洋行的三个掌柜都是日军受伤军官，有一天夜里，刘洪和王强以及彭亮三人潜进洋行，杀死大掌柜和二掌柜，杀伤三掌柜金三，引起敌人的恐慌，将洋行四周的高墙都安上了电网，严密防范。这天，王强在洋行和车站运货装车，发现有一节铁闷子车，里边装了机枪和步枪、子弹，晚上挂到客运车上运走。他把情况告诉了老洪，二人决定劫夺这些武器。晚上，刘洪独自扒到急驰的铁闷子车上，从车里扔出一挺机枪和三捆步枪、一箱子弹。然后跳下车来，同埋伏在车道旁的小坡一起把武器掩埋起来。老洪同上级派来的老周一商量，当天晚上就把这批枪转运到山里去了。不久，上级指示，让刘洪他们开办一个炭厂，作为职业掩护，作为部队分散和集中的立脚点。并且发展组织，扩大力量。为了筹措资金，刘洪和王强决定扒车抢货。他们首先吸收彭亮、小坡、鲁汉和林忠等为基本力量。然后在一天晚上从日军运粮列车上抢了一批粮食，卖了四百元钱，开起了炭厂，王强从此回到炭厂当起了烧炭工人。正当炭厂买卖兴隆之时，上级决定正式成立“鲁南军区铁道游击队”，任命刘洪为铁道游击队大队长，王强为副大队长，并给他们派来了李正担任政治委员，对外的职务是炭厂管账先生。自从李正来到炭厂，就认真地向彭亮、鲁汉等人进行革命教育，使全队同志的觉悟不断提高。
这时上级又指示他们要尽快把全队十二个队员都武装起来，准备随时配合山里的战斗行动，并告知他们鬼子有向鲁南山区扫荡的动向。正当李正、刘洪、王强他们研究如何搞到武器时，与彭亮一起去扒车的小坡被日本人找到了，小坡虽受酷刑，却坚强不屈，在敌人押解的途中，他又扒车逃走了。这时王洪探知日本洋行新来的十几个人都有枪在身，他与刘洪等商议，决定再次袭击洋行。第二天，王强利用与洋行三掌柜金三的关系，巧妙地进入洋行，了解了里边的人员枪支等具体情况，并断定这个洋行实际是日军的特务机关，由新来的大掌柜山口司令主持着。王强回来后，和李正、刘洪研究了具体行动方案，当天半夜里，包括刚逃回来的小坡在内，十几个人一起偷袭了洋行，打死了山口，夺来了八支枪，完成了全队武装的任务。这时，由于炭厂新工人小滑子的不慎，作为掩护游击队的炭厂暴露了，游击队撤离了炭厂，在临枣铁路线上同敌军纠缠。为了配合山里的反扫荡，牵制敌人的兵力，李正、刘洪、王强同大家仔细研究形势，决定首先打敌人的票车。这天黄昏前，鲁汉、林忠等扮作商人，在峰县车站上了车，和押车日军小队长打得火热，请他喝酒、吃烧鸡。彭亮和刘洪占据了车头，控制了火车，强行通过王沟车站，把车开到区中队埋伏的三孔桥跟前，突然埋伏在各车厢的游击队员统一行动，一举打死了十二个守车的日军，缴获了车上的敌人物资、枪支等。同时小坡奉命回枣庄张贴标语，大造舆论，使津浦路沿线的敌人非常震惊。鬼子只好从进山扫荡的敌人中，撤回大批人马，在铁路两侧进行扫荡。刘洪领着队员们在扫荡的敌军空隙间穿来穿去，使敌人无可奈何。这时，根据上级的指示，刘洪领着队员们离开枣庄，来到微山湖一带，进行新的斗争。他们首先带着新队员来到临城，在水塔下的日军院中，打死日军，夺了二支日本大盖和三支短枪，使车站上的冈村特务队长很惊慌。于是日军调集人马向湖边进行疯狂扫荡，烧杀抢掠。两天后，敌军撤了。刘洪负伤，被小坡护送到交通员芳林嫂家。由于芳林嫂的精心安排，刘洪和小坡躲过顽军的搜捕，并受到芳林嫂的百般照料。后来李正把刘洪托付给芳林嫂，留下养伤。在战斗中刘洪和芳林嫂之间产生了爱恋之情。形势日益紧张，铁道游击队奉命进山整训，队员们的思想觉悟得到很大提高，彭亮、林忠、鲁汉、小坡光荣地加入中国共产党，刘洪也伤愈归队。当他们离别首长和山里的乡亲，重新回到微山湖畔时，临城的日本特务队长冈村已将这一带伪化了，建立起区、乡、村的伪政权，组织了特务组织，使游击队的活动陷入困境。刘洪和李正等决心先杀掉一些死心塌地的汉奸，重新动员群众共同抗日。
他们又找到了芳林嫂，弄清敌人的情况，首先杀了特务，大地主高敬斋，人心大快。各村也同时杀了一批汉奸特务，又抓了一批伪保长和地主，对他们进行警告和教育，将他们释放，使他们不敢再给鬼子做事，反而向游击队报告敌人的情况，被迫掩护游击队。这样以来，冈村的阴谋破产了，铁道游击队又活跃起来。特别是主力部队下山消灭了两个营的顽军，消除了他们的后顾之忧，他们就放手地在铁路沿线同敌人展开了新的战斗，抢夺敌人的粮车，截夺药品，炸毁火车，撬毁铁道，使敌人的侵略计划破产，并重新武装和调整了特务队。芳林嫂配合游击队摸清了冈村特务队的情况，在一个晚上，他们潜入临城，闯进特务队，杀死冈村，一举歼灭了特务队，缴获两挺机枪，十八棵马大盖子和五棵二十响，使日军胆战心惊。新任特务队长松尾是个奸猾的老特务，但他上任不久，游击队接连潜入临城，杀了中国特务队的成员，劫走整车的西药，林忠和彭亮巧妙地撞毁机车；破坏铁路桥，使他惊恐。他派出特务四处侦察，终于了解到苗庄的芳林嫂与游击队的密切关系，因而亲自带着五个特务，化装成叫花子，来到芳林嫂家。正在这里等着开会的刘洪、李正等得到芳林嫂的情报，早巳隐蔽起来，但鲁汉、林忠、申茂、彭亮、小坡不知此情，走近芳林嫂家门时才发现敌人，经过一番激战，刘洪他们打死三个鬼子，俘获两个特务，缴获五支短枪，只是让松尾侥悻逃跑。松尾恼羞成怒，当晚逮捕了芳林嫂的婆婆，第二天带队烧毁芳林嫂的家，烧了苗庄的房屋和粮食等。刘洪义愤填膺，立即指挥游击队与敌人激战，多亏政委李正赶来，及时制止了刘洪的行动，保全了游击队，但是李正却负了伤。冬天即将来临，部队需要棉衣，上级把这个任务交给了游击队。刘洪他们首先争取了沙沟乡的伪保长李老七，然后又说服了沙沟站的副站长张兰，在其协助下，截夺了两车棉布、军服和大衣等等，待日军援军到来之时，游击队已安然离去。不久之后，这些布又安全运到山里，解决了部队全部的棉衣问题。可是在截布车后，顽军出身的队员黄二因偷布被发现，竟然投降日本，当了松尾的特务，并向敌人告密，使游击队的交通点和交通员，以及给游击队做过事的人，都遭受破坏和打击，黄二还带路偷袭东洼庄，使鲁汉、林忠及另外三名队员英勇牺牲。彭亮受命潜入临城，打死了叛徒黄二。经过顽强的斗争，游击队已经壮大成一支七十多人的队伍，使敌人深感不安。于是，敌人调集了七千多人马，对微山湖进行围剿。游击队进行英勇的反击，大量地消灭敌人，击沉敌人的船只，但是由于敌我力量相差悬殊，游击队只好化装成日军，巧妙地突出重围，撤离了微山湖。这次扫荡，敌人抓了大批人，松尾发现没有芳林嫂，就下令伪军和特务，一定要抓到她。经过几天的周旋，芳林嫂还是被敌人抓去了。敌人反复折磨她，她宁死不屈，坚强勇敢；敌人施行软招诱降，她识破阴谋，打了松尾的太太。不久，刘洪、李正、王强率领游击队分三路出山，再次回到微山湖边，首先杀了东庄的伪乡长胡仰，活捉了湖边剿共司令秦雄，控制了敌人建起的反共自卫团，改变了一度被伪化的局面。从此，游击队完全控制了这一带的铁路交通线，担负起护送八路军来往人员的重任。八年抗战终于胜利了，日本无条件投降。不久，刘洪率领的游击队，随着鲁南军区的抗日部队打进徐州。然后，游击队重回微山湖一带，对付拒降的敌伪部队，终于逼迫日军小林部队长交出武器投降，并从国民党匪军那里救出芳林嫂。然后，刘洪领导的铁道游击队，参加了保卫解放区的战斗，走向了新的生活。