显而易见，在潜艇诞生后鱼雷就成了它最佳的武器。在现代人眼中，鱼雷是一种能在水中自动航行，自动寻找目标，以爆炸毁伤目标的武器，这种武器速度很快，而且较为隐蔽，威力强大，所以在海战中自它诞生后就是一直令人畏惧。
鱼雷最早起源自一种“撑杆雷”，顾名思义，这种雷实际上是把炸弹用长长的木杆固定在快艇艇首，当这种小艇快速冲向敌舰并撞击后就会爆炸。1864年，奥匈帝国海军一名叫卢庇乌斯的舰长把一个空气压缩推进器与这种撞击雷捆绑在一起，使得这种雷可以不依赖小艇而能够独自航行一段距离，但这种空气压缩机所能提供的动力很有限，因此这种鱼雷的速度很低，而且航程也很短，并且由于没有稳定系统，航向也难以控制，因而最终没有被应用。
1866年，曾与卢庇乌斯一起研制鱼雷的一名英国人在这枚鱼雷的基础上继续开始研制，这就是英国工程师罗伯特·怀特黑德。他仍然用压缩空气发动机带动单螺旋桨推进，但通过用液压阀操纵鱼雷尾部的水平舵板控制鱼雷的艇行深度。这枚鱼雷的艇速为11公里/小时，射程也只有180─640米，而且没有控制鱼雷航向的装置。
与罗伯特·怀特黑德同期开始研制鱼雷的还有俄国的亚历山德罗夫斯基，而且，在1887年1月13，俄国舰艇在60米的距离上向一艘土耳其2000吨的“因蒂巴赫”号通信船发射鱼雷，并且成功将其击沉，这是人类海战史上第一次用鱼雷击沉敌舰船。1899年，奥匈帝国的海军制图员路德格·奥布里将一个陀螺仪安装在鱼雷上，用来控制鱼雷定向直航，这枚鱼雷因而成了世界上第一枚控向鱼雷。1904年，美国人E·W·布里斯发明第一枚用瓦斯发动机代替压缩空气发动机的热动力鱼雷，这使得鱼雷的航速提高至约65公里/小时，航程也达到2740米。
鱼雷可以应用于实战后就迅速成为一种主要武器，在第一次世界大战期间，鱼雷已经成为与舰炮同等重要的武器，这并非夸大其词，在整个第一次世界大战期间，被鱼雷击沉的运输船达1153万吨，占被击沉运输船总吨位的89％；舰艇162艘，占被击沉舰艇总数的49％；到了第二次世界大战期间，被鱼雷击沉的运输船总吨位达1366万吨，占被击沉运输船总吨位的68％；舰艇达369艘，占被击沉舰艇总数的38.5％。
1938年，为了增强隐蔽性，德国第一个在潜艇上装备了无航迹电动鱼雷，也就是用电池驱动，这就可以避免产生热动力那种气泡尾迹，也就不易被发现。到了1943年，德国又首先研制出单平面被动式声自导鱼雷，也就是说这种鱼雷已经安装了“耳朵”，它可“听”到水面舰艇螺旋桨的噪声而自动导航，这已经相当于初级水中导弹，命中率因而得到提高。后来，在第二次世界大战接近尾声的时候，德国又发明了线导鱼雷，即潜艇通过与鱼雷尾部连接的导线进行制导，这就更加提高了鱼雷的命中率。二战后，在50年代中期，美国制成双平面主动式声自导鱼雷，它可在水中三维空间搜索，能够用于潜艇对潜艇的攻击。