19世纪后半期，伴随着第二次科技革命的浪潮，资本主义世界的生产和经济有了很大的发展。钢产量成倍增长，世界工业总产值翻了一番，重工业在所有工业中开始占主导地位，资本主义从“棉纺织时代”进入“钢铁时代”。
随着资本主义大工业的发展，工业无产阶级的人数大幅度增加。经济发展了，但是工人阶级的生活仍然非常贫困。到80年代前后，欧美各国工人运动重新发展壮大起来。1872年夏，德国鲁尔区的矿工为争取八小时工作日和提高工资而进行罢工。1886年5月1日，美国芝加哥等城市40多万工人为争取八小时工作日举行罢工，后来发展到同警察英勇搏斗，震动了资本主义世界。这一全国性的罢工浪潮，使近10万名工人争得了八小时工作日或缩短了劳动时间，抗争取得了重大胜利。1889年，英国码头工人总罢工斗争也取得了胜利，奥匈帝国、意大利、俄国以及其他欧洲国家的罢工运动同样加强了。在罢工斗争中，各国无产阶级彼此声援，相互支持。
第一国际解散后，马克思和恩格斯继续进行艰苦的工作，积极领导国际工人运动。面对如此广泛发展起来的工人运动应当怎样引导？马克思、恩格斯认为，摆在各国无产阶级面前的迫切任务是在各国建立自己的社会主义政党。1869年，第一个群众性的无产阶级革命政党——德国社会民主工党成立。此后，欧美许多国家都相继成立了群众性的社会主义工人政党组织。1870年，荷兰成立社会民主党；1871年，丹麦也成立了社会民主党；1877年，美国社会主义工党建立；1879年，法国工人在马赛召开代表大会，决定成立法国工人党；1883年，俄国成立了第一个马克思主义团体“劳动解放社”；1884年，英国成立了社会民主联盟。此外，西班牙、比利时、意大利、挪威、奥地利、瑞典、瑞士等国也都先后成立了社会主义工人党。这些政党和组织成为无产阶级新的国际联合的基础。
工人运动的迅速发展，与之同步的是工人阶级队伍的成分也发生了重大变化，被资本主义摧残破产的农民、手工业者和其他小资产阶级分子，大量进入无产阶级队伍，将非无产阶级思想意识带了进来。此外，在英、美等发达的资本主义国家，技术工人和高度熟练工人的队伍扩大了，从他们中间分化出一个特殊阶层——“工人贵族”，他们成为工人运动中的改良主义的传播者。因此，马克思和恩格斯不仅直接关怀德国党的成长和发展，而且密切关注其他各国工人政党和社会主义组织的建立和发展，在理论上和行动上给他们以指导和支持。
1879～1880年，马克思直接参与法国工人党党纲的起草工作，尖锐批评法国党内以布鲁斯、马隆为代表的机会主义派别。布、马等人反对在党纲中提无产阶级革命和无产阶级专政，只应写一些在当时情况下可能争取到的要求，因此被称为“可能派”。马克思和恩格斯还帮助法国党内以茹尔·盖德、保尔·拉法格为代表的马克思主义派，支持他们反对“可能派”原则的斗争。
1883年3月，马克思与世长辞，指导国际共产主义运动的重任落在了恩格斯的肩上。工人运动的蓬勃发展，各国社会主义政党的建立，马克思主义的广泛传播，为建立工人阶级的新的国际联合创造了条件。但是，恩格斯一直持有这样的看法，新的国际联合应该建立在马克思主义基础之上，如果这个条件没有成熟，就应努力创造条件，而无须仓促行事。80年代后期，恩格斯鉴于无产阶级觉悟的提高，各国工人党对国际团结的向往，开始考虑组织新国际的问题。
在第一国际解散后不久，无政府主义者以及法国的“可能派”，就一再尝试“恢复”或建立新的国际组织。他们企图把持未来的新组织，夺取国际共产主义运动领导权。因此，80年代后期为争得召开国际代表大会领导权的有两派：一派是法国的“可能派”和英国工联主义者，他们是机会主义派；另一派是倍倍尔、威廉·李卜克内西领导的德国和法国工人党（盖德派），这一派基本上是马克思主义派。
1888年，英国工联主义者和“可能派”在伦敦召开预备会议，委托“可能派”在1889年7月召开由他们发起的国际工人代表大会，并成立新的国际组织。马克思主义派本应迅速而坚决地行动起来，筹备和召开真正有代表性的马克思主义的国际代表大会，但是当时最有影响力的德国党领导人却认为与“可能派”团结是主要任务，力图使马克思主义派同机会主义派联合起来，共同召开代表大会。
在这紧要关头，恩格斯毫不迟疑，立即投入战斗。他不仅同“可能派”进行斗争，而且批评了李卜克内西等人的调和态度，敦促马克思主义派积极行动起来，掌握建立国际组织的领导权。在恩格斯的帮助下，德国党的领导人行动起来。1889年2月在海牙召开了预备会，决定于同年7月，即“可能派”开会的同时，在巴黎举行国际社会主义者代表大会。恩格斯的目的是通过两个大会的对照，让广大工人群众认清谁是真正的工人运动代表，谁是一种骗局。
1889年7月14日，是法国人民攻占巴士底狱一百周年纪念日。这一天国际社会主义工人代表大会在巴黎开幕，实际上这就是第二国际成立大会。
参加大会的有来自欧美22个国家的393名代表。会场上悬挂着马克思和恩格斯的画像，讲台正面的红布上写着“全世界无产者，联合起来！”的口号，大会隆重热烈，显示了40余年来马克思主义的广泛传播和共产主义运动的巨大发展。李卜克内西当选为大会执行主席。拉法格致开幕词，号召工人阶级尽一切力量加速摧毁资本主义社会的“巴士底狱”。恩格斯为了及早完成整理《资本论》第三卷的工作，未能亲自参加大会，但他热情地支持这次大会，并称这次大会的召开是一个光辉的胜利。
7月15日即国际社会主义工人代表大会召开的第二天，“可能派”也在巴黎拼凑了自己的代表大会，同第二国际唱对台戏。除了英国的社会民主联盟外，欧洲其他大党都未派代表参加“可能派”召开的大会，它实际上成了地地道道的法国“可能派”大会。大会会场冷冷清清，同国际社会主义工人代表大会隆重而热烈的气氛形成鲜明对照。
国际社会主义工人代表大会听取了各国社会主义政党代表的工作报告，讨论了当时国际工人运动中亟待解决的一些重大问题。大会经过激烈斗争，否定了机会主义者的谬论，通过了《关于保护劳工国际立法》的决议和《关于政治和经济斗争问题》的决议，前者明确指出：只有无产阶级夺取政权，剥夺资本家阶级的生产资料并把它变为公有财产之后，劳动的人类才能获得解放。
大会还通过了一项重要决议，规定5月1日为国际无产阶级的节日，号召各国工人阶级在每年的这一天，组织大规模的游行示威，显示国际无产阶级的团结力量，为实现代表大会的决议而斗争。巴黎代表大会以后，各国无产阶级热烈响应关于庆祝“五一”节的号召。1890年5月1日，在法、德、意、比、荷、美、瑞典、挪威的许多城市，举行了规模空前的示威游行，70岁高龄的恩格斯亲自参加了英国伦敦工人的“五一”节游行。
1889年7月14日—20日巴黎举行的国际社会主义者代表大会，标志着第二国际的成立。在恩格斯在世时期，第二国际基本上执行了马克思主义的路线，团结了工人阶级队伍，进行了反对无政府主义的斗争以及反对右倾思潮的斗争，广泛地传播了马克思主义，促进了各国工人组织和工人运动的广泛发展。
1914年第一次世界大战爆发，第二国际各国党的修正主义头子公开地支持战争，为本国资产阶级效劳，背叛了无产阶级国际主义，使得第二国际彻底破产。