送葬的人气愤不平，双方争执不下。
这时，张啸林大喝一声：“开打！”成百上千的掮执事、骑顶马、吹吹打打各色人等，立刻像潮水一样地冲向日本人，吓得日本人回头便跑，纷纷关上大门。
待到出殡诸事完毕，队伍解散，张啸林又约了数十个艺人和以前的机房朋友，开回清河坊与保佑坊，看见日本人开的店铺，不分青红皂白，冲进去便又打又砸，掀起了一场较大的风波。
事后，杭州官府在日本人的压力下，决定惩办带头闹事者。
陈效岐为保护张啸林，以滩簧先生首脑的身分，挺身而出，结果被判在拱宸桥头，披枷带锁，示众一月。
陈效岐的枷锁示众，更激起杭州人民的反日情绪。他们自动组织起来，一致拒买日本货。日本人难敌群愤，只得相继迁出清河坊。
经过这件事件，陈效岐十分赏识张啸林，并与张结成了过房亲家。
然而，此时的张啸林仍然不改聚赌诈骗的恶习。
每年春茧上市和秋季稻谷收获之际，他便雇用小帆船一条，到杭嘉湖一带，以三粒骰子做赌具，巧立青龙、白虎等名目（俗称“颠颠巧”），引诱农民赌博，设计骗取农民钱财。乡间农民受到张啸林的欺骗，有的输得当空卖绝，有的输得投河上吊，引起了广大农民极大的愤怒。
为此，杭嘉湖一带人民曾写状上告，杭州府与钱塘县均曾出签访拿张啸林，但终因一班衙役都受过张的贿赂，屡屡通风报信，使张啸林几次避过风头，逍遥法外。
但后来有一次，张啸林在茶馆里为争座位，对旗人大打出手，险些酿成命案。他怕被官府捉拿，逃到了绍兴安昌镇，投靠他的老朋友在安昌任巡官的翁左青。
不久，武昌起义爆发，旋即杭州光复，张啸林托人探得自己的案子不了了之，于是又堂而皇之地回到了杭州。
辛亥革命后，张啸林参加了“三合会”，做一名普通的门徒。一次偶然的机会，他结识了洪门大哥杭辛斋，并靠杭辛斋的关系，利用一批旧日的机房朋友做班底，逐渐发展成为颇有声势的一霸。
有一天，张啸林在朋友家吃了几杯喜酒，心头已有三分醉意。在回家途中行到拱宸桥附近，看到有几个人合力殴打一个人，便上前劝说。那几个人看到张啸林多嘴，就不问青红皂白，围起他打了起来。
张啸林原是练过拳脚的，什么场面没经过，见三人打来，一脚踢去，正踢中一个人的睾丸，那人当场倒地而身亡。他知道又闯了大祸，急忙挣脱身来，也不敢回家去，连夜离家逃往上海。
张啸林逃到上海后，就落脚在小东门外东昌渡一带码头上，更名“林生”。后来，经同乡投机药商黄楚九介绍，张啸林拜青帮“大”字辈樊瑾成为“老头子”。由于有些文化，他很快熟记了“海底”术语，下一辈的流氓都称他为“张爷叔”。
张啸林的外貌与黄金荣、杜月笙略有不同。他中等身材，圆头大耳，长着一对豹眼；两颧高，双颊陷，颈子特别长，清瘦中有些杀气，令人望而生畏。再加上他浑身蛮力，且凶狠毒辣，因此门徒捧为“张大帅”。
张啸林于是把上海当成第二故乡了，他还传信到家里，让妻子娄丽琴偷偷来到上海。
张啸林在东昌渡码头，最初是与杭州锡箔船商打交道的。因杭州锡箔船商见张啸林在码头上的流氓帮里有些路子，就和他商量，为保护每船来货在码头上不受损失，愿按来货所值拿出若干，作为保护费。
张啸林见有油水可捞，就在十六铺码头上的流氓群中寻找合作者，结果和杜月笙相识，于是，两人便同流合污起来。
杜月笙把杭州锡箔船商的货物引渡到“小浦东”卸货，从中收取保护费。这事很快被其他的流氓得悉后，就互相勾结，纠众前来明抢，双方发生了一场恶战。
杜月笙这帮因寡不敌众，被其他流氓打得落花流水，各自奔逃。杜月笙本人也被打得奄奄一息。
张啸林把杜月笙背到自己租的房子中，延医诊治，并悉心调养，不久，杜月笙便恢复了健康。因此，杜月笙对张啸林的救命之恩，终生难忘。
这期间，通过杭州湾来的小痞子，没有必要交往，便就此不来往。
不久，上海新开河码头建成，但外省的船商因不堪上海稽征吏的勒索，通过张啸林等人的关系，纷纷到别处卸货，这就等于砸了稽征吏的饭碗。
这班稽征吏到处打听，原来是张啸林在船商中暗地捣的鬼，砸了他们的饭碗，决意要把张啸林擒到手，结果他的性命。
一天，张啸林正在南码头联系事务，被驻该处的稽征吏发现，就立即纠集十余个稽征巡警，不问情由，把张啸林拽进稽征局内捆绑起来，打得死去活来，准备夜深人静时，把他扔入黄浦江中淹死。
当天下午，张啸林的老婆娄丽琴得知他被稽征局捉去，便急忙找到杜月笙，求他及早设法营救。杜月笙听说后，一面叫手下弟兄到稽征局打听虚实，一面和几个头目商量如何营救张啸林。
大家认为，如果白天去抢救张啸林，稽征局里有几枝老爷后膛枪，难以得手，不如等傍晚时分，巡警们都下了班，再冲将进去，打他个措手不及。
大家计议已定，随即挑选了数十个流氓，到了晚上，杜月笙和李阿三率领流氓一齐冲入稽征局，救出了张啸林，然后一哄而逃。
张啸林脱险回家，休养了数日，打听到捕他的头目“金狮狗”原是一个手段非常残忍的家伙。为了要报仇雪恨，他就请三十六股帮流氓头子“吊眼阿定”助他一臂之力。
“吊眼阿定”见“金狮狗”倚官仗势，勒索船商们的钱财，也非常看不入眼，于是答应了张啸林的要求。
一天上午，金狮狗照例出来巡查商船，正独自走到江边时，突然前后窜出十几个人，不问情由，把他掀倒在地，一顿拳脚，又七手八脚地把他拖到江边，一声号子，奋力往江里一抛。
此时，江畔正好泊来一艘大粪船，只听“扑通”一声，金狮狗被抛到大粪船中。虽然保住了一条命，但已饱尝了大粪的滋味儿。金狮狗爬出大粪船时，张啸林等人早已逃得无影无踪了。
上海呆不下去了，张啸林只好携着妻子又回到了杭州。
1919年8月14日，浙江督军杨善德病故，卢永祥由淞沪护军使升迁，护军使则由卢系大将何丰林继任，江翰廷任护军使署秘书长，刘吾圃任警察厅主任秘书，俞叶封调任缉私营统领，张载阳升任浙江省省长。
由于这批分居要津的大官，与张啸林有私交，张啸林便有了强硬的靠山，他觉得，又该来上海了。上海这片天地比杭州广阔多了，能使自己得到更大的发展。
到了上海。听说以前的老朋友杜月笙已在黄公馆发迹了，便马上拜访，并要求杜月笙把自己荐在黄金荣的门下。
黄金荣在得知张啸林与浙江省省长张载阳、督军卢永祥等关系密切后，也想招徕张啸林入伙，黄金荣与张啸林一见如故，引为知己。于是在1919年，张啸林将全家迁至上海。
就这样，上海三大亨的雏形形成了。
从此，黄金荣集团不仅以租界的政权为护符，在流氓争霸冲突中立于不败之地，而且又进一步获得了军阀的庇护，势力更加膨大。
“三大亨”格局形成后，近代上海又出现了一大批由他们衍生出的小流氓。这些流氓聚众结伙，触角伸到上海社会生活各个角落，横行霸道，为非作歹。当时在各自地盘上称霸的流氓主要有以下几种：
（一）码头霸
旧上海黄浦江畔建有许多卸货码头，雇佣了许多搬运工人。青红帮出身的工头，在外国人指使下，凭借流氓势力成了码头霸主。其中势力较大的有：绰号“大刀关胜”的沈关生，三井煤栈码头霸头李茂龄，人称“码头春宝”的张春宝。这些人手下徒弟均在一千人以上。码头工人劳动强度很大，霸头不劳而获收取搬运费的60%，工人仅得少量报酬，谁敢不服，就会被恶势力殴打驱逐，甚至有生命危险。此外，霸头还在码头上横行不法，欺诈旅客，将码头上木板改为活动板，旅客下船时只要将行李放在码头上，稍有不慎，如转身叫车，行李便不翼而飞，事后霸主与得手的徒弟分赃。
（二）人贩霸
上海流氓贩卖人口有两种：专贩男孩，叫“搬石头”；专贩女孩，叫“摘桑叶”。贩男孩的后台老板，是前海宁路虹口汇司捕房刑事股探长尚武，他出身青红帮，手下徒弟两千余人，与潮州帮三合会勾结，将人口拐卖到广东。贩女孩的头目中，尤阿根势力较大，曾任公共租界老闸捕房刑事股总探长，青红帮出身，手下有数千名徒弟。他们把女孩拐到手后，卖给福州路一带十几家妓院。温州人陈鹤明充当蛇头，勾结上海潮州帮三合会等，贩卖人口去国外。1930年至1936年间，仅向南美一地，就贩运五万多人。
（三）渔市霸
1934年前，上海渔市集中在小东门法租界一带。每天从外地云集许多装鱼船到渔行码头卸货。每天清晨，全上海菜场渔贩数千人，到小东门向渔行批购。上海海鲜业同业公会黄振亚，本系无业游民，只因拜了黄金荣为师，便利用黄的势力拉帮结伙，欺行霸市，垄断货源价格，成为渔市一霸。
（四）菜场霸
旧上海菜场也有恶霸。30年代最热闹的菜市，要数虹口三角地菜场和法租界麦兰区菜市。菜场内摊位位置不同，会影响生意好坏，有些流氓头子乘机垄断牟取厚利。法租界有个徐海涛，曾拜杜月笙为师，他狗仗人势垄断好的摊位，每月转租给别人，可净得千元。
（五）人力车霸
人力黄包车是旧上海主要交通工具之一，当时人力车霸主多数是大流氓顾竹轩的徒弟。法租界有个探长金九龄，手下有徒弟三千人，仅在陕西南路一带就有人力车一百多辆。租车人一旦生意不好，就会被取消租车资格，甚至惨遭毒打。
（六）走私霸
旧上海走私特别严重，多由青红帮组织操纵。这个组织规模庞大，与海关、外商轮船公司、租界警务司等关系密切。外滩爱多亚路附近有家吴记运输公司，白天很少有活动，一到夜间，就有十几只小艇从外轮上把进口漏税货物卸在码头上，再由吴记公司用卡车运到洋行存放。这个公司老板吴志龙，参加过青红帮，拜过黄金荣为师。
（七）粪霸
民国时的上海卫生设备很差，绝大多数人家均用马桶。每天清晨专门有人拉粪车，穿街走巷，挨户代倒马桶。粪车装满后，由粪夫拉到粪码头，出售给粪船农民。粪霸向租界当局承包，坐收其利，法租界粪包头是黄金荣的姘妇阿贵姐。
她共有粪车四百多辆，手下徒弟好几百人，每月可净赚一万多元。她1930年病死后，粪包头由其儿子马鸿根继任，生意兴隆。
此外，在上海著名的棚户区三湾二弄——潭子湾、潘家湾、朱家湾和药水弄、蕃瓜弄等处，均盘踞着一批各种各样的地头恶霸，他们啸聚成群，如“薄刀党”、“五条龙”、“十弟兄”、“十三太保”、“十八家番王”、“塌屎党”、“剥衣党”、“三十六罡”等。凡居民盖搭草棚，须先送“上梁费”、“门牌钱”；恶霸家中的阳寿、阴寿、孩子满月、老婆患病、兄弟结婚、女儿出嫁，甚至娶妾、纳徒，居民均须送礼；逢年节和月初，恶霸便遣喽罗挨户收取“年收钱”和“月规钱”。此外，这些恶霸还时常拦路抢劫，设卡敲诈，调戏妇女，霸占人妻，无恶不作。
这些恶霸大多长于玩弄敲竹杠、“摆丹老”（即硬借，近乎于勒索）、索陋规等手段。旧上海的这些恶霸势力，几乎无处不在，无孔不入。
老报人徐铸成曾谈起亲历的一事：当时《大公报》自北方来上海出版，创刊的第一天，市面上一张报纸也没有，尽管他们连续两天加印，仍是照旧。《大公报》的经理胡政之急得无法，遂求助于法国哈瓦斯通讯社的中文部主任张翼枢，张翼枢当时是法租界公董局的华董，又是杜府的清客之一。于是《大公报》特备了一份厚礼给杜月笙，请杜月笙答应以他的名义宴请上海各报业巨头，开宴以后，张翼枢向全体客人致词日：“杜先生关照，说《大公报》出版，希望各位多多帮忙。”那些不愿外地来沪挤进报业的幕后策划“收进”《大公报》零售报纸者，听到这一句话，果然就此罢手，使得《大公报》在第四天的早晨与上海市民见面，这种阻拦外报入沪的做法，也充满了报霸的气息。
法捕房的流氓班头目徐阿东对待流氓一向采取高压手段，流氓畏之如虎。黄金荣要提高“白相人”的地位，压制徐阿东，颇费苦心。在第一次欧战结束以后，黄金荣因维持法租界治安有功，法帝聘他为法租界公董局顾问，领少将衔，法捕房里所有华籍探目、巡捕，均由黄金荣提名升级。徐阿东当然也想往上爬，于是便向黄金荣请求提名，黄叫他到新北门去找杜月笙，说这次提名升级的探捕，都归杜月笙拟定名册。徐阿东如约到聚宝楼去见杜月笙时，杜早已得黄金荣暗示，约好两租界以及闸北、南市地区的白相人，等候徐阿东到来，徐阿东对杜说明来意后，杜月笙立即拍胸担保，他说，今后在公事方面，要请徐先生对今天在座的各位先生另眼看待。徐只好一口应允。杜月笙当着众人的面，高声宣称：“先生和我们是一家人了，今后不走大家的样（就是殴打和逮捕，使流氓难堪的行动）。”徐阿东经过这一次事实教训，不敢再以硬派作风对待流氓。这事以后，英、法两租界捕房里的包探，不但不敢再开罪白相人，反而向大流氓门下投帖，甘做门生（如英捕房督察长刘绍奎等拜在蔡洪生门下），流氓势力更加飞扬跋扈。