1897年（清光绪二十三年）移居杭州，早年游手好闲，斗殴滋事，与流氓为伍，为当地地痞。后进武备学堂读书，结识张载阳。民国初年，结识上海英租界流氓季云卿，后拜上海青帮“大”字辈樊瑾丞为“老头子”，与黄金荣、杜月笙结拜为兄弟，并称“上海三大亨”。
      1920年，三人合股开设“三鑫公司”，贩卖鸦片，逼良为娼，横行霸道。
      1927年四一二反革命政变时，组织“中华共进会”，率“敢死队”冒充工人，袭击工人纠察队，旋被蒋介石委为陆海空总司令部顾问、军委会少将参议。
      1932年经杜月笙推荐，充任上海华商纱布交易所监事。抗战爆发后，指使徒众组织“新亚和平促进会”，收购军需物资资敌，大发国难财。
      1937年，日军发动八一三事变。10月下旬，战局恶化，蒋介石准备放弃上海。为了防止“三大亨”被日伪利用，蒋介石邀请黄金荣、杜月笙、张啸林一起去香港。
      “三大亨”地位的排列，原本是黄、张、杜，上世纪30年代中变成了杜、黄、张。张啸林出道时间比杜月笙早，辈分也比杜月笙高一辈，对杜月笙当老大，心中一直不服。
      蒋介石部署撤退时，张啸林暗想：上海华洋杂处，各种势力盘根错节，日本人攻占容易统治难，必然要拉拢利用帮会头目。而三大亨中，黄金荣已表明不会出头为日本人做事，杜月笙去了香港，这正是他独霸上海滩的好机会。
      1937年11月上旬，上海沦陷。日本上海派遣军司令官松井石根很快便与张啸林达成了协议。之后，张啸林布置门徒，胁迫各行各业与日本人“共存共荣”，大肆镇压抗日救亡活动，捕杀爱国志士。又以“新亚和平促进会”会长的名义，派人去外地为日军收购粮食、棉花、煤炭、药品，强行压价甚至武装劫夺。还趁机招兵买马，广收门徒。张啸林的投敌活动，引起了国民党的极大不安。除掉张啸林，已是当务之急。
      蒋介石指示军统局长戴笠对张啸林予以制裁。戴笠向潜伏在沪上的军统上海区区长陈恭澍发出了针对张啸林的锄奸令。陈恭澍随即建立行动组并制定了锄奸计划。行动组长陈默接到任务后，策划了两次暗杀行动，但均未成功。张啸林遭到几次暗杀后，就希望能找到几个枪法好的人当保镖保护自己。林怀部是在张啸林的司机阿四的介绍下进的张宅，起初只当了个门卫。在阿四的引荐下，林怀部向张啸林展示了精准的枪法。就这样，他取得了张啸林的信任，被聘为保镖。
      1940年8月14日有客来访张啸林，林怀部决定待张啸林送客下楼时动手除掉张啸林。但不一会引客的管家下来去翠芳楼找妓女前来侍酒陪赌，赌局饭局交替能到深夜。如果这样就无法下手。林怀部见阿四在院中擦车，便凑过去说：“有些私事，请师傅去楼上向张先生讲一声，准我五天假。”阿四摇摇头说：“张先生有规矩，会客时不许下人打扰，你又不是不知道。”
      林怀部故意刺激他：你平时常说张先生如何如何地看得起你，看来和我没什么两样，吹牛。阿四一听火了，两人吵了起来。楼上的张啸林听到声音，忍不住跨到窗前厉声喝问：吵什么？
      张啸林怒骂林怀部：你这龟孙子，吃饱了不干事还吵架，老子多叫一个东洋兵来，用不着你了。林怀部也毫不示弱地还嘴，张啸林于是探身窗外怒吼：阿四，把这龟孙子的枪卸下来，让他滚蛋。林怀部随即说道：用不着赶，老子自己走。说着，林怀部伸手去腰间拔枪。所有人都以为林怀部真要交枪走人，不料他对着张啸林抬手一枪，子弹正中张啸林面门，张啸林当场毙命。