吴锦堂少年时在上海工作了3年，习算学文，揣摩商贾经营之道，勤奋精明，深得店主的赏识，曾被派到苏州等地开办业务，经营油烛等商品。油烛虽是小商品，但购买者各色人等都有，吴锦堂借此认识了不少人，对他了解社会各界、积累经验都很有帮助。特别是他在苏州分店的经历，更使他有独当一面开展商务活动的锻炼机会，显露出从事贸易活动的惊人才能。1885年，即中法战争的第二年，31岁的吴锦堂对我国工商业在列强欺凌下造成的不景气深有感触，意识到努力向外求发展是改变目前状况的一条重要途径。于是，在友人资助下携资银千两，毅然东渡日本长崎。 到达长崎后，吴锦堂经缜密计划，与人合伙从事物资运销，业务活动就是代出口商在阪神地区采购物资并运送至长崎，又代进口商将进口货物运送至阪神地区交给座商。这种营生投入少，资金流转快，吴锦堂在短短的一年间，将资金扩大了5倍。 就这样，吴锦堂靠着“单帮”式的经营，积累了资本，还通过购销环节建立了业务网络，为日后事业的辉煌打下了基础。 1887年，吴锦堂与人合伙在大阪设立“义生荣”商号，他终于有了自己开设的第一家商行。这以后，他的业务范围不断扩大延伸：由收购向制造业延伸，如“义生荣号”曾涉足火柴生意；由为出口商购运向自营出口延伸，如将火柴、阳伞运销中国；由代进口商运销，转向自己设行销售。 在经营中，吴锦堂那谨慎灵活、恪守信用和极富开拓性、前瞻性的经营作风逐渐成形，引起商界同仁的注意，称赞：“他的先见之明、小心谨慎的态度以及随机应变的经商才能正是他的独到之处。”一位商界巨人的稚形初步显现。 1889年，吴锦堂在濑户内海边的著名商港神户设立了“怡生号”，开始定居神户。此后，经过十多年的奋力开拓，业务不断扩大，涉足广泛的实业领域，成了大阪、神户地区著名的产业资本家。日本作家黑部亨曾撰文，把吴锦堂和神户纺织业奠基人武藤山治并称“为神户照亮前途的人”。同时，他也成了神户华侨的领军人物。1894年，吴锦堂被任命为“神户旅驻大清商人公举商董”，是神户中华会馆、神户三江公所的总代。