早年随父亲余洪源到上海学习木匠技艺。承建上海早期租界内的不少西式建筑，于清光绪二十一年（1895年）之前创设了余洪记营造厂。经营建筑以守信用、重质量为宗旨，常常亲临工地检查质量，发现有问题不惜工本，主动拆毁重建，使全厂上下养成较好的经营作风，受到业主信赖，实力迅速壮大。在19世纪末，余洪记与上海早期的顾兰记、江裕记等著名营造厂并驾齐驱，余积臣也成为上海建筑业中绍兴帮的领头人物。余与上海建筑界领袖杨斯盛关系密切。清光绪二十一年杨主持重修鲁班殿，余出资赞助，并主动率绍兴帮与上海本帮合作，自光绪二十四年筹建沪绍水木工业公所。光绪三十四年公所成立，余被推为首届董事，并于宣统三年（1911年）率绍兴同业合捐千金资助建造公所房屋。
余洪记营造厂承建的工程甚多，重要的有上海北四川路桥堍邮政大厦，由英国建筑师史久生设计，规模宏伟，地基、结构和装修要求均非常严格，于民国11年（1922年）开工，历时两年完成，屹立苏州河畔，历经70年无损无恙，成为上海著名地标之一。在外埠承建的重要工程有南京金陵女子大学、杭州亚细亚石油公司、西湖边高级别墅等。余积臣器重建筑人才，其大学徒孙德水青年时期进厂，显示出经营管理才能，余视孙如子，悉心培育，尽授营造业诀要，以后又任孙为经理。孙也不负余之期望，在余洪记营造厂的业务发展中起到了重要的作用。后来孙自设孙福记营造厂，称著于上海和香港、泰国。余积臣在建造邮政大厦时，诚聘陶桂林担任工地主任，两年后竣工，余慨予酬金三万银元。此款为陶创办馥记营造厂提供了重要的经济基础。余积臣除经营建筑业以外，还投资于友人兼同业姚锡舟创办的中国水泥公司，为股东之一。余在晚年将业务托付给孙德水和儿子余松奎后，散居上海、杭州两地，其子余松奎继承父业，在马来西亚柔佛（Johore）建造政府大厦，宏伟壮丽，当地称为“皇宫”。在四川成都建造了励志社大楼，现为中共四川省委办公大楼用，为四川省著名近代建筑之一。