因家境贫穷，从小即学木匠。14岁时，带着十几个铜板到上海，投靠当建筑工匠的亲戚，从学徒开始，做到小包、看工。民国2年（1913）在闸北海昌路独资开设桂兰记水木作，后过渡到营造厂。桂兰荪早年在上海承建了大批二层楼石库门房子，较著名的有徐家汇孝友里、金陵东路笃行里，以及老沙逊洋行、五和洋行所属的房地产住宅建筑。由于这些房子比较简陋，所以桂兰荪自嘲地称自己为专造“烂楼房”的人。一二八事变，桂在闸北的住宅、作场被战火摧毁殆尽，损失掺重，桂举家避难法租界，在戚燮林的帮助下东山再起，建造了一批住宅房子，并于民国21年承接到四川北路天潼路口的新亚大酒店工程。酒店大楼高为9层，其大面积的彩色面砖、可容千人的无柱大礼堂、布置新奇的屋顶花园，均为沪上所罕见，且仅用一年多时间就竣工交付使用。30年代，桂兰记营造厂承建了今福建南路上的大方饭店，九江路、湖北路、北京西路、五原路上的一批市房及徐汇区多幢私人洋房住宅，桂还在南京、杭州、戚墅堰等建造住宅，在无锡建庆丰纱厂。抗日战争爆发，桂兰荪拒绝承建敌伪政府的工程，闭门不出。