1900年，6岁的蔡声白在他家乡的私塾开始接受儒家启蒙教育。1905年，由于清政府废除科举考试制度，新学堂勃兴，入蓉湖学堂，开始接触新式教育。1907年，入湖州府中堂，1909年，湖州府中学堂改名为“浙江省立第三中学堂”，执教此校者如沈尹默、钱恂、钱稻孙、杨笏斋、张宗绪等都是著名学者。在校就读的学生后来不乏名人，如比蔡声白晚2年进校的沉雁冰后来便成为著名的作家（即茅盾）。蔡声白在湖州府中开始积累起他的知识基础，以及形成其初步的人生观与世界观。传统国学的熏陶、新式科学与外语的教育等对他而言都受益终身。
     1911年，蔡声白自湖州中学堂毕业，考入北京清华学堂中等科。6月，清华学校决定以口试方式选取14名幼年生提前出洋，蔡声白以成绩优秀被幸运地录取，其它同时被录取者包括胡光麃、黄季岩、李达、卢寿征、薛学海、余箕传、陈苏孙、李郭舟、范瀚增、陈宏振等人。8月，这批幼年生抵达上海，置办行装准备出发赴美。这时候，辛亥革命爆发了。由于时局动荡，清华学堂被迫停办，蔡声白这些清华的幼年生也无法成行。直到1912年5月，政治渐渐稳定，清华学堂才重新开学，并改称“清华学校”。这时，蔡声白等幼年生也回到北京，继续他们在清华的学业。清华学校恢复派遣学生赴美，是在1914年。这年8月8日，蔡声白等11名幼年生（其它3名幼年生未随行），与其它三班高等科毕业学生等一同由校长周诒春亲自护送赴美。11名清华幼年生被分别送到3所美国历史最悠久中学先完成高中学业。蔡声白进入安多弗中学（Phillips Academy Andover）插班就读。1915年7月，蔡声白自安多弗中学毕业，考入理海大学（Lehigh University），专攻矿冶工程。理海大学留学期间，蔡声白学习甚为努力，数次获得奖学金。经常参加各种团体活动，关心中国同学会，并协助编辑《留美学生会季报》。1918年，蔡声白参与了中国工程学会的创建，为其创始会员之一。1919年9月20日蔡声白顺利毕业回国。
     从美国回国的蔡声白在上海作短暂的停留之后，即到山东勘探矿藏，并打算与人合股开矿。1919年11月，周湘舲聘请蔡声白担任江西安福县兴公司工程师。1920年5月，蔡声白与莫怀珠在上海结婚。婚后不久，蔡先后进入联益贸易公司服务，随后担任中美商业公司工程部主任。
蔡的岳父莫觞清是上海著名的丝厂主（莫氏号称“丝业大王”，其久成集团最高峰时拥有10个厂，丝车2800余部，工人7000余，年产丝5000 担）。1917年，莫曾与美商合作开办新式电机丝织厂——美亚织绸厂，但未能正式投产便解散。1920年5月，莫改以独资仍开美亚织绸厂，采用全铁新织机，制造新花样绸品竞争市场。当时美亚设在马浪路（现马当路），建筑厂房10余间，购置日本电力丝织机12台，并聘请熟练技工协助。莫觞清决定请女婿蔡声白主持美亚绸厂。
     1921年4月17日，蔡声白正式担任美亚织绸厂经理职务。他上任后，便开始将全力放在美亚织绸厂的经营上面。为了充分利用原有平房，增加丝织机 13台，并添置了美制新型丝织准备机械。美亚在国内首先采用美国“阿脱屋特”式（ Atwood ）络丝机（Reeling Frame）、并丝机（Doubling Frame）、捻丝机（Twisting Frame）等准备工程之机械，以及“克老姆登”式（Crompton）式全铁电力织机。这让美亚具备了与同行进行技术竞争的前提，不久，该厂独家推出的 “美亚葛”、“文华葛”、“爱华葛”“华绒葛”等花织物，以及单绉、双绉、乔其纱等素织物成为绸缎市场的畅销品种。
     科学管理法，是蔡声白在进入美亚后即着手采用的新制度，也是美亚能够摆脱陈规走上快速发展之道的重要诱因。蔡在美亚的工厂管理中，许多方面都直接应用了科学管理法。如工作定额原理、标准化原理等等。他在美亚织绸厂创建了直线职能型的组织结构，除作为直线结构的工务处负责生产外，还设立事务处、工账部、雇用部、检查部、惠工处等职能部门，基本上取消了当时在其它工厂中很普遍的“工头”。蔡创立的一些工厂管理法后来也成为一种工厂管理模式，不但扩展到其它的丝织工厂，甚至影响到别的行业的工厂经营者。
     在蔡声白的努力经营下，美亚织绸厂气象一新，产销均见增长。由于该厂出品品质上乘，获得客户信赖，工厂获利丰厚。莫觞清也决定加大投资额，继续订购新式织机。1922年2月，莫觞清决定将久成丝厂从马浪路迁至日晖港，其原有厂房全部交给美亚织绸厂，经营规模扩大。到这年底，美亚织机已增至89台。 1923年末，美亚的织机增至116台，成为当时上海绸厂中的大厂。蔡声白以自身的薪资积累参股，美亚厂改由莫觞清与蔡声白合伙经营的企业。1920年代初，上海等地的电机丝织业正面临丝价飞涨、成本提高等困难，而蔡声白担任经理的美亚织绸厂由于在技术与管理上均有独倒之处，其产品销路独佳，蔡声白也名声大震,成为电机丝织业中的英雄式人物。