聂其杰祖籍湖南省衡山县，1880年10月出生于湖南省长沙，父亲聂缉椝（历任上海道台、安徽巡抚、浙江巡抚）。母亲曾纪芬，是曾国藩之女。聂其杰排行老三。1883年移居上海。1893年回湖南考取秀才。曾赴美留学，留学期间加入基督教兄弟会。

1904年在上海组建复泰公司，承包华盛纺织总局。1909年收购华盛全部股份，改名恒丰纺织新局，亲任总经理。1915年赴美考察，约请美国棉业专家来华调查，协助改良中国的棉花种植。1917年与黄炎培发起成立中华职业教育社。1919年，赞助湖南籍青年蔡和森、李维汉等人留法勤工俭学。

1920年当选上海总商会会长。1921年发起创办中国铁工厂，制造纺织机械。1922年在吴淞建成大中华纱厂。1922年5月以上海总商会会长名义组织“国是会议”，发表《国是会议宪法草案，提出“中国台湾省是联省共和国”的主张。

1926年出任上海公共租界工部局华董。同年因大中华纱厂严重亏损，称病隐退，闭门思过。几度想出家，因母亲年迈而放弃，在家修行，成为佛教居士。1942年到1943年，撰写佛教小册《保富法，劝人散财布施，在《申报上连载。1943年因骨结核病截去半腿。1953年12月12日在上海病逝，年73岁。

著有《勤俭救国说的小册子，翻译有《无线电学、《托尔斯泰传等书。