嘉永6年2月4日出生于筑前国早良郡鸟饲村字四反田（今福冈县福冈市中央区鸟饲），福冈藩士勘定所附金子清蔵直道的长子。幼名德太郎。
万延元年（1860年）师从金山和藏、翌年师从正木昌阳，学习汉学。文久3年（1863年）1月入藩校修猷馆学习。庆应4年（1868年）4月，其父清藏亡故，他继承家督，由于士分仅限于清藏一代，因而失去士籍，编入铳手组（炮兵队），先后任铁炮大头役所使番、中番、勘定所给仕，购入铳手组的株分，得4人封禄12石。
明治维新后，明治2年（1869年）2月以修猷馆的优异成绩列入永代士分（世袭士族），受命游学秋月藩。明治3年（1870年）7月，他受家老之命游学东京，明治4年（1871年）1月入原昌平坂学问所中博士、松山藩大参事藤野正启的汉学塾求学。
明治4年（1871年）11月，金子坚太郎作为岩仓使节团成员、福冈藩藩主黑田长知的随行人员，与团琢磨一同留学美国。明治5年（1872年）在波士顿的阿尔普顿街寄宿期间努力学习英语，同年9月被录取为莱斯文法学校4年级生。明治6年（1873年）热心于社交活动，广泛结交美国的律师、科学家、记者和实业家。明治7年（1874年）4月以优异成绩毕业，并代表毕业生发表演说。同年9月，他被英语高中跳级录取为2年级生。
1876年（明治9年）2月中途退学，为进入哈佛大学法学院作准备。入学前，他师从波士顿的律师奥利弗·温德尔·小霍姆斯（后任哈佛大学教授、联邦最高法院法官），并在亨利·斯威夫特和拉苏尔·克莱联合律师事务所实习。在霍姆斯的指导下，他研读了威廉·布莱克斯通的《英国法释义》、梅因的《古代法》、卡托尔·法居的《古代都市》和摩尔根的《古代社会》。同年10月进入哈佛大学，他与留学生中的伊泽修二是最早使用电话交流的日本人。入学后，他与小村寿太郎住同一个宿舍，一起学习。
在哈佛求学期间，金子坚太郎在斯蒂尔·霍姆斯的指导下，学习了詹姆斯·麦迪逊、亚历山大·汉密尔顿、约翰·杰伊合著《联邦党人文集》、哈勒姆的《英国宪法史》、路易斯的《哲学史》、约翰·拉伯克的《文化史》。此外，他还受到约翰·菲斯克（哈佛大学哲学系教授）的亲自授课，学习哈佛·斯宾塞。在校外，他与著名的政治家、议员、文学家、哲学家和记者交流。在校内，他结识了美国学生西奥多·罗斯福。金子从参议员查尔斯·萨姆纳的言论中知道了埃德蒙·伯克这个人，萨姆纳喜爱伯克的书，金子坚太郎也开始熟读其著作。1878年（明治11年）6月，金子坚太郎从哈佛大学毕业，并被授予法学士学位。
1878年（明治11年）9月20日，金子坚太郎学成归国，加入都市民政权社。同年11月19日任东京大学预备门英语教员。他与小野梓、马场辰猪组织政治启蒙言论结社“共存同众”，主张对抗欧美列强、国家独立、实现近代化、协调藩阀政府与士族民权、摆脱与时代脱节的思维习惯的束缚。同年参加了沼间守一发起的嘤鸣社，主张自由民权和开设国会。在此期间，他完成了关于英美法制度的论文、陪审员制度的提案、宪法私案，积极参加自由民权运动，在演说会、讲演会上讲演。参与将庆应义塾夜间法律科改制为专修学校的立案和运营、《私拟宪法意见》的起草，因担心政府内的倾轧没有作为讲师为学生讲课。
1880年（明治13年）1月26日，金子坚太郎在河津祐之和沼间守一的推荐下出仕元老院，任第二课附属、第三课附属。同年4月21日任元老院权少书记官，4月22日充第二课勤务。同年9月参与创立专修学校（今学校法人专修大学）当时，他在回答与自由民权派对抗、持保守渐进理论的元老院副议长佐佐木高行的质询时，引用了埃德蒙·伯克的名言，并介绍了伯克的两部名著《对法国大革命的反思》和《呼吁从新辉格回归老辉格》。这两部书经元田永孚过目后奉呈明治天皇，还在每周周日作为参议山田显义的埃德蒙·伯克讲义。后来这两本书被抄译下来，作为保守主义政治思想概论《政治略论》刊行。1881年（明治14年）3月21日任元老院少书记官，3月22日任调查课长。同年，金子坚太郎还参与了北海道开拓使官产出售事件和明治十四年政变。
1881年（明治14年）12月21日，金子坚太郎任元老院权大书记官。1882年（明治15年）12月任元老院议长秘书官，升格为大书记官。1884年（明治17年）4月15日任太政官权大书记官兼元老院权大书记官、制度调查室御用挂。同年6月25日任太政官大书记官兼元老院权大书记官。1885年（明治18年）1月22日兼任参事院议官补。1885年（明治18年）2月14日兼任元老院大书记官。1885年（明治18年）7月~9月，金子坚太郎奉命视察北海道，以秋月洁的提案内容为基础，在视察后写成关于开拓的建议书——《北海道三县巡视复命书》，建议政府开拓北海道。提案中建议用网走集治监（网走刑务所）中的囚犯（多数为思想犯）从事开拓事业。
1885年（明治18年）12月23日，日本废止太政官制，实行内阁制度，金子坚太郎任内阁总理大臣秘书官，辅佐第一任首相伊藤博文。同年12月28日兼任临时官制审查委员。1886年（明治19年）3月任帝国大学讲师，讲授行政法（至1888年）。同年4月10日叙奏任官一等、赐上级俸。同年5月，受伊藤博文委托，与井上毅、伊东巳代治等人起草《大日本帝国宪法》、《皇室典范》、诸法典，负责制定贵族院令、众议院议员选举法等。1888年（明治21年）4月30日任枢密院书记官兼枢密院议长秘书官，叙奏任官一等、赐上级俸。1889年（明治22年）6月11日——1890年（明治23年）6月6日赴欧美诸国考察。1889年10月——1893年7月任日本法律学校（日本大学的前身）初代校长。1890年（明治23年）9月30日——1891年（明治24年）11月17日，1894年（明治27年）4月18日——1906年（明治39年）1月22日任贵族院敕选议员，1890年（明治23年）5月26日——1894年（明治24年）1月31日兼任贵族院书记官长，叙敕任官二等、赐下级俸。1892年（明治25年）3月31日任《帝国宪法讲义》嘱托。同年6月22日——11月6日作为国际公法学会会员出席日内瓦国际会议。1893年（明治26年）7月3日任法典调查会查定委员。同年9月19日叙高等官一等。
1894年（明治27年）1月31日任第二次伊藤博文内阁农商务次官，叙高等官一等。同年2月3日兼任农商务省列品所委员长、农商务省会计出纳下检察官，2月6日兼任第四届国内劝业博览会事务官长、临时制铁调查委员会委员长，3月31日任法典调查会委员。1895年（明治28年）3月16日任铁道会议议员，同年8月20日任马匹调查会会长。1896年（明治29年）4月23日任第二届水产博览会事务官长，同年6月6日任农商工高等会议副议长。同年10月28日任临时政务调查委员，11月12日任条约实施准备委员。1897年（明治30年）6月30日任日本劝业银行设立委员。1897年（明治30年）6月30日依愿免官。1898年（明治31年）4月26日——1898年（明治31年）6月30日任第三次伊藤博文内阁农商务大臣。1899年（明治32年）5月访美，被授予哈佛大学名誉法学博士学位。同年7月回国后，根据在美调查发表了《信托的利害》、《美国经济情况和日本兴业银行》，并就任东京股票交易所（日文：东京株式取引所）理事长。1900年（明治33年）5月9日特旨以制定宪法的功绩封授男爵，列入华族。1900年（明治33年）10月19日——1901年（明治34年）6月2日任第四次伊藤博文内阁司法大臣，1900年（明治33年）10月30日兼任法典调查会副总裁。此外，他还担任日美友好协会会长。
1904年（明治37年），第一次桂内阁决定同俄国开战，同年2月，日俄战争爆发。战争开始的时候，金子坚太郎被枢密院议长伊藤博文派往美国进行外交工作。他走时问了陆海军首脑，都说胜利失败最多五五分，他在一片四面楚歌中抵达美国，却意外得知美国虽然中立，但他的老同学，美国总统西奥多·罗斯福却偏向日本一边。这给了他一丝信心。1904年秋他在母校哈佛大学的公开演说中说：“日俄开战，日本无论如何也没有取胜的希望，就是日本人也没有人认为这次战争会赢得胜利。不过日本如果退让一步，俄国就会紧逼一步，他们是贪得无厌的。日本决心拿起武器，即使被灭亡也在所不惜。只要在世界史上写下这么一页我们就感到满足：‘过去在亚洲。有个称为日本的国家，因为反抗残暴的俄国的野蛮扩张，经过勇敢的战斗灭亡了’。”这番话改变了美国的舆论，打动了极端仇俄的犹太富商雅各布·希夫，出巨资帮助日本对抗俄国，终于帮日本打赢了日俄战争。西奥多·罗斯福做为中间人，主持了停战谈判。
1905年（明治38年）8月，在朴茨茅斯会议（第7次会议）上，日俄因赔款问题、割让萨哈林岛问题上尖锐对立，谈判陷入僵局。受外务大臣小村寿太郎全权委托，在美的金子坚太郎向罗斯福总统请求援助，为和谈成功，最终签订《朴茨茅斯条约》作出贡献。而中国和朝鲜半岛再次沦为帝国主义列强桌子上的祭品。
1906年（明治39年）1月9日——1942年（昭和17年）5月16日任枢密顾问官，自称“宪法的看护人”。1907年（明治40年）8月3日任日本大博览会会长，日本速记会会长。同年9月23日依功勋升授子爵。1908年（明治41年），任语学协会总裁、东京大博览会会长。1910年（明治43年）参与成立维新史编纂会。1914年（大正3年）9月29日任维新史料编纂会副总裁。
1914年（大正3年）11月30日，根据大正天皇敕命，为编纂《明治天皇纪》而在宫内省成立临时帝室编修局，1915年（大正4年）7月7日金子坚太郎任临时帝室编修局副总裁，10月16日任维新史料编纂会总裁。1918年（大正7年），金子坚太郎与临时帝室编修局总裁土方久元在编修方针上意见相左，他主张天皇以国为家，由于天皇纪是天皇的传记，治世中的大小事件都必须作为国史记录。同年土方病逝，继任的田中光显于翌年辞职，由于总裁出缺，金子坚太郎受命摄行总裁职（1922年（大正11年）正式升格为总裁）。在主持《明治天皇纪》的编纂后，金子坚太郎试图按自己的主张改变编修方针，1920年（大正9年）经天皇裁可，制定明治天皇纪编修纲领，把明治时代的叙述作为国史固化为明治天皇纪的编修方针。1920年（大正9年）10月15日补议定官，1922年（大正11年）4月25日——1933年（昭和8年）9月30日任帝室编修局总裁。
1927年（昭和2年）在东京上野日本美术协会发起“大桥翠石百幅画展”。1932年（昭和5年）任二松学舍专门学校（二松学舍大学的前身）舍长。1934年（昭和9年）7月1日任明治天皇御纪编修委员会顾问。1938年（昭和13年）1月4日，以完成《明治天皇纪》的功绩进爵为伯爵。1941年（昭和16年），他主持下的《维新史》编纂成书并奉呈昭和天皇。
金子坚太郎有着深厚的美国情节，一生致力于日美友好，历任美友协会会长、日美协会会长，与贺川丰彦、松田竹千代、三木武夫等人组织“日美同志会”并被推举为会长。晚年的金子坚太郎对日美开战深感忧虑，1941年（昭和16年），他委托朝河贯一送出力求避免日美开战的《天皇宛美国总统亲书草案》的书简，想极力促成避免日美战争，但未能成功。1942年（昭和17年）5月16日，金子坚太郎病逝，享年90岁，叙从一位、大勋位菊花大绶章。
