1875年3月19日（光绪元年二月十二日），生于奉天海城县西90华里北小洼村。1887年，从私塾先生杨景镇学习三个月。 1888年，其父张有财被赌徒打死，他与二哥前去报仇，枪走火误伤人命，二兄被捕，他逃走，随母亲王氏、妹妹去镇安县（即黑山县）赵家庙村（今属北镇县）外祖父家就食。1889年，学木匠当货郎卖包子学兽医。
1890年，流落营口县大高坎镇，1894年，投清军宋庆所部当兵，后升任哨长。1895年，清军移防离队回乡当兽医，与赵家庙村地主赵占元次女结婚，赵春桂是张作霖的原配夫人，是张首芳、张学良、张学铭的生母。
1896年，经冯麟阁（后改名冯德麟）介绍在广宁县（北镇）加入绿林董大虎匪部。
1900年，义和团运动，沙俄侵占东北，盛京将军逃走，地方混乱。他于赵家庙组织保险队（大团），负责附近几个村子的治安，后移至北镇县中安堡。 他负责的地区称为“保险区”。张作霖在保险区内很守规矩，不仅遵章守纪，而且维护治安。因此，在这个地区胡匪的骚扰得到遏制。张作霖也得到村人的称赞，他由此声名鹊起。他管辖的范围逐渐扩大，达到二十多个村子。 1901年，春节前夕遭金寿山勾结俄兵偷袭，逃往八角台与张景惠合股，被推为团练长。在途中，赵氏在马车上生下了一个男孩，即张学良。1902年，于新民受抚，先任马队帮带（副营长）后升管带（营长）。1904年，日俄战争爆发，先为俄军效力后为日军效力。1907年，东三省改建省制，徐世昌首任总督，计擒杜立山有功升为奉天巡访营前路统领。1908年，奉徐世昌命驻防郑家屯、洮南，追缴陶克陶胡叛匪。1909年，奉锡良总督之命追缴蒙匪牙什、白音大赉等。
1911年， 武昌起义，带兵入奉天省城镇压革命党人。1912年，因镇压革命党人被封为关外练兵大臣。袁世凯任临时大总统后任其第二十七师中将师长。
1915年，被袁召入京，表示支持“速正大位”。袁世凯称帝后，又被封为子爵、盛武将军，督理奉天军务兼巡按使。1916年，驱段芝贵离奉，以盛武将军督理奉天军务兼巡按使。 洪宪帝制败后，他被黎元洪大总统任为奉天督军兼省长。1917年，因冯德麟参与张勋复辟，夺其第二十八师兵权，统一奉省军政。1918年，于秦皇岛夺取直系购买的日本军械扩充奉军。入关支持皖系“武力统一”。被任为东三省巡阅使。1918年9月被任命为东三省巡阅使，利用日本的势力控制了奉、吉、黑三省，成为奉系首领。
1919年，五四运动爆发，力主镇压。日本制造宽城子事件。孙烈臣任黑省督军，鲍贵卿任吉省督军。成为“东北王”。1920年，在直皖战争中助直反皖。1921年，被任为蒙疆经略使，辖热察绥三特区。进京组织梁士诒内阁。1922年，吴佩孚揭露梁内阁卖国媚外，第一次直奉战争失败而归，宣布东三省独立，自任保安总司令，整军经武成立陆军整理处。1923年，扩奉天兵工厂；东北大学开学。
1924年，成立东三省交通委员会。组“镇威军”六个军进关与直系再战，胜，推段祺瑞为“中华民国临时总执政”。1925年，奉军进入上海，势达鼎盛时期。浙江督军孙传芳反奉，郭松龄倒戈，日军助张败郭。1926年，北京会见吴佩孚商定讨赤计划。孙传芳北上归附奉系，在天津蔡园开军事会议组“安国军”，被十五省推为总司令，决定打南方和西北的国民军。
1927年6月18日，张作霖在北京就任北洋军政府陆海军大元帅，代表中华民国行使统治权，成为国家最高统治者，并组成北洋军阀统治时期第32届、也是最后一届内阁，成为北洋军政权最后一个统治者。在位期间多次抵制日本人的诱惑，拒绝签订不平等条约。 1927年，在北京下令绞杀李大钊等多名革命志士。组成安国军政府，就任陆海军大元帅，成为北洋政府末代国家元首。与日本满铁社长山本条太郎在北京达成《满蒙新五路协约》秘密谅解。
1928年，北伐军蒋、冯、阎、李对奉系进攻，奉军全线崩溃。1928年6月2日，张作霖声言退出北京。
由于他不肯满足日本帝国主义的无理要求（包括开矿、设厂、移民和在葫芦岛筑港等），1928年6月4日晨5时许，当张作霖所乘由北京返回奉天专列驶到皇姑屯附近的京奉、南满两铁路交汇处桥洞时，被日本关东军预先埋好的炸弹炸毁，这位乱世枭雄身受重伤，当日逝世，享年53岁。这就是当时轰动中外的“皇姑屯炸车案”。这一年12月，张作霖的儿子张学良发表通电，宣布东三省及热河省服从南京国民政府，这就是史称的“东北易帜”。
