1924年，张作相任吉林省督军兼省长。在吉林任职时，他采取“闭关自守，开垦实边，广立学校，振兴实业，训练精兵，以便养精蓄锐。”在吉林主政8年做了很多工作，整顿财政税收、修筑吉海铁路，创办吉林大学，还修路建水厂等基础设施建设，受到民众的欢迎。

张作相任职时，日本人侵入东三省，当时日本的“南满铁道株式会社”想控制东三省的交通大权。

1927年8月，日本驻沈阳的总领事吉田茂，因为铁路的事，与奉天省长莫德惠谈判，弄了个《满蒙新五路协约》草案，并送到张作霖那里去签字，张作霖在上面签了一个“阅”字，日本人认为张作霖同意了。

这个协约可是一个卖国协约，规定日本承建5条铁路，一是从敦化到图门江线，二是长春到大赉线，三是吉林到五常线，四是洮南到索伦线，五是延吉至海林线。

这五条线日本不仅承包建，而且所有权就是日本人的。当日本人找到张作相时，让他也在这个协约上签字，张作相当时就拒绝。

可见在大是大非问题上张作相不糊涂。他知道签字的后果就是卖国，本来日本在东北就受到国人的痛恨，如果再当汉奸，那张作相不仅名声毁了，他也不可能善终。

1925年，奉系曾发生最大的场内部之争，这就是郭松龄在河北突然反奉，率7万大军攻打沈阳。

张作相从儿子张廷枢那里得到消息，于是他下令15师阻击郭松龄部队，在万家屯火车站进行伏击，郭松龄的先头部队到这里后全部被缴械。后来张作相又在兴城、连山一带与郭松龄激战，但没打过郭松龄。张作相败退到沈阳，张作霖听到张作相战败，他知道郭松龄实力很强大，于是他决定下野逃路。

在危急关头，奉天省长王永江出招，让日军出面协助打击郭松龄。但日军却向张作霖提出条件，张作霖被迫答应。在日军协助下，郭松龄被打败。而且张作相与张学良、吴俊升再次出兵迎战郭松龄，最终郭松龄被抓获，张作霖下令*了郭松龄。

但在如何处理郭松龄的军队问题上，有人认为应该一网打尽，但张作相认为，郭松龄已经伏法，他的手下不应打尽，因为都曾经是家乡的子弟，可以让他们继续在东北军戴罪立功，张作相对郭松龄手下兵主张宽大处理的建议是对的。

但张作霖手下大多数人反对张作相建议，张作相与他们争论很长时间，最终张作霖也没有没吱声。后来张作相哭着建议张作霖饶了郭松龄的人，否则先*他。最终郭松龄的人被张作相留下。

其实张作相这样做是为张作霖收买人心，郭松龄这些部下都是东北人，如果*了他们，就会寒了东北人的心，以后谁还会为张作霖卖命。再说郭作龄倒戈，他的属下也无奈。

1928年6月4日，“皇姑屯事件”发生，张作霖被炸身亡，此时奉系军阀乱成一团，由于张学良还在外地没赶回来，当时奉系必须有一个人当头。

东三省议会联合会在张学良还未赶到时召开了会议，会上都推张作相为东三省保安司令，并刻了印信，由会议长张成箕等人送到张作相公馆，把公推书和印信交给张作相。张作相当众表示：“不接受！”

张学良回到沈阳后，处理完张作霖的后事，他也推荐张作相统辖东北军政大权。1928年6月21日，东三省议会联合会再次召开临时会议，再次推举张作相为东三省保安总司令兼吉林省保安司令，张作相依然不接受，他3次退回张学良送来的公推书和印信。他向张学良表示：让张学良子承父业，他将全力辅佐。后来张作相还说服很多要员支持张学良，最终达成共识，一致推举张学良为东三省保安总司令兼奉天省长，不久还兼任东北政务委员会，真正继承父业，主政东北。

张学良继承父业后，张作相再次辅佐少帅，当时他对老蒋南京政府不信任，但张学良搞东北易帜后，张作相大力支持。张作相甚至向国民政府表示，将服从南京，改旗易职，实现南北统一。张作相任东北边防副司令长官，东北政务委员兼吉林省主席。

张学良主政东北时，面临最大阻力就是日本人，当时日本在东北势力，张学良心里有数。日本人提出的“中日铁路联运”、“速修敦图铁路”、“日本人在东北杂居”等无理要求，张学良与张作相都反对。

1929年1月10日，杨常事件发生后，张学良请张作相来处理后事，张作相妥善处理了“杨常事件”，稳定了奉系政局。

1930年9月，张学良率东北军出兵华北，响应老蒋，共同对付冯玉祥。张作相则留在奉天，任留守司令，处理东四省的事务。1931年9月18日，“九·一八”事变爆发后，张作相回老家为父亲办丧事，未组织留守的东北军与日军作战。