1918年，张宗昌被任命为第一师师长，有一次，他来到北京领到两个月的军饷后，被在京的狐朋狗友拉去赌钱，一夜间输了个精光。最后还是冯国璋下令又给批了五十万元，这才让张宗昌得以给第一师官兵补发欠饷。
1920年春，以曹锟、吴佩孚为首的直系（冯国璋已病逝）和段祺瑞、徐树铮为首的皖系之间的大战，已如箭在弦上，一触即发。
5月下旬，吴佩孚率部离开衡阳，北赴直隶京汉铁路沿线，准备对皖系作战，他将湖南的防地，交于湘军赵恒惕部接防，并承诺帮助湘军驱逐皖系的湖南督军张敬尧，于是湖南的直军纷纷向湖北撤退。张宗昌也于6月初，率第一师退出湘东，自攸县、醴陵等地移驻江西袁州一带。
第一师陆续进入江西后，集中在袁州驻扎。江西督军陈光远害怕张宗昌夺取他的地盘，于是刻意讨好，用巨资买得一位踩软索的女子（踩软索系一种杂技，表演者在两头架空的钢丝上，来回走动，并表演各种身段），送给张宗昌当姨太太，以示友好。这个女子就是张宗昌的第九房姨太太（后来该女子与张宗昌不和，仍旧回到杂技团去了）。
在示好的同时，陈光远积极调集军队，以防范张宗昌。陈光远是直系的老人，张宗昌虽然是直系的冯国璋所提拔，但却既不属直系，也不属皖系，因此直系对张宗昌大加防范，而北京的皖系段祺瑞却怀疑张宗昌倒向直系，因此也停发了军饷。
张宗昌到江西后，曾亲自去北京多次，向段祺瑞索要军饷，但均不得要领而回。没有军饷，部队吃饭都成问题，张宗昌只得派人到临近各县县署强迫借粮，因此与江西地方产生了尖锐的矛盾。
为了保住地盘，陈光远将江西全省的直系军队调集到袁州附近，对张宗昌的第一师形成包围的态势。当时江西的直军，有陈光远直辖的一个师和赣东、赣南（吉安）、赣西、赣北（九江）四个镇守使的部队。一个镇守使当时直辖一个旅或至少一个团。这些部队由陈光远的弟弟陈光逵统一指挥。
在开战之前，陈光远先从内部瓦解张宗昌的第一师，他花重金买通第一师第四团团长王康福，王康福率部倒戈出城而去；之后，陈光远又送给第一师第三团团长褚玉璞数万大洋，要褚玉璞归附直系，并许诺旅长职务。褚玉璞被收买后，也按兵不动。
张宗昌向来信任褚玉璞，直到一天夜里他发现褚玉璞部使用的口令，并非第一师师部颁发的口令，这才发觉不对劲。接下来，在与陈光远军作战时，张宗昌部士气涣散，兵无斗志，节节败退，呈现土崩瓦解之势。张宗昌见大势已去，便化装潜出袁州，逃向北京，第一师各部皆不战而退，被陈光远军四处围困，陆续缴械遣散。
张宗昌在江西失败逃往北京后，最初想走直系曹锟的门路（直皖大战，直系获胜后占领北京），重组军队，但遭到吴佩孚的强烈反对。后来，张宗昌在北京结识了张学良，通过这层关系，得以前往东北投靠奉系张作霖。
投奔张作霖之初，张宗昌未受重用，和他手下的亲信旧部约二百人，留在沈阳作寓公。张宗昌住在大北关榆树胡同私宅，旧部四散分住，没有什么组织，也没有名义，这些人的生活费用都由张作霖供给。此时皖系的吴光新、马良、梁鸿志、张树元等人，纷纷到奉天见张作霖，鼓动对直系作战，企图奉皖联合，东山再起。皖系的这些说客在沈阳时，也经常与张宗昌联络。
在第一次直奉大战前夕，奉军主力配置在北京近郊的长辛店和天津附近的杨柳青一带。张作霖的计划是直捣直军后方，争取战端一开，即能切断津浦铁路，以收两面夹击之效。于是张作决定先派张宗昌组织旧部，潜入苏鲁边区，联合地方武力，扩大军事活动，以配合京津一带的作战。
张作霖委派张宗昌为苏鲁别动队总司令，张宗昌又任命亲信褚玉璞、程国瑞、王万金为支队司令，分头活动，联系招收旧部，很快即在奉天组成了一支有六百人的基本出征队伍，并从其中选拔军官数十人，先期随联络站秘密进关，在苏鲁边区为其征集外援，开辟活动基地。
1922年4月初，张宗昌率领部属六百余人由奉天经大连分三批乘日本船到青岛。在奉天启程前，成员中多有发信向关内亲友、同事约会向青岛集合，以便扩大队伍。
张宗昌的基本队伍分批到达青岛后，分别住在两个日商洋行仓库内，他们领饭费分散上街吃饭。先期函约的人也陆续来到青岛，很快就组成了有一千多人的便衣别动队。张宗昌见人数纠集得差不多了，就开始从青岛乘船出发，他租用了一只日本大船，夜间秘密上船，在日照县的石臼所登陆。由于张宗昌事前已花重金买通了临沂地区的驻军第五旅旅长李森，第五旅主动让路，因此张宗昌别动队得以顺利登陆，并以临沂地区作为前进基地。
这千余人的别动队在石臼所登陆后，经过几天的行军，沿途无阻，还攻占了几个村镇。不过，由于奉系在和直系的作战中惨败，战死二万，被俘四万，逃散一万，张作霖仓惶率残部败退回东北。
张作霖都退守东北了，张宗昌这千把人还能掀起什么风浪呢，见大势已去，张宗昌只得带着亲信，又从鲁南乘船逃回奉天。张宗昌这次入鲁虽然失败，但是却博得了张作霖的好感，奠定了他日后发迹的信任基础。