1918年，張宗昌被任命為第一師師長，有一次，他來到北京領到兩個月的軍饷後，被在京的狐朋狗友拉去賭錢，一夜間輸了個精光。最後還是馮國璋下令又給批了五十萬元，這才讓張宗昌得以給第一師官兵補發欠饷。
1920年春，以曹锟、吳佩孚為首的直系（馮國璋已病逝）和段祺瑞、徐樹铮為首的皖系之間的大戰，已如箭在弦上，一觸即發。
5月下旬，吳佩孚率部離開衡陽，北赴直隸京漢鐵路沿線，準備對皖系作戰，他将湖南的防地，交于湘軍趙恒惕部接防，并承諾幫助湘軍驅逐皖系的湖南督軍張敬堯，于是湖南的直軍紛紛向湖北撤退。張宗昌也于6月初，率第一師退出湘東，自攸縣、醴陵等地移駐江西袁州一帶。
第一師陸續進入江西後，集中在袁州駐紮。江西督軍陳光遠害怕張宗昌奪取他的地盤，于是刻意讨好，用巨資買得一位踩軟索的女子（踩軟索系一種雜技，表演者在兩頭架空的鋼絲上，來回走動，并表演各種身段），送給張宗昌當姨太太，以示友好。這個女子就是張宗昌的第九房姨太太（後來該女子與張宗昌不和，仍舊回到雜技團去了）。
在示好的同時，陳光遠積極調集軍隊，以防範張宗昌。陳光遠是直系的老人，張宗昌雖然是直系的馮國璋所提拔，但卻既不屬直系，也不屬皖系，是以直系對張宗昌大加防範，而北京的皖系段祺瑞卻懷疑張宗昌倒向直系，是以也停發了軍饷。
張宗昌到江西後，曾親自去北京多次，向段祺瑞索要軍饷，但均不得要領而回。沒有軍饷，部隊吃飯都成問題，張宗昌隻得派人到臨近各縣縣署強迫借糧，是以與江西地方産生了尖銳的沖突。
為了保住地盤，陳光遠将江西全省的直系軍隊調集到袁州附近，對張宗昌的第一師形成包圍的态勢。當時江西的直軍，有陳光遠直轄的一個師和贛東、贛南（吉安）、贛西、贛北（九江）四個鎮守使的部隊。一個鎮守使當時直轄一個旅或至少一個團。這些部隊由陳光遠的弟弟陳光逵統一指揮。
在開戰之前，陳光遠先從内部瓦解張宗昌的第一師，他花重金買通第一師第四團團長王康福，王康福率部倒戈出城而去；之後，陳光遠又送給第一師第三團團長褚玉璞數萬大洋，要褚玉璞歸附直系，并許諾旅長職務。褚玉璞被收買後，也按兵不動。
張宗昌向來信任褚玉璞，直到一天夜裡他發現褚玉璞部使用的密碼，并非第一師師部頒發的密碼，這才發覺不對勁。接下來，在與陳光遠軍作戰時，張宗昌部士氣渙散，兵無鬥志，節節敗退，呈現土崩瓦解之勢。張宗昌見大勢已去，便化裝潛出袁州，逃向北京，第一師各部皆不戰而退，被陳光遠軍四處圍困，陸續繳械遣散。
張宗昌在江西失敗逃往北京後，最初想走直系曹锟的門路（直皖大戰，直系獲勝後占領北京），重組軍隊，但遭到吳佩孚的強烈反對。後來，張宗昌在北京結識了張學良，通過這層關系，得以前往東北投靠奉系張作霖。
投奔張作霖之初，張宗昌未受重用，和他手下的親信舊部約二百人，留在沈陽作寓公。張宗昌住在大北關榆樹胡同私宅，舊部四散分住，沒有什麼組織，也沒有名義，這些人的生活費用都由張作霖供給。此時皖系的吳光新、馬良、梁鴻志、張樹元等人，紛紛到奉天見張作霖，鼓動對直系作戰，企圖奉皖聯合，東山再起。皖系的這些說客在沈陽時，也經常與張宗昌聯絡。
在第一次直奉大戰前夕，奉軍主力配置在北京近郊的長辛店和天津附近的楊柳青一帶。張作霖的計劃是直搗直軍後方，争取戰端一開，即能切斷津浦鐵路，以收兩面夾擊之效。于是張作決定先派張宗昌組織舊部，潛入蘇魯邊區，聯合地方武力，擴大軍事活動，以配合京津一帶的作戰。
張作霖委派張宗昌為蘇魯别動隊總司令，張宗昌又任命親信褚玉璞、程國瑞、王萬金為支隊司令，分頭活動，聯系招收舊部，很快即在奉天組成了一支有六百人的基本出征隊伍，并從其中選拔軍官數十人，先期随聯絡站秘密進關，在蘇魯邊區為其征集外援，開辟活動基地。
1922年4月初，張宗昌率領部屬六百餘人由奉天經大連分三批乘日本船到青島。在奉天啟程前，成員中多有發信向關内親友、同僚約會向青島集合，以便擴大隊伍。
張宗昌的基本隊伍分批到達青島後，分别住在兩個日商洋行倉庫内，他們領飯費分散上街吃飯。先期函約的人也陸續來到青島，很快就組成了有一千多人的便衣别動隊。張宗昌見人數糾集得差不多了，就開始從青島乘船出發，他租用了一隻日本大船，夜間秘密上船，在日照縣的石臼所登陸。由于張宗昌事前已花重金買通了臨沂地區的駐軍第五旅旅長李森，第五旅主動讓路，是以張宗昌别動隊得以順利登陸，并以臨沂地區作為前進基地。
這千餘人的别動隊在石臼所登陸後，經過幾天的行軍，沿途無阻，還攻占了幾個村鎮。不過，由于奉系在和直系的作戰中慘敗，戰死二萬，被俘四萬，逃散一萬，張作霖倉惶率殘部敗退回東北。
張作霖都退守東北了，張宗昌這千把人還能掀起什麼風浪呢，見大勢已去，張宗昌隻得帶着親信，又從魯南乘船逃回奉天。張宗昌這次入魯雖然失敗，但是卻博得了張作霖的好感，奠定了他日後發迹的信任基礎。