1927年秋，劉珍年大罵說：“張敬堯滿嘴胡說八道，班平秀胡吃悶睡，這種人打仗怎能不敗。”張敬堯是直魯聯軍第二軍的軍長，班平秀是副軍長，該軍在河南、安徽等地與馮玉祥的部隊作戰屢屢失利，退到魯南滕縣一帶。
身為第二軍旅長的劉珍年對張敬堯、班平秀這兩個上司的昏庸無能十分不滿，馮玉祥的部隊攻勢淩厲，副軍長班平秀一籌莫展，便向直魯聯軍總司令張宗昌提請，将殘部約2000人交劉珍年整頓。
劉珍年的手下大都反對，說：“張（宗昌）、褚（玉璞）覆滅在即，咱們何苦接這個爛攤子？”
劉珍年說：“前漢亡去有後漢，他們不幹咱們幹！吾輩學以緻用，建功立業，此其時也。”之後，劉珍年帶着班平秀的殘部開到臨沂，編成一個團，改屬第四軍軍長方永昌指揮。
在臨沂，劉珍年大刀闊斧，嚴加整訓，使這支殘敗隊伍的面貌頓然改觀。方永昌十分欣賞劉珍年的治軍才能，任命其為新編旅旅長，并向張宗昌保舉劉珍年任該軍參謀長。
1928年夏，北伐軍進攻山東，張宗昌敗退冀東，任命方永昌為膠東防禦總指揮，第十三軍軍長劉志陸為副指揮，統轄直魯聯軍殘部開往膠東，以圖将來東山再起。不久，方永昌逃往大連，将部隊交劉珍年掌握，劉珍年便自稱軍長，開始自立門戶。
同年5月，劉珍年與劉志陸兩部交錯駐紮于昌邑、平度、掖縣一帶。劉志陸同南京國民政府拉上關系後，企圖吞并劉珍年的部隊和地盤。
6月10日，劉志陸以開會的名義，将第四軍4個旅長中的3人摘去兵權，加以參議、顧問的頭銜，留住不放。劉珍年聞訊大怒，立即聯系第四軍各部拒絕劉志陸改編。于是劉志陸率第十三軍包圍掖縣，企圖脅迫劉珍年就範。劉珍年嚴陣以待，雙方在掖城一帶展開激戰。13日，劉珍年督率全軍沖出掖城，大敗劉志陸于城西福祿山。
7月上旬，劉志陸又聯合張宗昌其他殘部顧震、鐘振國等人以重兵包圍了掖縣城。劉珍年授意掖縣群眾代表出城求見劉志陸，要求停止炮火攻城，以免殺戮百姓。
劉志陸讓代表轉告劉珍年：“總指揮（方永昌）既已棄軍逃走，第四軍自應由我副指揮統轄。倘若抗不聽命，我定以大炮夷平掖城，誅滅逆軍。”
劉珍年毫不示弱，下令繼續抵抗。恰好這時，方永昌從大連傳回掖縣，他怒斥劉珍年：“掖縣乃張督辦（張宗昌）家鄉，也是我方某家鄉，眼下戰事緊急，我暫不處理；看你此戰表現如何，戰後再作處置。”
當夜，劉珍年指揮左翼軍率先攻至城西南29裡的的鳳凰山，适逢大連日軍偵察機掠過上空，劉志陸頓生疑懼，以為劉珍年有日軍支援，便率部向西撤退，方永昌指揮全軍掩攻，劉志陸逃往青島，通電下野。
戰後，劉珍年嘲諷劉志陸：“黔驢龐然，技止此耳！”
擊敗劉志陸以後，劉珍年被方永昌任命為第一師師長，仍駐掖縣。但他對方永昌既有疑慮，也有忌恨，密約駐蓬萊的第三師師長何益三尋找機會除掉方永昌，又聯絡了方部的團長劉開泰除掉方永昌的親信、駐黃縣的第二師師長張藹亭。
同年9月28日，劉開泰和劉珍年密謀後，槍殺第二師師長張藹亭張藹亭及其親信多人。方永昌驚聞第二師有變，連忙逃往蓬萊何益三處，何益三态度暧昧。方永昌見勢不妙，帶着幾個親信逃回大連。
至此，劉珍年成功取代方永昌，進駐煙台，同時接受蔣介石以南京國民政府名義給予的暫編第一軍的番号。劉珍年任軍長兼第一師師長，劉開泰為第二師師長，何益三仍為第三師師長。
此時的劉珍年大肆擴充實力，他軟硬兼施，将散處于膠東各地的張宗昌殘部及其他雜軍如顧震、鐘振國、劉選來、施中誠等部，或武力吞并，或婉言勸服，基本上收拾幹淨，共編為5個步兵師另騎兵、炮兵、特務各一個團，工兵、辎重、通信各一個營。
與此同時，張宗昌、褚玉璞的直魯聯軍在昌黎、灤州一帶被白崇禧的部隊繳械，改編為7個師，張、褚逃往大連。但他們仍然野心不死，張宗昌于12月在大連西遊别墅召集褚玉璞、程國瑞等一幹部将，密商再次進軍山東。
1929年2月19日，張宗昌、褚玉璞帶領方永昌、黃風岐等舊部在龍口登陸。原已歸附劉珍年的第二師師長劉開泰、第四師師長李錫桐、第五師師長施中誠等部又叛劉附張。
張宗昌派劉珍年的保定軍校同學郎貫一勸說劉珍年聽命收編，劉珍年提出要先殺方永昌，再談改編問題。張宗昌不得已，命方永昌離軍暫避。但方永昌走後，劉劉珍年不聽命，張宗昌決定以武力解決。
劉珍年所轄的第二、四、五師叛離，本部隻剩下第一師和何益三的第三師，之後他又奉蔣介石指令，将部隊縮編為新編第三師，劉珍年任師長，何益三任副師長。
張宗昌的部隊數量看似不少，但都是潰敗殘軍改編，軍紀差戰鬥力低。在4月下旬的一次突襲反攻中，劉珍年大獲全勝，擊潰張宗昌主力，僅俘虜就抓了5000多人。劉珍年率部乘勝追擊，在福山縣城俘虜了老長官褚玉璞。8月20日，劉珍年派人将褚玉璞秘密槍殺。
劉珍年驅走方永昌，殺死褚玉璞，逐回張宗昌，一時之間名聲大噪，成為割據膠東的軍閥，他本人志得意滿，野心更大，誇口說：“我若有三萬人馬，便可橫行域中。”