1938年12月，115師代師長陳光、政委羅帥率師直屬隊和343旅686團東進，離開晉西，奔赴山東，開辟敵後抗日根據地。楊勇此時擔任686團團長兼政委。
1939年3月1日，楊勇率686團到達魯西郓城以北地區。
楊勇迅速組織召開了群衆大會、開明紳士會議，深入宣傳共産黨的抗日主張，報告八路軍的抗戰形勢，廣泛發動群衆，鼓舞人民士氣，不斷擴大八路軍的影響。駐張樓的國民黨郓城縣保安司令祝壁臣等開明進步人士聞訊後，推選孫厚甫、傅仲華等20餘人為代表，冒雨步行數十裡，趕來迎接八路軍。
楊勇以抗日大局為重，不計前嫌，熱情地接待了這些代表。代表們叙述了魯西人民的苦難，控訴了盤踞在樊壩的僞軍劉玉勝的罪行，要求八路軍為人民除害。
盤踞在樊壩及其附近的僞軍，共有一個團的兵力，主力駐紮在後樊壩，該村周圍地勢平坦，村西有黃河大堤為屏障，村莊有土圍子作依托，警戒嚴密，易守難攻。
楊勇決定把消滅樊壩僞軍，作為進入山東後向山東父老的第一個獻禮。
3月3日下午，楊勇率部到達樊壩附近。3營營長周海賓、教導員劉西元帶領全營，從北、東、南三面對樊壩進行攻擊，2營作預備隊。
拂曉時分，敵人睡得正香，趁着黎明前的夜暗，3營發起勇猛攻擊，經過大約七八個小時的戰鬥，樊壩裡的槍炮聲漸漸地稀疏下來，隻有樊壩東邊還有僞軍一個營在負隅頑抗。
這時，幾十個戰士押着頭上負了傷的僞軍團長劉玉勝來到楊勇面前。楊勇讓衛生員給劉玉勝包紮好傷口，指令他寫信讓那個還在頑抗的營放下武器，立即投降。劉玉勝見大勢已去，隻能照辦。不大功夫，這個營的僞軍就乖乖地投降了。到此，樊壩戰鬥結束。樊壩戰鬥是八路軍東進部隊進入魯西後與僞軍打的第一仗，這次戰鬥勝利打擊了日僞軍的氣焰，鼓舞了魯西人民的信心。
為了争取和瓦解僞軍，楊勇決定對劉玉勝采取寬大政策。他不但派醫生給他嶽父治療戰傷，還親自找劉王勝談話，向他曉以抗日救國大義，希望他改邪歸正，重新做人。半年後，劉玉勝帶着300多人歸到八路軍來。
樊壩戰鬥結束後，686團本應随師部繼續東進，但當地群衆害怕八路軍走後日僞軍會卷土重來，派來當地代表來到師部極力挽留。于是115師首長決定，由楊勇率領686團的3營和教導隊留下來堅持魯西的抗日鬥争，留下來的部隊改編為獨立1團。
3月10日，115師率686團繼續東進。楊勇挑起了開辟魯西抗日根據地的重任。
為了迅速打開局面，楊勇分散兵力發動群衆，并身體力行，親自帶一個連隊到奉張六區呂垓等地開展工作。各連分散發動群衆，一個村、一個區、一個縣地建立抗日民主政權。受盡了日僞軍和頑固派殘酷蹂躏的群衆，體會到八路軍才是真正的為國為民的軍隊，逐漸消除了害怕心理，開始主動地與八路軍接近。
僅僅幾個月的時間，郓城、甄城、壽張、範縣、梁山等地遊擊組、自衛隊、婦救會等抗日群衆組織紛紛成立。擴軍工作也十分順利，在壽張集活動的一個連，在短短一個月的時間裡，便擴充了400多人，組成了一個獨立營，後來又成立了一個壽張縣獨立營。
楊勇抽調主力部隊的幹部去加強縣、區大隊的上司，派主力部隊協助地方對分散的武裝進行整頓和訓練。同時，盡可能地抽出一些武器、彈藥給地方武裝，提高了它們的戰鬥力。
由于群衆工作開展得好，獨立1團的部隊也擴充得很快。
這時，國民黨魯西保安第11旅齊子修部，擁有5000餘衆，為了躲避鬼子的“掃蕩”，跑到了梁山，經常與八路軍鬧摩擦，危害很大。4月間，齊子修率部到肖皮口一帶征糧，他的部隊騷擾民宅，燒殺劫掠，激起民憤。
楊勇集中兵力，在當地群衆的支援下，在郓城東北連續和齊子修打了幾仗。先是在肖皮口消滅了他一個團，後在壽張集附近又消滅他一個團。最後，齊子修帶着殘兵敗将逃跑了。
反頑鬥争打擊的第二個對象，是國民黨魯西專員盧義之。開始，楊勇以禮相待，對他進行耐心說服教育，争取他一道抗日，還派政治部主任歐陽文到鄄城與他談判。而盧義之卻把八路軍的誠意當成軟弱可欺，更加肆無忌憚。在忍無可忍的情況下，楊勇調集兵力，狠狠地打了他一下。盧義之丢了部隊和地盤，隻好灰溜溜地逃到菏澤一帶去了。
1939年7月7日，抗戰兩周年紀念日這天，在梁山黑虎廟村，115師獨立旅正式成立，楊勇任旅長兼政委。
從3月初到7月初，僅僅4個月時間，八路軍一個團，發展成了一個旅，楊勇由團長成了旅長。八路軍不僅在魯西站穩了腳跟，還為以後魯西抗日根據地的發展打下了基礎。楊勇率部到達魯西不久，便打出了赫赫威名，建立了抗戰奇功，魯西軍民奔走相告，翹起大姆指，用高度贊賞的語氣稱贊“魯西來了一隻羊，打鬼子十分能耐。”