1947年8月，根據中央軍委的方針，為配合全國戰略反攻的需要，決定成立東北民主聯軍第十縱隊。梁興初奉命來到東聯總部所在地——哈爾濱。
梁興初從林彪、羅榮恒住處回到招待所，就抄起電話，找劉亞樓說道："劉參謀長，向你報到！"
劉亞樓說："向我報什麼到？快去見101(林彪),102(羅榮桓)。"
梁興初說："已經見了。我找你是要飯吃的。"
劉亞樓問："怎麼，還沒吃早飯？怎麼搞的。"
梁興初不滿道："早飯是吃了，可我不是匹馬，怎麼隻喂豆子？"
"好你個梁大牙，好大的膽子！吃豆子就是喂馬？你知道你罵的是誰嗎？"劉亞樓在電話裡哈哈大笑起來，"别拐彎抹角了，有什麼事直說吧。"
梁興初也覺得這話說得不道地，林總最喜歡吃炒黃豆，他也是知道的。于是忙放緩口氣說："你可别瞎彙報哇！我隻是想找你借點錢花。"
劉亞樓說："借錢找黃司令，他管後勤，找我幹什麼？"
梁興初說："就借1萬塊(東北流通券，後來币制改革時，一萬元兌換人民币1元)，值不得找黃司令，找你就行。"
劉亞樓笑道："我以為你要多少呢？行，你叫警衛員到我這兒來吧。"
劉亞樓參謀長給了兩萬塊錢。梁興初又逛了趟松花江商場。
1947年8月18日東聯總部下達了令字第26号指令：
"着以獨立第一師、獨立第三師、東滿獨立師編成野戰軍第十縱隊，下轄二十八師(獨立一師)、二十九師(獨立三師)、三十師(東滿獨立師)，并以獨一師在勃利的後方機關及東滿吉敦軍分區直屬機關作為編成縱隊直屬機關之基礎。"
"任命梁興初為第十縱隊司令員；周赤萍為政治委員；劉型為副政治委員兼政治部主任；王勵為縱隊供給部長；周吉安為縱隊衛生部長。"
落款為林彪、彭真、羅榮桓、高崗、陳雲、李富春。
後面還有一系列指令，任命黃偉華為第十縱隊參謀長；黃一平為第十縱隊第二參謀長；賀慶積為二十八師師長、晏福生為政治委員；劉傳連為二十九師代理師長、卓雄為政治委員；方強為三十師師長、孔石泉為政治委員。還有一大批副師長、師的副政委、師參謀長、主任的指令。
梁興初接到指令，就他的性格來說，應該立即上任，到職視事，可是這次卻有點不一樣。主要情況有三：
第一，他來六縱隊任副司令兼十六師師長才3個月，屁股還沒坐熱，又要走了。平心而論，在十六師有什麼建樹呢？夏季攻勢打得不錯，可是整個東北戰場上進入了"大反攻"，在全軍都戰績輝煌面前，顯不出來。雖然在蓮花街，一縱隊二師、獨二師受了批評，十六師消滅了敵人一個團，受了表揚，但與擔任一縱隊副司令兼一師師長時的秀水河子、大窪、金山堡、新站、拉法、張麻子溝、郭家屯等殲滅戰相比，真是小巫見大巫。是以他離開一縱隊時，沒有這種底氣不足的感覺。
第二，十縱隊在哪裡？說在敦化，那裡卻沒有十縱隊的一兵一卒。三個師，一個在中長路東側的四平到沈陽間，一個在吉林以北，一個在長春西北。現在的十縱隊，還在紙上，大有"無家"之感。
第三，十縱隊這副擔子确實不好挑哇！三五九旅雖說是支老部隊，他清楚地記得，在火石嶺子挨過批，林彪說過，打不好仗，就降級，降為獨立師。現在還是獨立師。《東北三年解放戰争軍事資料》這樣評述："……其部隊曆史應列入東北各部隊中主力師，但戰鬥力還不如一般部隊……缺乏朝氣，保守性大，進步慢，戰鬥作風被動……"羅政委講得明白，"要把這支部隊帶成能打硬仗、惡仗的一流部隊"。完成這個艱巨的任務，還有令他擔心的原因：3個師長都是老資格。劉傳連在紅軍時，曾是有名的"模範師長"，紅軍改編為八路軍，就是三五九旅七一七團團長，晏福生是政治委員，那時梁興初才是六八五團的營長。方強的資格更老，長征中就是軍、師級幹部，西安事變後，任八路軍駐西安辦事處主任。那個時候，梁興初還是營連幹部，雖然1941年當過教五旅旅長，但1943年取消旅又降為軍分區司令兼十三團團長。
盡管有上述考慮，但絲毫不影響梁興初要把十縱隊帶成一流部隊的決心。他是條越難越敢上、富于挑戰性格的硬漢。
10月1O日，第十縱隊在吉林省磐石縣召開了首次黨委擴大會議。會上，政委周赤萍傳達了中央軍委東北分會和東北民主聯軍總政治部關于成立縱隊黨委的訓示，研究部署了加強黨的組織與思想建設問題，作出了《關于建軍建黨若幹問題的決定》，選舉産生了中國共産黨東北民主聯軍第十縱隊委員會，呈報東北民主聯軍總政治部轉中央軍委東北分會準許。縱隊黨委由11人組成(其中候補委員2人)，周赤萍為書記，周赤萍、梁興初、劉型、黃一平為常委。
在這次會議上，梁興初作了長篇發言。他曆述了十縱隊各師的曆史，在談到東北解放戰争中的貢獻時說："三五九旅是最先進人東北的部隊之一，是解放哈爾濱、長春的主要力量。保衛四平之後，又在東安地區剿匪做出卓越貢獻，消滅了号稱'四大旗杆'的土匪——國民黨委任的十五集團軍上将司令謝文東、東北十五集團軍挺進軍中将總指揮張雨新(外号張黑子)、東北挺進軍上将司令李華堂、慣匪頭子孫永久，與兄弟部隊共同肅清了匪患，為建立鞏固的東北根據地，起到了重要作用。在三下江南、夏季攻勢中又做出了應有的貢獻。大台山戰鬥、蓮花街戰鬥，都打得很好……"
講到這裡，梁興初掃了眼會場，接着說道："當然，有的戰鬥因為主客觀原因沒有打好，主要責任在個别的指揮員，但是說三五九旅有'黃白黑'(指黃金、白銀、大煙土)，不能打仗，這是誣蔑。幾年來，我們是獨立師，對我們壓力也不小。現在，我們是十縱隊啦，雖然排在縱隊的後面，但終于擺脫了'二類部隊'。從現在起，我們要以戰鬥行動，糾正一些人的錯誤看法。"
梁興初端起了水杯，呷了一口，大聲說道："同志們，我的意見，把各師的小家底都交了，把'黃白黑'換成'紅白黑'，那就是——鮮紅的戰旗，雪亮的刺刀，堅硬的鋼鐵。在我們這些人手裡，發揚老紅軍部隊的光榮傳統，殺出威風來，打出個一流部隊來。"
梁興初是戰将，不善于言辭，但是今天特别激動，滔滔不絕地發言，既是他的就職演說，也是他當十縱隊司令的決心。铿锵有力的話語，講得大家心裡熱乎乎的。梁興初的話音一停，就有不少同志表态："梁司令，你說了我們想說而沒有說出來的話。""梁司令，從今天起，你就是我們心中的司令。""梁司令，就像你講的那樣，領着我們幹吧，把十縱隊帶成一支一流的部隊！"二十八師師長賀慶積坦誠地向梁興初說："司令員，我們都佩服你，信任你，你下指令吧，我們堅決聽你的。"
在組建十縱隊最初的日子裡，梁興初身為縱隊的司令員，為部隊編制的落實和裝備的配備，付出了大量的心血。他房間裡的燈光，每天都是徹夜通明，晚上清了的煙灰缸，到了早上又堆滿了煙蒂。梁興初這個時期雖然很忙，但心情是愉快的。他對這支部隊的未來充滿信心。
十縱隊組建不久，東北我軍即開始了強大的秋季攻勢。當時，縱隊的指揮機關尚不健全，三個師還分散在三個不同的地區活動，二十八師在沈陽外圍的鐵嶺、撫順等地，二十九師在吉林以北、以東地域，三十師在長春、吉林之間一帶。但梁興初認為，要把十縱帶成一支勁旅，就必須讓部隊多參加戰鬥，實戰中經受鍛煉，戰鬥力才能得到有效的提高。是以，當秋季攻勢一開始，梁興初就深入到三個師，指揮他們積極參加作戰。
為了保證兄弟部隊殲滅開原之敵，梁興初命二十八師于10月4日進至開原、鐵嶺間的趙家溝、楊家集一帶。次日淩晨5時，二十八師的八十二團攻占山頭堡車站，八十四團攻占中固車站以南的碉堡。上午9時，八十三團在炮火的支援下向中固車站守敵發起攻擊，殲其一部，餘敵逃走。之後，二十八師将中固至平頂堡之間的鐵路全部破壞，圓滿完成配合兄弟部隊的作戰任務。
16日，為保障第四縱隊向營盤之敵進攻，梁興初又令二十八師由柴河堡出發，行程120多裡，于當日半夜到達撫順外圍的下章黨。臨行前梁興初向賀慶積師長交待："你師務必殲滅下章黨之敵，然後準備打援，以保障第四縱隊向營盤之敵進攻。"
下章黨是撫順外圍的重要據點，敵"青年軍"二O七師派400餘人據守，并以火車站為防禦核心，利用周圍大建築構築隐蔽工事，在地下連接配接成交通網，每座工事四周又築有3至4個地堡，形成堅固的防禦體系。
二十八師于17日11時向下章黨發起攻擊，不到一個小時，便将下章黨外圍及街邊之敵殲滅。由于火車站的工事堅固，火力密集，幾次攻擊均未成功。至18日上午10時，撫順之敵派出兩個團，在裝甲車的掩護下來接應，下章黨火車站殘敵趁機逃脫。我全部占領下章黨之後，二十八師又阻擊增援營盤之敵，殲敵大部，俘敵100餘，繳山炮2門，擊落敵B-25型轟炸機一架。
與此同時，當時在吉林地區的二十九師，奉梁興初司令員的指令，派八十五團進至吉林與北吉林之間，切斷敵人的退路，然後由八十七團将大屯之敵包圍，經5個小時的戰鬥，全殲守敵"長白軍"第一團，斃傷俘敵團長以下900餘人。10月17日5時，由八十六團向烏拉街之敵發起猛攻，于15時全殲守敵800餘名。之後，又乘勝向吉林以東進攻，到28日将大屯至小豐滿一線的守敵全部肅清，共殲敵2000餘人，敵第二突擊隊少将總指揮項成信、副總指揮陳經緯、僞吉林省保安司令部參謀長等均被生俘。
10月19日，三十師根據縱隊的指令，冒大雨急行軍70餘公裡，将長春北面的德惠縣城突然包圍。20日，在炮火的掩護下突破防禦進城，展開激烈的巷戰，攻占敵指揮所，全殲守敵整編五十三師十八團及地方團隊，斃傷敵百餘，俘敵近千，繳輕重機槍56挺，步槍800餘，汽車8輛，戰馬120匹及大批軍用物資。受到總部傳令嘉獎。
9月下旬以來，新組建的第十縱隊參加秋季攻勢，各師都取得了很好的戰績，共殲敵3000餘人。梁興初向各師表示祝賀，并訓示他們要認真總結經驗教訓，為迎接新的戰鬥任務做好準備。