1947年8月，根据中央军委的方针，为配合全国战略反攻的需要，决定成立东北民主联军第十纵队。梁兴初奉命来到东联总部所在地——哈尔滨。
梁兴初从林彪、罗荣恒住处回到招待所，就抄起电话，找刘亚楼说道："刘参谋长，向你报到！"
刘亚楼说："向我报什么到？快去见101(林彪),102(罗荣桓)。"
梁兴初说："已经见了。我找你是要饭吃的。"
刘亚楼问："怎么，还没吃早饭？怎么搞的。"
梁兴初不满道："早饭是吃了，可我不是匹马，怎么只喂豆子？"
"好你个梁大牙，好大的胆子！吃豆子就是喂马？你知道你骂的是谁吗？"刘亚楼在电话里哈哈大笑起来，"别拐弯抹角了，有什么事直说吧。"
梁兴初也觉得这话说得不地道，林总最喜欢吃炒黄豆，他也是知道的。于是忙放缓口气说："你可别瞎汇报哇！我只是想找你借点钱花。"
刘亚楼说："借钱找黄司令，他管后勤，找我干什么？"
梁兴初说："就借1万块(东北流通券，后来币制改革时，一万元兑换人民币1元)，值不得找黄司令，找你就行。"
刘亚楼笑道："我以为你要多少呢？行，你叫警卫员到我这儿来吧。"
刘亚楼参谋长给了两万块钱。梁兴初又逛了趟松花江商场。
1947年8月18日东联总部下达了令字第26号命令：
"着以独立第一师、独立第三师、东满独立师编成野战军第十纵队，下辖二十八师(独立一师)、二十九师(独立三师)、三十师(东满独立师)，并以独一师在勃利的后方机关及东满吉敦军分区直属机关作为编成纵队直属机关之基础。"
"任命梁兴初为第十纵队司令员；周赤萍为政治委员；刘型为副政治委员兼政治部主任；王励为纵队供给部长；周吉安为纵队卫生部长。"
落款为林彪、彭真、罗荣桓、高岗、陈云、李富春。
后面还有一系列命令，任命黄伟华为第十纵队参谋长；黄一平为第十纵队第二参谋长；贺庆积为二十八师师长、晏福生为政治委员；刘传连为二十九师代理师长、卓雄为政治委员；方强为三十师师长、孔石泉为政治委员。还有一大批副师长、师的副政委、师参谋长、主任的命令。
梁兴初接到命令，就他的性格来说，应该立即上任，到职视事，可是这次却有点不一样。主要情况有三：
第一，他来六纵队任副司令兼十六师师长才3个月，屁股还没坐热，又要走了。平心而论，在十六师有什么建树呢？夏季攻势打得不错，可是整个东北战场上进入了"大反攻"，在全军都战绩辉煌面前，显不出来。虽然在莲花街，一纵队二师、独二师受了批评，十六师消灭了敌人一个团，受了表扬，但与担任一纵队副司令兼一师师长时的秀水河子、大洼、金山堡、新站、拉法、张麻子沟、郭家屯等歼灭战相比，真是小巫见大巫。所以他离开一纵队时，没有这种底气不足的感觉。
第二，十纵队在哪里？说在敦化，那里却没有十纵队的一兵一卒。三个师，一个在中长路东侧的四平到沈阳间，一个在吉林以北，一个在长春西北。现在的十纵队，还在纸上，大有"无家"之感。
第三，十纵队这副担子确实不好挑哇！三五九旅虽说是支老部队，他清楚地记得，在火石岭子挨过批，林彪说过，打不好仗，就降级，降为独立师。现在还是独立师。《东北三年解放战争军事资料》这样评述："……其部队历史应列入东北各部队中主力师，但战斗力还不如一般部队……缺乏朝气，保守性大，进步慢，战斗作风被动……"罗政委讲得明白，"要把这支部队带成能打硬仗、恶仗的一流部队"。完成这个艰巨的任务，还有令他担心的原因：3个师长都是老资格。刘传连在红军时，曾是有名的"模范师长"，红军改编为八路军，就是三五九旅七一七团团长，晏福生是政治委员，那时梁兴初才是六八五团的营长。方强的资格更老，长征中就是军、师级干部，西安事变后，任八路军驻西安办事处主任。那个时候，梁兴初还是营连干部，虽然1941年当过教五旅旅长，但1943年取消旅又降为军分区司令兼十三团团长。
尽管有上述考虑，但丝毫不影响梁兴初要把十纵队带成一流部队的决心。他是条越难越敢上、富于挑战性格的硬汉。
10月1O日，第十纵队在吉林省磐石县召开了首次党委扩大会议。会上，政委周赤萍传达了中央军委东北分会和东北民主联军总政治部关于成立纵队党委的指示，研究部署了加强党的组织与思想建设问题，作出了《关于建军建党若干问题的决定》，选举产生了中国共产党东北民主联军第十纵队委员会，呈报东北民主联军总政治部转中央军委东北分会批准。纵队党委由11人组成(其中候补委员2人)，周赤萍为书记，周赤萍、梁兴初、刘型、黄一平为常委。
在这次会议上，梁兴初作了长篇发言。他历述了十纵队各师的历史，在谈到东北解放战争中的贡献时说："三五九旅是最先进人东北的部队之一，是解放哈尔滨、长春的主要力量。保卫四平之后，又在东安地区剿匪做出卓越贡献，消灭了号称'四大旗杆'的土匪——国民党委任的十五集团军上将司令谢文东、东北十五集团军挺进军中将总指挥张雨新(外号张黑子)、东北挺进军上将司令李华堂、惯匪头子孙永久，与兄弟部队共同肃清了匪患，为建立巩固的东北根据地，起到了重要作用。在三下江南、夏季攻势中又做出了应有的贡献。大台山战斗、莲花街战斗，都打得很好……"
讲到这里，梁兴初扫了眼会场，接着说道："当然，有的战斗因为主客观原因没有打好，主要责任在个别的指挥员，但是说三五九旅有'黄白黑'(指黄金、白银、大烟土)，不能打仗，这是诬蔑。几年来，我们是独立师，对我们压力也不小。现在，我们是十纵队啦，虽然排在纵队的后面，但终于摆脱了'二类部队'。从现在起，我们要以战斗行动，纠正一些人的错误看法。"
梁兴初端起了水杯，呷了一口，大声说道："同志们，我的意见，把各师的小家底都交了，把'黄白黑'换成'红白黑'，那就是——鲜红的战旗，雪亮的刺刀，坚硬的钢铁。在我们这些人手里，发扬老红军部队的光荣传统，杀出威风来，打出个一流部队来。"
梁兴初是战将，不善于言辞，但是今天特别激动，滔滔不绝地发言，既是他的就职演说，也是他当十纵队司令的决心。铿锵有力的话语，讲得大家心里热乎乎的。梁兴初的话音一停，就有不少同志表态："梁司令，你说了我们想说而没有说出来的话。""梁司令，从今天起，你就是我们心中的司令。""梁司令，就像你讲的那样，领着我们干吧，把十纵队带成一支一流的部队！"二十八师师长贺庆积坦诚地向梁兴初说："司令员，我们都佩服你，信任你，你下命令吧，我们坚决听你的。"
在组建十纵队最初的日子里，梁兴初身为纵队的司令员，为部队编制的落实和装备的配备，付出了大量的心血。他房间里的灯光，每天都是彻夜通明，晚上清了的烟灰缸，到了早上又堆满了烟蒂。梁兴初这个时期虽然很忙，但心情是愉快的。他对这支部队的未来充满信心。
十纵队组建不久，东北我军即开始了强大的秋季攻势。当时，纵队的指挥机关尚不健全，三个师还分散在三个不同的地区活动，二十八师在沈阳外围的铁岭、抚顺等地，二十九师在吉林以北、以东地域，三十师在长春、吉林之间一带。但梁兴初认为，要把十纵带成一支劲旅，就必须让部队多参加战斗，实战中经受锻炼，战斗力才能得到有效的提高。因此，当秋季攻势一开始，梁兴初就深入到三个师，指挥他们积极参加作战。
为了保证兄弟部队歼灭开原之敌，梁兴初命二十八师于10月4日进至开原、铁岭间的赵家沟、杨家集一带。次日凌晨5时，二十八师的八十二团攻占山头堡车站，八十四团攻占中固车站以南的碉堡。上午9时，八十三团在炮火的支援下向中固车站守敌发起攻击，歼其一部，余敌逃走。之后，二十八师将中固至平顶堡之间的铁路全部破坏，圆满完成配合兄弟部队的作战任务。
16日，为保障第四纵队向营盘之敌进攻，梁兴初又令二十八师由柴河堡出发，行程120多里，于当日半夜到达抚顺外围的下章党。临行前梁兴初向贺庆积师长交待："你师务必歼灭下章党之敌，然后准备打援，以保障第四纵队向营盘之敌进攻。"
下章党是抚顺外围的重要据点，敌"青年军"二O七师派400余人据守，并以火车站为防御核心，利用周围大建筑构筑隐蔽工事，在地下连接成交通网，每座工事四周又筑有3至4个地堡，形成坚固的防御体系。
二十八师于17日11时向下章党发起攻击，不到一个小时，便将下章党外围及街边之敌歼灭。由于火车站的工事坚固，火力密集，几次攻击均未成功。至18日上午10时，抚顺之敌派出两个团，在装甲车的掩护下来接应，下章党火车站残敌趁机逃脱。我全部占领下章党之后，二十八师又阻击增援营盘之敌，歼敌大部，俘敌100余，缴山炮2门，击落敌B-25型轰炸机一架。
与此同时，当时在吉林地区的二十九师，奉梁兴初司令员的命令，派八十五团进至吉林与北吉林之间，切断敌人的退路，然后由八十七团将大屯之敌包围，经5个小时的战斗，全歼守敌"长白军"第一团，毙伤俘敌团长以下900余人。10月17日5时，由八十六团向乌拉街之敌发起猛攻，于15时全歼守敌800余名。之后，又乘胜向吉林以东进攻，到28日将大屯至小丰满一线的守敌全部肃清，共歼敌2000余人，敌第二突击队少将总指挥项成信、副总指挥陈经纬、伪吉林省保安司令部参谋长等均被生俘。
10月19日，三十师根据纵队的命令，冒大雨急行军70余公里，将长春北面的德惠县城突然包围。20日，在炮火的掩护下突破防御进城，展开激烈的巷战，攻占敌指挥所，全歼守敌整编五十三师十八团及地方团队，毙伤敌百余，俘敌近千，缴轻重机枪56挺，步枪800余，汽车8辆，战马120匹及大批军用物资。受到总部传令嘉奖。
9月下旬以来，新组建的第十纵队参加秋季攻势，各师都取得了很好的战绩，共歼敌3000余人。梁兴初向各师表示祝贺，并指示他们要认真总结经验教训，为迎接新的战斗任务做好准备。