在开国将军中，如果是战争努力，那么战争努力的时候是最大的，但如果是资历，则属于张云义最老的。他早日加入同盟，参加过黄花岗岩起义和辛亥革命，资历高，在开国元帅中达不到。农历革命战争时期，张云义、邓功率领百色起义，成立红七军，抗日战争时期担任新四军参谋长、副司令员，解放战争时期担任华东军区副司令员，为平津之战、都江之战的胜利作出了重要贡献。
新中国成立后，张云义来到广西，担任广西省委书记、广西省政府主席、广西军区司令员、政委委员。一人四这样重要岗位，这在当时还是很少见的，足以看出上司对张云义的重用。然而，仅仅两年多后，张云义辞去了在广西的所有职务，只在军队中任职。那么，为什么会发生这种情况呢？其中最重要的原因之一，就是广西土匪当时势力软弱无力，受到上级的严厉批评。
新中国成立初期，许多地方都面临严重的土匪威胁，其中广西最为严重。广西是桂系的巢穴，月桂系在这里已经运行了几十年，奠定了一定的基础。广西解放前夕，白崇熙不愿失败，一直计划着有朝一日卷土重来。为此，他分散了数万军队进山、6万山、10万山，让这些人留下来依靠山和解放军打游击队。
同时，在逃离广西前夕，白崇熙还派了一个专人到广西的土匪招募武装土匪，他任命的指挥员就像牛毛一样。为了提高这些土匪的战斗力，白崇熙还故意让他们和部队一起出去打游击队混战。这折腾下来，广西在各个土匪武装中达到280多股，其中千余人拥有75股。这些土匪到处都是，手段残忍，公众愤怒很大。
张云义到广西，土匪面临的第一个任务。他与军区副司令员李天佑一起指挥第38、39、45、49军，对广西的土匪进行全面清洗。经过数月的激烈战斗，消灭了4万多名土匪，剩下的土匪逃进了山区和森林。就在土匪工作第一次取得成果的时候，朝鲜战争爆发了，第38、39军被部署到东北备战，土匪的实力被削弱了。与此同时，老江和白崇熙也继续派特工进入广西，为土匪加油打气。
很快，土匪们就一个接一个地走出了山，万物的祸害都达到了顶点。全省102个县，土匪蔓延到97个县，干部500余人被杀，2800多万磅粮食被洗劫一空。广西土匪受的苦不堪，毛主席十分不满，他严厉批判："广西是全国土匪在一个省表现最差的，在领导方式上有严重缺陷，犯了宽大错。"
当时，广西确实存在土匪过宽的问题，比如杀害了200多名干部和大土匪钟祖培群众，他被捕后只是一种教育。其他一些被抓获的匪徒也被劝告释放。当时广西军区就这么做了，是不想杀太多人，期望这些人在被收起来之后能够洗净自己的心灵和面子，重新人性化。但这些歹徒不是三个字就能情绪化，他们回去变得更严重的邪恶。这也是广西军区被毛主席批评犯"宽大处理"错误的原因。
不久之后，陈明仁的第21团奉命开进广西，与广西军区一起与土匪联手。对于那些犯有最令人发指罪的人来说，被抓往往是公开审判的枪击，这对土匪来说是一个很大的威慑。经过近两年的大规模推进，到1952年底，共有43万名土匪被消灭，广西的土匪处于和平状态。不久之后，张云义以"体弱多病"为由辞去了在广西的职务，前往广州休养。此后，张云义只在军队服役，不再负责具体工作，直到1974年去世。