在開國将軍中，如果是戰争努力，那麼戰争努力的時候是最大的，但如果是資曆，則屬于張雲義最老的。他早日加入同盟，參加過黃花崗岩起義和辛亥革命，資曆高，在開國元帥中達不到。農曆革命戰争時期，張雲義、鄧功率領百色起義，成立紅七軍，抗日戰争時期擔任新四軍參謀長、副司令員，解放戰争時期擔任華東軍區副司令員，為平津之戰、都江之戰的勝利作出了重要貢獻。
新中國成立後，張雲義來到廣西，擔任廣西省委書記、廣西省政府主席、廣西軍區司令員、政委委員。一人四這樣重要崗位，這在當時還是很少見的，足以看出上司對張雲義的重用。然而，僅僅兩年多後，張雲義辭去了在廣西的所有職務，隻在軍隊中任職。那麼，為什麼會發生這種情況呢？其中最重要的原因之一，就是廣西土匪當時勢力軟弱無力，受到上級的嚴厲批評。
新中國成立初期，許多地方都面臨嚴重的土匪威脅，其中廣西最為嚴重。廣西是桂系的巢穴，月桂系在這裡已經運作了幾十年，奠定了一定的基礎。廣西解放前夕，白崇熙不願失敗，一直計劃着有朝一日卷土重來。為此，他分散了數萬軍隊進山、6萬山、10萬山，讓這些人留下來依靠山和解放軍打遊擊隊。
同時，在逃離廣西前夕，白崇熙還派了一個專人到廣西的土匪招募武裝土匪，他任命的指揮員就像牛毛一樣。為了提高這些土匪的戰鬥力，白崇熙還故意讓他們和部隊一起出去打遊擊隊混戰。這折騰下來，廣西在各個土匪武裝中達到280多股，其中千餘人擁有75股。這些土匪到處都是，手段殘忍，公衆憤怒很大。
張雲義到廣西，土匪面臨的第一個任務。他與軍區副司令員李天佑一起指揮第38、39、45、49軍，對廣西的土匪進行全面清洗。經過數月的激烈戰鬥，消滅了4萬多名土匪，剩下的土匪逃進了山區和森林。就在土匪工作第一次取得成果的時候，北韓戰争爆發了，第38、39軍被部署到東北備戰，土匪的實力被削弱了。與此同時，老江和白崇熙也繼續派特工進入廣西，為土匪加油打氣。
很快，土匪們就一個接一個地走出了山，萬物的禍害都達到了頂點。全省102個縣，土匪蔓延到97個縣，幹部500餘人被殺，2800多萬磅糧食被洗劫一空。廣西土匪受的苦不堪，毛主席十分不滿，他嚴厲批判："廣西是全國土匪在一個省表現最差的，在上司方式上有嚴重缺陷，犯了寬大錯。"
當時，廣西确實存在土匪過寬的問題，比如殺害了200多名幹部和大土匪鐘祖培群衆，他被捕後隻是一種教育。其他一些被抓獲的匪徒也被勸告釋放。當時廣西軍區就這麼做了，是不想殺太多人，期望這些人在被收起來之後能夠洗淨自己的心靈和面子，重新人性化。但這些歹徒不是三個字就能情緒化，他們回去變得更嚴重的邪惡。這也是廣西軍區被毛主席批評犯"寬大處理"錯誤的原因。
不久之後，陳明仁的第21團奉命開進廣西，與廣西軍區一起與土匪聯手。對于那些犯有最令人發指罪的人來說，被抓往往是公開審判的槍擊，這對土匪來說是一個很大的威懾。經過近兩年的大規模推進，到1952年底，共有43萬名土匪被消滅，廣西的土匪處于和平狀态。不久之後，張雲義以"體弱多病"為由辭去了在廣西的職務，前往廣州休養。此後，張雲義隻在軍隊服役，不再負責具體工作，直到1974年去世。