1974年初，王将軍漸感身體不适。11月份大吐血，醫生檢查後，一打開腹腔，發現是胃癌。
将軍的原配夫人韓岫岩聽到了王将軍患癌症的消息後，臉“唰”地白了。她的弟弟号稱“一把刀”，是外科主任，她想如果讓弟弟親自主刀，或許可以挽救王将軍的性命。
可是,當韓岫岩買了補品想去趟南京看望王将軍時。将軍的警衛員很不客氣地拒絕了,說:"王将軍他說過不願再見到你，你别來了。”
韓蚰岩木然撂下了電話，無語凝咽。
1978年4月下旬，王将軍病情惡化。病危時，将軍什麼都不問，隻是問家人：“張立三還沒有來嗎？他在哪？我一定要見他一面。”
張立三是王将軍的老部下、老戰友。兩人從紅軍時期就在一起工作。同生死，共患難。
王将軍當團長時，張立三在團衛生隊當隊長；王将軍擔任6縱司令員和12軍軍長時，張立三擔任6縱衛生處長、12軍衛生部長。
二十年的軍旅生涯，王近山和張立三一直在一起。在戰鬥中，彼此救過對方的命。有時王近山發火，身無人勸得住他。唯一的辦法，就是趕快去請張立三過來。張立三來了，不用開口，王近山立刻就平靜下來，火氣漸消。
1978年4月底，王近山進入了病危時刻。他自知已無生的希望，即将離開人世，于是不停地問家人：“張立三還沒有來嗎？他怎麼還沒來？我一定要見他一面。”
張立三得知老上司的情況後，匆匆忙忙趕到了醫院，兩人一見面，緊握雙手，眼淚奪眶而出。雖然張立三是經驗豐富的醫生，知道重病人不宜過分激動，但兩人誰也不能抑制住戰友的深情。
沉默了好久，為了緩解一下沉悶難受的氣氛，張立三忘記了自己是病房，掏出香煙。
張立三掏出香煙正要點火，王近山看到後，以微弱的聲音說道：“你不要吸煙了。”
王近山是不吸煙的，張立三卻一直抽得很厲害。以前，王近山多次勸他戒煙，張立三卻都沒有戒成。
“你不要吸煙了。”張立三聽了這6個字後十分激動。他說：“今天我就當着你的面把煙戒掉。”說罷當場就将香煙、打火機扔了！
病危的王近山終于見到了張立三，似乎心願已了，當夜就陷入了深深的昏迷之中。
兩天後，1978年5月10日，王近山因病醫治無效在南京逝世，享年63歲。
張立三到了晚年時期，還時常對人念叨着說： “近山勇敢、果斷、聰明，打起仗來充分顯露出他的才幹!沒人不佩服。六縱(12軍)這支英雄部隊，就是他帶着打出來的!”