廖漢生從1957年擔任大軍區級正職以來，到1982年退居二線的25年中，先後在南京軍事學院、北京軍區、軍事科學院、南京軍區、沈陽軍區工作過。
在這25年中，他有7年時間是離崗狀态的，如果沒有宋時輪的幫忙，他或許賦閑時間更長。
1960年，廖漢生從南京軍事學院院長調任北京軍區擔任政委，工作7年後，一場史無前例的運動波及到他。
當時賀老總靠邊站，他作為跟随賀老總鬧革命二十多年的老部下，受到影響，被冷遇。在軍區黨委會上，他多次主動袒露自己的思想，對運動認識不夠了解、認真、不得力，并展開自我批評等。
随後，他被貼出一張大字報後，被鬧事的人帶走看押。一晃眼，5年半過去，突然被告知可以回北京，但行動上受到限制。
從1972年6月，他回到北京後，沒有固定住所，在海運倉招待所一直賦閑。1973年11月，已經賦閑一年半的他等待着被安排工作。
招待所除他之外，還有原成都軍區司令員黃新廷，原昆明軍區司令員秦基偉等人。他們都曾擔任過大軍區正職，工作不好安排。如果委屈一些擔任副職，很容易就安排妥當了。
黃新廷因為一直沒有合适的職務，等待3年才被安排擔任裝甲兵司令員。他相對來說比較幸運，老戰友軍事科學院院長宋時輪找到他，他向宋時輪袒露自己想工作的想法，宋時輪問他願不願意到軍事科學院工作。
當時軍事科學院政委王新亭，第一政委是粟裕，第二政委是王樹聲。當時軍事科學院幾位政委身體都不太好，缺一個身體硬朗，能主持軍科院日常工作的人。
這對于廖漢生來說太好不過了，對他來說隻要有工作幹就行。
就這樣，廖漢生到軍事科學院工作，解決工作問題。後來被調任南京軍區、沈陽軍區。1982年多次主動申請離休，得到準許。