新中國成立後，楊尚坤擔任中共中央公職室主任，協助周總理處理軍委的一些事務，并擔任軍委副主席。
在他任職期間，楊尚坤從來不在乎名利或損失，在他心裡隻要腳踏實地，做好自己的工作，是以他從沒想過自己會為什麼而奮鬥，自從成為中央辦公廳主任以來，楊尚坤在這份工作上默默耕耘了20年。
楊尚坤深受毛主席的影響，但提出離職
自從在中辦工作以來，楊尚坤一直處于精神緊張的狀态，從不敢放慢腳步，在他眼中，中辦的工作非常重要，就像一副麻将牌在手裡，一旦出現失誤就會丢失。
其實，在延安早期楊尚坤就已經被公認為"大管家"，經常做一些交易性的工作，比如盤點賬本、資料，當楊尚坤的勤勉盡責之時，日投降結束後，中央政府決定向北發展，然後中央辦公廳主任李富春自然而然地離開延安到熱河裡幹活， 和辦公室中央辦公室的自然空位。
楊尚坤在得到毛主席建議的許可後，直接接手了李富春的工作，開始迎接新的挑戰。随着中央的搬遷，留下了很多重要資訊，經過楊尚坤日夜遴選，哪些檔案無法帶走高達數萬件，幾十箱資訊既然無法帶走，就會被銷毀。
一旦銷毀過程中出現遺漏，後果是不可想象的。是以對于當時的新楊尚坤無疑是處于一種精神緊張的狀态，他一個篩選破壞，不敢有一絲懈怠。
除了證件，還有人員需要調走，不管是女性，無論男女老少，楊尚坤都負責指揮到底。看來從那以後，楊尚坤的身體已經承擔起了沉重的負擔，即使在新中國成立之後，他要處理的事情還是非常重要和複雜的。
當時，有人認為楊尚坤的能力已經非常突出，應該去更高的崗位發展，而在毛主席如此重要的工作中，沒有人能比楊尚坤更好，是以在毛主席眼中，楊尚坤非常有經驗，他總是堅持楊尚坤工作。
楊尚坤在這份工作上一如既往地堅持了20年，在這20年裡他沒有犯過任何錯誤，從38歲到58歲，可以說楊尚坤把自己最有活力的時間投入到了工作中。
現年58歲的他，身體不如以前，可以說是無能為力，總有很多不情願，但為了不影響以後的工作，當時的楊尚坤向毛主席提出辭職請求。
如果别人提出這樣的要求，毛主席一定會同意，但考慮到楊尚坤是多年的優秀黨員，他不願意讓楊尚坤離開，當被問到："你不想在這個位置上工作，你有合适的人選嗎？"
楊尚坤也沒有直接出賣關子，他直言不諱地說："主席，我覺得胡喬木同志比較好，他适合這個職位。"
聽到楊尚坤這樣說，毛主席也哽咽了，胡喬木在毛主席身邊這麼多年，他自然了解了胡喬木，是以毛主席拒絕了"胡喬木不合适，也不合适"，楊尚坤會推薦胡喬木，主要是因為胡喬木在毛主席身邊擔任書記多年， 也緻力于工作。
而自從遇見胡喬木後，在楊尚坤的指導下也學會了處理檔案，而且做得越來越好，這就是楊尚坤推薦胡巧木的原因。但在胡喬木的心裡，他也覺得自己的能力不夠，不适合勝任，楊尚坤提出不要推薦自己。
20世紀90年代初，楊尚坤響應鄧小平廢除上司幹部終身制的号召，完全辭去了國家上司人的職務。
楊尚坤為黨和國家奉獻了自己的一生，直到他92歲高齡，楊尚坤因病去世，成為人們永遠懷念的民族革命領袖！