新中国成立后，杨尚坤担任中共中央公职室主任，协助周总理处理军委的一些事务，并担任军委副主席。
在他任职期间，杨尚坤从来不在乎名利或损失，在他心里只要脚踏实地，做好自己的工作，所以他从没想过自己会为什么而奋斗，自从成为中央办公厅主任以来，杨尚坤在这份工作上默默耕耘了20年。
杨尚坤深受毛主席的影响，但提出离职
自从在中办工作以来，杨尚坤一直处于精神紧张的状态，从不敢放慢脚步，在他眼中，中办的工作非常重要，就像一副麻将牌在手里，一旦出现失误就会丢失。
其实，在延安早期杨尚坤就已经被公认为"大管家"，经常做一些交易性的工作，比如盘点账本、资料，当杨尚坤的勤勉尽责之时，日投降结束后，中央政府决定向北发展，然后中央办公厅主任李富春自然而然地离开延安到热河里干活， 和办公室中央办公室的自然空位。
杨尚坤在得到毛主席建议的许可后，直接接手了李富春的工作，开始迎接新的挑战。随着中央的搬迁，留下了很多重要信息，经过杨尚坤日夜遴选，哪些文件无法带走高达数万件，几十箱信息既然无法带走，就会被销毁。
一旦销毁过程中出现遗漏，后果是不可想象的。所以对于当时的新杨尚坤无疑是处于一种精神紧张的状态，他一个筛选破坏，不敢有一丝懈怠。
除了证件，还有人员需要调走，不管是女性，无论男女老少，杨尚坤都负责指挥到底。看来从那以后，杨尚坤的身体已经承担起了沉重的负担，即使在新中国成立之后，他要处理的事情还是非常重要和复杂的。
当时，有人认为杨尚坤的能力已经非常突出，应该去更高的岗位发展，而在毛主席如此重要的工作中，没有人能比杨尚坤更好，所以在毛主席眼中，杨尚坤非常有经验，他总是坚持杨尚坤工作。
杨尚坤在这份工作上一如既往地坚持了20年，在这20年里他没有犯过任何错误，从38岁到58岁，可以说杨尚坤把自己最有活力的时间投入到了工作中。
现年58岁的他，身体不如以前，可以说是无能为力，总有很多不情愿，但为了不影响以后的工作，当时的杨尚坤向毛主席提出辞职请求。
如果别人提出这样的要求，毛主席一定会同意，但考虑到杨尚坤是多年的优秀党员，他不愿意让杨尚坤离开，当被问到："你不想在这个位置上工作，你有合适的人选吗？"
杨尚坤也没有直接出卖关子，他直言不讳地说："主席，我觉得胡乔木同志比较好，他适合这个职位。"
听到杨尚坤这样说，毛主席也哽咽了，胡乔木在毛主席身边这么多年，他自然理解了胡乔木，所以毛主席拒绝了"胡乔木不合适，也不合适"，杨尚坤会推荐胡乔木，主要是因为胡乔木在毛主席身边担任书记多年， 也致力于工作。
而自从遇见胡乔木后，在杨尚坤的指导下也学会了处理文件，而且做得越来越好，这就是杨尚坤推荐胡巧木的原因。但在胡乔木的心里，他也觉得自己的能力不够，不适合胜任，杨尚坤提出不要推荐自己。
20世纪90年代初，杨尚坤响应邓小平废除领导干部终身制的号召，完全辞去了国家领导人的职务。
杨尚坤为党和国家奉献了自己的一生，直到他92岁高龄，杨尚坤因病去世，成为人们永远怀念的民族革命领袖！