在清朝历史上，“四朝元老”为数并不多，潘世恩算是其中的典型，说他是清朝300年来运气最好的宰相一点都不为过，潘世恩活了足足86岁，他为官五十余年，历事乾隆、嘉庆、道光、咸丰四朝。潘世恩为官正直，外柔内刚，他先后任体仁阁大学士、军机大臣、东阁大学士、武英殿大学士等职。
潘世恩，乾隆三十四年（1770年）出生于江苏吴县，他自幼聪颖好学，十六岁应童子试中举，后就读于紫阳书院。乾隆五十八年（公元1793年）潘世恩状元及第，授修撰。对于这位新科状元，不仅乾隆帝对他很看好，当朝第一权臣和珅也想把他拉拢到自己的身边，纳为自己的党羽。然而，潘世恩年纪虽轻，但为人老成，就是不肯上和珅的贼船。潘世恩以后历礼部、兵部、户部、吏部侍郎，督云南、浙江、江西学政。
嘉庆四年，潘世恩被擢升为内阁学士，后历任礼部、兵部、户部侍郎。嘉庆十二年，潘世恩充续办《四库全书》总裁、文颖馆总裁。次年任翰林院掌院学士。道光四年（1824年），潘世恩因父亲病逝，归乡丁忧。道光七年（1827年），署工部侍郎，后任吏部左侍郎，充国史馆副总裁、左都御史。
潘世恩是个宰相，但每次遇到事情时，却表现得像个局外人，从来不发表自己的意见。鸦片战争时，穆彰阿主张与英人求和，潘世恩心里认为不对，却不敢公开表示反对。就连后来举荐林则徐，也是在咸丰罢斥穆彰阿之后才敢上奏的。也就是说，潘世恩当官，奉行的原则就是做得少错得少，但凡是有一丝风险的事情，潘世恩宁可闭上嘴巴，选择不发表见解来保全自己。
咸丰帝即位以后，潘世恩屡次乞休，最终以大学士官位职衔退休。咸丰帝下诏求贤时，潘世恩以八十岁高龄保荐林则徐。姚莹等人。咸丰三年，帝亲书“琼林人瑞”匾额相赠。次年潘世恩在京逝世，享年八十六岁，谥号“文恭”入祀贤良祠。