在康熙一朝，有兩個廉吏最為有名，一是于成龍，二是張伯行。于成龍被稱為“天下第一廉吏”，而張伯行卻被譽為“天下第一清官”。
張伯行，順治八年（1651）出生于河南儀封（今蘭考）。他自幼聰明好學，十三歲時就通讀四書五經，康熙二十年（1681），張伯行考中舉人。四年後，中殿試三甲八十名，賜同進士出身。康熙三十一年（1692），授内閣中書，從此步入仕途。
康熙三十八年(1699)六月，儀封城北的大堤因遭洪水沖垮，張伯行招募民工用口袋裝土填堵。河道總督張鵬翮巡視黃河後，上疏推薦張伯行治理河務，康熙命他以原官銜督修黃河南岸二百餘裡。
康熙四十二年（1703），張伯行因治理黃河有功，授任山東濟甯道。當時正值災荒，他到任後立即開倉赈濟。為此，山東布政使責備他獨斷專行，要上疏彈劾他，張伯行認為“倉谷為輕，民命為重”，據理力争，最後布政使隻好放棄了彈劾。
康熙四十五年（1706），康熙南巡時，賜予張伯行“布澤安流”的匾額以示嘉獎。不久，張伯行升任江蘇按察使。按照官場舊制，新任的官員照例要給巡撫、總督等上司送禮，以示尊敬。
然張伯行不僅嫉惡如仇，從不與貪官污吏為伍，而且敢于抵制上司的橫很暴斂。正因為如此，張伯行受到了以總督噶禮一夥人的嫉恨和排擠。第二年正月，康熙帝南巡到達江蘇，谕令總督和巡撫舉薦賢能的官員。
但是，在舉薦的名單中竟無一人推薦張伯行，康熙帝沒有看到張伯行的名字，就對總督、巡撫申斥道：“朕聽說張伯行居官清廉，是個難得的棟梁之才，你們卻不舉薦！”說完又轉向張伯行：“朕很了解你，他們不舉薦你，朕舉薦你，将來你要居官而善，做出些政績來，天下人就會知道朕是名君，善識英才；如貪贓枉法，天下人便會笑朕不識善惡。”
康熙當場就破格提拔張伯行為福建巡撫，，并賜予“廉惠宣猷”的匾額。在福建巡撫任上，張伯行上疏強求免去台灣、鳳山、諸羅三縣因災荒而欠交的賦稅。他建鳌峰書院，拿出自己的藏書，搜羅前代文人的文集刊印成《正誼堂叢書》，用來教育學生。他抑惡揚善，造福百姓，使得全省風氣大變，官清國樂。
康熙四十八年（1709），張伯行調任江蘇巡撫。适逢布政使宜思恭因虧空被總督噶禮彈劾罷免，康熙派尚書張鵬翮查處，張伯行行文噶禮要求聯名上疏，被拒絕。不久，張伯行以身體多病為由提出辭官，康熙沒有允許。
康熙五十年（1711），江蘇鄉試發生舞弊案，副主考趙晉内外勾結串通，大肆舞弊，發榜時，蘇州士子大嘩。
康熙命張伯行、噶禮通戶部尚書張鵬翮、安徽巡撫梁世勳會審此案。由于牽涉噶禮受賄五十萬兩，噶禮心中不安，他便找出張伯行的所謂七條罪狀上奏康熙，康熙帝命二人都解職，後幾次改派官員審理，竟然得出噶禮暗中受賄事屬誣告，張伯行應于撤職的結論。
但康熙帝堅信張伯行為官清正廉潔，于是奪去噶禮的官位，命張伯行複職。
康熙五十四年（1715），有人以“狂妄自矜”的罪名彈劾張伯行，但康熙帝還是認為他無罪可治，将他調到京城，留任南書房行走。不久，張伯行到南書房任職并兼任倉場侍郎，充當順天府鄉試正考官。
康熙五十九年（1720），張伯行授為戶部侍郎，又充當會試副考官。康熙六十一年（1722），張伯行奉旨赴千叟宴，康熙稱贊他是“真能以百姓為心者”，并賜予“天下第一清官”匾額。
雍正元年（1723），張伯行提升為禮部尚書，雍正帝賜他“禮樂名臣”的匾額。雍正三年（1725）二月十六日，張伯行病逝，享年七十五歲。