黃金榮出生貧寒，自幼不喜讀書，為了謀生到城隍廟裱畫店當學徒，當時的上海談魚龍混雜，各方勢力交彙于此，法國領事館為了加強租界内的安全，決定招收120為華人巡捕。黃金榮因為曾經當過捕快，便決定去碰運氣，沒想到成功進入巡捕房，成為了一名租界巡捕，此時的黃金榮已經32歲了。
進入巡捕房之後，黃金榮用混迹江湖時的黑吃黑，一碼克一碼的手法，收羅了一批“慣偷、慣盜、慣騙”分子給他提供各類情報，破獲了幾起答大案。同時，他還利用賊喊捉賊的手法，制造假象，提高自己的威信。沒過多久，黃金榮就成為了租界警務處唯一華人督察長。
有了權勢和地位，黃金榮聽從老婆林桂生的政策，開設青幫廣招門徒，成為上海灘一霸，是以得到了“流氓大亨”的稱号，而此時的杜月笙和張嘯林隻不過是，青幫裡面的小門徒而已。可以說，黃金榮能夠做到這一切，完全是因為，華人督察長這個職位帶給他的人脈關系。
1928年黃金榮舉辦60大壽的壽宴，上海灘名流政要，黑幫大佬全都出席，表面風光的背後，隻有黃金榮知道自己内心的苦楚。根據法國領事館的規定，到了60歲他就必須要退休回家，而接替他督察長職位的，正是他的死對頭沈德福，而非得意門生金九齡。
沈德福上任之後，對巡捕房上下展開大清洗，将青幫弟子全部辭退，黃金榮經營在租界内的産業，也開始受到影響。眼看自己三十多年積攢下的産業受到影響，黃金榮開始做出反擊。
黃金榮帶着自己手下，離開上海前往蘇州，謊稱散心。但其實他前往蘇州是為了找個人——太湖水上漂，當時江湖上有名的盜賊，黃金榮托關系把他從蘇州大牢救出，帶回了上海。
當然人不是白救的，回到上海之後，他給太湖水上漂安排了三個任務，偷法租界領事館，偷法租界總監，偷新上任督察長。任務安排下去之後，接下來的三天，整個上海灘炸開了鍋。沈德福被法國領事館痛罵，發誓要找到兇手。
過了沒幾天黃金榮報案說自己找到了嫌疑人，讓巡捕房過來拿人，巡捕房抓走黃金榮推出來的頂包人，由法租界總監親自審問。頂包犯人按照黃金榮的交代，回答說道：“我們是師徒兩人犯案，師傅說黃金榮退位了，新上任的督查是個草包，我才犯案的”。
沈德福當然不承認黃金榮送來的是案犯，但是當犯人拿出贓物之後，也隻能啞巴吃黃連，有苦說不出。最終被法租界巡捕房聘請為督查顧問，就此做起了他的“太上皇”。