胡楓原名胡繼修，1932年1月18日出生在廣州西關柔濟醫院，他的祖屋在如今的西關和平中路，他的爺爺是著名的古董商，生意遍布廣州、香港、上海等各大城市。當年胡楓的媽媽懷着他的時候是在香港，而胡楓的爺爺不想自己的孫子出生在殖民地，于是胡楓的媽媽便回到了廣州待産。
胡楓小時候生活在廣州和香港兩地，直至1941年，香港淪陷，于是胡楓隻能一直留在廣州生活，直至抗日戰争結束。
後來内戰爆發，胡楓的爺爺把所有産業都轉移到了香港，從此胡楓也随之一直定居在香港。到了香港後的胡楓也一直過着闊少爺般的富人生活。
出生在古董商之家的胡楓從來都對古董沒什麼興趣，然而卻從小就對表演有着濃厚的興趣，然而他的家人卻一直都看不起演戲這項職業。1953年，21歲的胡楓背着家人偷偷報考大成電影公司，結果被選上了，從此胡楓便開展了他的演藝人生。同年，還主演了他人生當中的首部電影《男人心》，與他搭檔的更是當年大名鼎鼎的“花旦王”方豔芬。
剛出道的胡楓便成為了大成電影公司的力捧新人，與他搭檔的基本上都是當時的巨星，除了“花旦王”方豔芬之外，與他合作的包括任劍輝、白雪仙、鄭碧影、新馬師曾、梁醒波等等當時都可以稱得上為超級巨星，而當時隻有十幾歲的少年李小龍也曾與胡楓多次過合作。
在胡楓事業處于上升期的時候，他在一個酒會當中認識了當時還是演員的呂詠荷，兩人一見鐘情，很快便走在一起，到了1957年，兩人步入了婚姻殿堂。由于公司規定胡楓必須隐瞞感情生活，是以胡楓一直都隻能委屈了他的太太，而呂詠荷自從和胡楓結婚後便退出了影視圈。
在六十年代初，随着電懋、邵氏等南洋背景的電影公司的全面崛起，以國語演員為班底的長城電影和以粵劇演員為班底的大成電影都相繼沒落，胡楓在演藝圈的地位也大不如前，之後胡楓便以飾演配角為主。
1964年之後，胡楓在電影方面出現了明顯的減産。到了七十年代中期，胡楓加盟麗的電視，從此他便把工作重心轉移到了熒幕上。到了八十年代後期，胡楓轉投TVB。
從大銀幕再到小熒幕，從昔日的當紅小生到後來演慈父、師傅或善良前輩為主的配角，曆經高低起伏的胡楓本身就是一冊精彩紛呈的光影史記。然而無論演藝事業是如何的變幻，生活上的胡楓卻一直過得潇潇灑灑。
胡楓曾評價自己說：“我的人生實在是十分幸運的，從出世到現在幾十歲的人都沒遇過什麼太大的煩惱，也從來未試過為生活憂愁。”從小生演到中生，到老生，胡楓一直都沒有受到過太大冷落，實在非常難得。
胡楓熱愛跳舞，而且舞藝高超，年輕時候就有“舞王修”之稱。他生性樂觀、灑脫，為人正直、親切，好交友，喜歡熱鬧。是以他在娛樂圈的人緣一直都很好。除了擁有謝賢、曾江、羅蘭等一大批同輩好友之外，包括黎明、張學友、林憶蓮等在内的衆多後輩都是他幹兒子幹女兒。
與妻子結婚多年，胡楓和妻子一直都是模範夫妻，胡楓說：“我脾氣又好，她的脾氣又好，我們幾十年來從來沒有吵過一次架。”胡楓一共有五個子女，而且還有衆多孫孫塞塞，盡管他的子孫長大成人後都各奔東西，但是整個大家庭一直都相親相愛、和和睦睦。
2016年，從戀愛開始陪伴胡楓六十多年的太太呂詠荷病逝。他的太太在臨别之前也表示自己十分安樂，沒有任何未了的心願。
自從太太去世後，胡楓也沒有過分的傷感，他一直都頻繁地活躍在各種社交場合和影、視、舞台當中。2018年2月10日，胡楓在香港紅館舉辦《86破曬紀錄演唱會》，成為在紅館開演唱會最老的藝人。
今年他還将繼續在紅館舉辦演唱會，本來這場演唱會他去年就打算舉辦的了，連演唱會名稱都定好為《胡楓88開心派對演唱會》，隻是後來因為疫情而取消了。
近年來，胡楓和羅蘭經常出雙入對，行為十分親密。有傳他和羅蘭正在開展一段黃昏之戀，也有網友說兩人多年來都隻不過是兄妹關系。關于這些傳聞胡楓和羅蘭一直都沒有回應，他們兩人都已經是快九十歲的人了，根本就不在乎外界的各種傳聞。