中國的男人們大抵最害怕自己戴上那"綠帽子"，說來有一段讓人饒有興趣的史話。關于綠帽子，民間說法即已有家室的女子出軌，多存在譏諷意味。那麼，"綠帽子"的說法早先是因何而來呢？
若論由來，有四種說法，第一種說法。"綠帽子"起源于元明兩朝，是由從事妓院歌坊等賤業的标志色演變而來。第二種說法。"綠帽子"的由來是從元朝開始的。從原來在妓院裡做工的男人戴綠頭巾演變成中國男人最怕的一頂帽子，那就是"綠帽子"還有一種說法，與第一種說法大同小異，隻是把戴着綠帽子的偷情信号，從妻子的頭上發出變成了由丈夫的頭上發出了。也就是說，隻要是看到丈夫戴着綠帽子外出，這便是可以幽會偷情的信号。
據傳，在明代初期，當朝皇帝朱元璋下令，凡是家中存有娼妓者，男性皆需頭戴綠色頭巾，腰系紅褡膊，自此，"綠帽子"就此傳開。娼妓在古時為青樓女子，作為已有家室的女性，依舊選擇賣淫為業，在當時難免少不了"偷漢子"的指責，而娼妓的丈夫們頭戴綠巾，由此，"綠帽子"取代了"偷漢子"，成為男性最覺恥辱的稱謂。
在民間廣泛傳播下，"綠帽子"流傳至今，顯然已經成為男性尊嚴的踐踏品，為不可觸碰的底線。在中國百姓心中，被戴綠帽是極為丢臉、恥辱的事情，如果，不幸經曆此類事件，多數男性甯願息事甯人亦不願醜聞傳出。盡管男性都害怕背上"綠帽"之名，但是，在古代有關"綠帽"的事例多不勝數。其實早在兩千多年前，古代文獻中已有"綠帽子"的記載。
明代時期，朱元璋賦予了"綠帽子"的特殊含義，進而流傳開來。秦漢時期，綠色是低賤身份的代表顔色。當時統治者便有規定，犯人着裝皆為特制的衣服，名為"赭衣"，顔色赤褐。此衣在秦朝時期發源，至漢朝時，赭衣已經成為犯法之人的代稱。
唐宋時期，綠色所代表的含義逐漸擴大，由單一的"犯法之人"擴大到"低賤人群"，即凡是身穿碧青綠衣服的百姓，皆可視為低賤下民。部分唐代地方府衙，在懲罰犯法之人時，不加以杖責，而是以綠色頭巾戴在犯人頭上，以示羞辱。這裡的羞辱指得是犯人戴上頭巾，就意味着身份低賤，并非配偶出軌。
元朝時期，對碧綠青諸色進行了限制，僅有"娼妓"、"樂人"可穿。《元典章》如此記載：娼妓需要穿皂衫，戴角巾兒，而娼妓的家屬及丈夫需要頭戴青巾。這一規定沿襲到明朝，朱元璋為此下诏，凡是娼妓家中的男子，必須以綠色頭巾出門，且腰間系上紅褡膊，腳上穿着有毛的豬皮鞋。走路時，禁止走在道路中間，隻能在兩旁偏路行走。
《封氏見聞錄》記載：延陵令李封在懲罰犯人時，不以棍杖責罰，而是以綠色頭巾懲戒，這裡的綠色即為下賤之意，作為羞辱。其實，在綠色真正代表通奸之意的時期應為元朝，據《元典章》記載：規定與娼妓有關的男性家眷，皆要以青色頭巾裹頭，而青色與綠色相似，故而，綠色得以流傳下來。