在中國民間的鬼怪故事當中，地府有很多當差的人，比如說黑白無常，還有我們今天要說的牛頭馬面，雖然他們都是為地府工作，不過感覺牛頭馬面的影響力好像不如黑白無常大一些，人們對他們的影響也更多是停留在其長相上，那麼這對官差到底是什麼來曆呢？
其實這兩位也是有人物原型的。他們之間的關系還挺特殊，話說在隋朝年間，有一位吏部侍郎，他叫牛弘，一直以來都對朝廷忠心耿耿，而且在老百姓中間的口碑也不錯，吏部原本就是管理國家官員的地方，是以他的主要職責就是為朝廷選拔優秀的人才為官，所有想要當官的人都得先過他這一關，包括做什麼官職也由他們說了算，是以在隋朝時期，這個官職權力還是相當大的。當然在他頭上還有尚書，隻是人家那麼大的官，一般不會親自去挑人，是以這活兒就落在了他的身上。
有一天，他正在面試來的人員，結果一擡頭，這人的長相第一眼就先是吓到了他，低頭看過他的姓名，出生地之後，他便即興做了一首詩諷刺其長相。這首詩也短：嘗聞扶風馬，謂言天上下。今見扶風馬，得驢亦不假。其實扶風的馬家曆史上一直都出人才，比如說三國時期的馬鈞，就是我國古代非常出名的機械發明人，是以他們家在社會上非常有名望，結果今天這位也來自扶風，還姓馬，可是他這個長相可是跟“驢”一樣，實在難入人眼。牛敞沒忍住就感歎了一番。
下面的馬敞聽了這詩也知道是在嘲諷他，一生氣，也不管上面那是決定自己命運的人，便用隴西牛作詩回怼過去，隴西的牛也因為力氣大而出名，但是眼前的這個，卻隻會在地上吃草，一點力氣都沒有。雖然是同樣諷刺了一番，不過牛敞聽了卻沒有生氣，反而對這個人正眼看過來，不僅錄用了他，還給了個肥差讓他做。
從那之後，牛頭馬面的這個說法就慢慢在人們當中傳開，最早也确實是用來調侃長相的一句話，隻是後來，人們将這兩位的形象放在了地府當中，成為了閻王身邊的一對護法，這才有了之後的鬼怪形象。這也就是為什麼，同樣是鬼差，可是牛頭馬面卻更多的是被人調侃，而黑白無常說起來倒是令人生畏的原因。