在中国民间的鬼怪故事当中，地府有很多当差的人，比如说黑白无常，还有我们今天要说的牛头马面，虽然他们都是为地府工作，不过感觉牛头马面的影响力好像不如黑白无常大一些，人们对他们的影响也更多是停留在其长相上，那么这对官差到底是什么来历呢？
其实这两位也是有人物原型的。他们之间的关系还挺特殊，话说在隋朝年间，有一位吏部侍郎，他叫牛弘，一直以来都对朝廷忠心耿耿，而且在老百姓中间的口碑也不错，吏部原本就是管理国家官员的地方，所以他的主要职责就是为朝廷选拔优秀的人才为官，所有想要当官的人都得先过他这一关，包括做什么官职也由他们说了算，所以在隋朝时期，这个官职权力还是相当大的。当然在他头上还有尚书，只是人家那么大的官，一般不会亲自去挑人，所以这活儿就落在了他的身上。
有一天，他正在面试来的人员，结果一抬头，这人的长相第一眼就先是吓到了他，低头看过他的姓名，出生地之后，他便即兴做了一首诗讽刺其长相。这首诗也短：尝闻扶风马，谓言天上下。今见扶风马，得驴亦不假。其实扶风的马家历史上一直都出人才，比如说三国时期的马钧，就是我国古代非常出名的机械发明人，所以他们家在社会上非常有名望，结果今天这位也来自扶风，还姓马，可是他这个长相可是跟“驴”一样，实在难入人眼。牛敞没忍住就感叹了一番。
下面的马敞听了这诗也知道是在嘲讽他，一生气，也不管上面那是决定自己命运的人，便用陇西牛作诗回怼过去，陇西的牛也因为力气大而出名，但是眼前的这个，却只会在地上吃草，一点力气都没有。虽然是同样讽刺了一番，不过牛敞听了却没有生气，反而对这个人正眼看过来，不仅录用了他，还给了个肥差让他做。
从那之后，牛头马面的这个说法就慢慢在人们当中传开，最早也确实是用来调侃长相的一句话，只是后来，人们将这两位的形象放在了地府当中，成为了阎王身边的一对护法，这才有了之后的鬼怪形象。这也就是为什么，同样是鬼差，可是牛头马面却更多的是被人调侃，而黑白无常说起来倒是令人生畏的原因。