古代牛是六畜之首，被视为最重要的家畜，对于农耕社会而言，耕牛是重要的生产资料，因此古代对牛非常重视，大多数时代禁止私自宰牛和食用牛肉。除此以外，牛还被赋予一个特殊的使命，镇压洪水。
镇压洪水的当然不是真牛，而是铸造的铁牛，这些沉重的铁牛有些被沉入水中，有些屹立于堤岸之上，还有的被放置在水中露出水面。传说4000多年前洪水泛滥，大禹治水时每疏浚一处河道，就要铸造一头铁牛沉入底中，镇压水中作祟的妖物。
当然，这个传说不太符合历史，因为大禹的时代还没有铁器，青铜也是比较珍贵的东西，如果大禹要镇压水患，最可能是用雕刻的石牛。秦朝水利专家李冰修建都江堰时就曾命人雕刻石犀牛，镇压水怪，据《蜀王本纪》记载：“江水为害，蜀守李冰作石犀五枚，二枚在府中，一枚在桥下，二枚在水中，以厌水精。”2013年在四川成都挖出了一头巨大的石犀牛，由一块完整的石头雕成，长3.8米，宽1.2米，高1.7米，重达近百吨，经专家考证这头犀牛正是雕刻于秦朝时期，两千多年后我们见到了石犀的真容。
秦朝时中国还有野生犀牛，后来犀牛灭绝，就改用黄牛或水牛，随着生产力的发展，铁产量增加，几万斤的铁牛也可以铸造出来。用牛来镇水，是基于阴阳五行和天干地支学说，五行相生相克，土能克水，十二天干中的“丑牛”则属艮土，用铁牛镇河，以期望达到“水来土掩”的效果。这个说法听起来带有迷信色彩，但在投入使用时，聪明的古人给铁牛加上了很多实用效果。
历史上黄河泛滥多次，因此镇压黄河水患的铁牛非常多，基本遍布于黄河沿岸。关于镇河铁牛，历史上有怀丙和尚捞铁牛的故事：宋朝时永济县黄河边上有八尊铁牛，每一只都有几万斤重，一次黄河决堤，八头铁牛沉到黄河之中，官府发榜悬赏，招募能把铁牛捞上来的人，因为铁牛太重，很久没人揭榜。后来有一位和尚自告奋勇，他想出一个办法：先让人潜入水中将铁牛绑好，用两艘满载泥土的大船勾住铁牛，再把船上的泥土铲到水中，用水的浮力把铁牛捞上来。故事中的铁牛不只是镇河用，而且还用来固定黄河上的浮桥，八头铁牛重达几十万斤，保证了浮桥的稳定性。
很多地方的铁牛置于水中，露出水面，起到了标识水位和警示洪水的作用。在河南省周口市有一尊铁牛，坐落在沙河、颍河、贾鲁河这三条河流的交汇河口中央，这头铁牛安放的位置很巧妙，起到了测量水位的作用，当地有说法“水牛喝水，下游必决堤！”铁牛的嘴成了洪水警戒线，在古代水位暴涨时，靠着观察这尊铁牛，拯救了很多人的生命。