古代牛是六畜之首，被視為最重要的家畜，對于農耕社會而言，耕牛是重要的生産資料，是以古代對牛非常重視，大多數時代禁止私自宰牛和食用牛肉。除此以外，牛還被賦予一個特殊的使命，鎮壓洪水。
鎮壓洪水的當然不是真牛，而是鑄造的鐵牛，這些沉重的鐵牛有些被沉入水中，有些屹立于堤岸之上，還有的被放置在水中露出水面。傳說4000多年前洪水泛濫，大禹治水時每疏浚一處河道，就要鑄造一頭鐵牛沉入底中，鎮壓水中作祟的妖物。
當然，這個傳說不太符合曆史，因為大禹的時代還沒有鐵器，青銅也是比較珍貴的東西，如果大禹要鎮壓水患，最可能是用雕刻的石牛。秦朝水利專家李冰修建都江堰時就曾命人雕刻石犀牛，鎮壓水怪，據《蜀王本紀》記載：“江水為害，蜀守李冰作石犀五枚，二枚在府中，一枚在橋下，二枚在水中，以厭水精。”2013年在四川成都挖出了一頭巨大的石犀牛，由一塊完整的石頭雕成，長3.8米，寬1.2米，高1.7米，重達近百噸，經專家考證這頭犀牛正是雕刻于秦朝時期，兩千多年後我們見到了石犀的真容。
秦朝時中國還有野生犀牛，後來犀牛滅絕，就改用黃牛或水牛，随着生産力的發展，鐵産量增加，幾萬斤的鐵牛也可以鑄造出來。用牛來鎮水，是基于陰陽五行和天幹地支學說，五行相生相克，土能克水，十二天幹中的“醜牛”則屬艮土，用鐵牛鎮河，以期望達到“水來土掩”的效果。這個說法聽起來帶有迷信色彩，但在投入使用時，聰明的古人給鐵牛加上了很多實用效果。
曆史上黃河泛濫多次，是以鎮壓黃河水患的鐵牛非常多，基本遍布于黃河沿岸。關于鎮河鐵牛，曆史上有懷丙和尚撈鐵牛的故事：宋朝時永濟縣黃河邊上有八尊鐵牛，每一隻都有幾萬斤重，一次黃河決堤，八頭鐵牛沉到黃河之中，官府發榜懸賞，招募能把鐵牛撈上來的人，因為鐵牛太重，很久沒人揭榜。後來有一位和尚自告奮勇，他想出一個辦法：先讓人潛入水中将鐵牛綁好，用兩艘滿載泥土的大船勾住鐵牛，再把船上的泥土鏟到水中，用水的浮力把鐵牛撈上來。故事中的鐵牛不隻是鎮河用，而且還用來固定黃河上的浮橋，八頭鐵牛重達幾十萬斤，保證了浮橋的穩定性。
很多地方的鐵牛置于水中，露出水面，起到了辨別水位和警示洪水的作用。在河南省周口市有一尊鐵牛，坐落在沙河、颍河、賈魯河這三條河流的交彙河口中央，這頭鐵牛安放的位置很巧妙，起到了測量水位的作用，當地有說法“水牛喝水，下遊必決堤！”鐵牛的嘴成了洪水警戒線，在古代水位暴漲時，靠着觀察這尊鐵牛，拯救了很多人的生命。