據《辭海》解釋：“因關在谷中，深險如函而得名。東自崤山，西至潼津，通名函谷，号稱天險。”春秋時，秦孝公從晉國手中奪取崤函之地，在此設定函谷關。自此，函谷關成為我國曆史上建置最早的雄關要塞之一。
公元前491年的一個早晨，函谷關令尹喜站在一個土台上看見東方紫氣騰騰，霞光萬道，欣喜若狂地大呼：“紫氣東來，必有聖人過關。”忙令關吏清掃街道，恭候異人，果然，見一老翁銀發飄逸，氣宇軒昂，并且倒騎青牛向關門走來。紫氣東來的典故就源于此。關令尹喜請求老子留下一部著作在走，于是老子留下了影響中國乃至世界曆史思想和文化的《道德經》。内容涵蓋哲學、倫理學、政治學、軍事學等諸多學科，被後人尊奉為治國、齊家、修身、為學的寶典。它對中國的哲學、科學、政治、宗教等産生了深遠的影響，展現了古代中國人的一種世界觀和人生觀。先秦諸子、中國人的文化思想等沒有不受老子影響的。它的影響也是多方面的，包括政治、文化、科學、宗教等等方面。
在中國漫長的曆史上号稱兵家必争之地的關隘有很多，《史記·項羽本紀》" 關中阻山河四塞" 裴骃集解引徐廣曰:"東函谷 ，南武關，西散關，北蕭關。西晉的陸機 《洛陽記》" 洛陽有四關:東成臯，南伊阙，北孟津，西函谷 。"
不管是西京長安還是東都洛陽，函谷關都是牽一發而動全身的存在。函谷關，連接配接着西安與洛陽兩座古都，它被夾持在中華龍脈秦嶺和黃河之間，四周布滿了深溝狹谷，一夫當關萬夫莫開。
函谷關建于春秋戰國時期，《辭海》在函谷關的詞條解釋中說：因在谷中，深險如函而得名。東自崤山，西至潼津，通名函谷，号稱天險。秦朝時的函谷關位于河南省靈寶市北15公裡處的王垛村，向東距三門峽市約75公裡，也就是本文中的函谷關。另外，還有一處漢朝時的函谷關，據此向東150公裡，在今天的洛陽市新安縣。古時的函谷關官道僅僅是一條深陷于溝壑中的狹窄小道，但它卻是貫通東西的必經之路。長達五十公裡的峽谷，東頭是函谷關，西頭是潼關。
曆史上發生在函谷關的重要戰争達16次。
比較著名的有：公元前1029年，周武王伐纣，率軍出函谷關會八百諸侯于孟津。兩年後，天下歸周，武王又在這裡解散軍隊，刀槍入庫。城樓南側的“劍庫遺址”，就是當年放刀槍劍矢的倉庫。
公元前３１８年 ，魏相公孫衍聯合關東五國楚、趙、燕、韓、楚六國合縱攻秦。秦軍依據函谷關天險，開關迎敵，使六國軍隊“流血漂橹”，大敗而歸。
戰國時期，齊國公子田文孟嘗君入秦為相，實為人質。忽一天，秦王起殺機，孟嘗君手下門徒學狗叫，騙了門崗，偷得已經進獻給秦王的狐白裘衣，行賄秦王愛姬，換得東逃出關的文書。孟嘗君一行慌忙逃至函谷關，正值半夜，當時關規是“雞鳴開關，日落閉關”。後邊追兵将至，形勢危急。此時，一門客站在土堆上學雞鳴叫，周圍雄雞齊鳴，關吏打開關門，孟嘗君一行匆匆逃出函谷關，向東一片坦途，保全了姓名，堂堂四大公子之一的孟嘗君居然留下了雞鳴狗盜的成語典故。
公元前２０６年，項羽、劉邦約定，“先入關者為王”。劉邦選擇秦國兵力較弱的線路進攻，從陝西的商洛經武關提前進入關中。而項羽自恃兵力強大，一路走大道，等他攻打到函谷關時，聽說劉邦已人關中，大怒，命大将黥布強行攻關，并把關樓燒毀，演出了千古絕唱“鴻門宴”。
建安十六年，曹操讨伐漢中張魯政權，走的就是函谷關，馬超率十萬将士據守函谷關，曹操久攻不下，隻好北渡黃河。
唐朝安史之亂時，安祿山多次從函谷關進攻潼關，被唐軍統帥哥舒翰擊退，但唐玄宗聽信不懂軍事的奸相楊國忠讒言，迫使哥舒翰放棄守關拒敵計劃，率兵出戰，結果大敗，20萬人僅有8000人脫逃，以緻潼關、長安相繼失守，杜甫在《潼關吏》中對這段曆史悲劇發出慨歎，“哀哉桃林哉，百萬化為魚”。類此著名戰例，不勝枚舉。
這裡還是唐玄宗喜得“玄元靈符”遺址。唐開元二十九年（公元741年），唐玄宗在此喜得玄元皇帝“靈符”。“靈符”為古“桑”字，寓意當朝四十八年。玄宗并不知這是谶語，以為吉祥，遂改開元年号為“天寶”，改桃林縣為靈寶縣，這就是靈寶縣名的來曆。
紫氣東來、雞鳴狗盜、公孫白馬、玄宗改元等曆史故事和傳說，都是圍繞函谷關而展開的，函谷關既是曆史之關更是人文之關。