在我國古代，如何去有效治理邊疆少數民族地區，一直都是一個老大難問題，為此在先秦時期，逐漸萌芽出了一種羁縻制度，來應對這些語言、文化不通的少數民族聚居地。
所謂的羁縻制度就是在邊疆少數民族地區，實行一種與中原王朝完全不同的行政管理制度，羁縻制度的核心就在于因俗自治，對于少數民族地區進行鉗制和籠絡，恩威并濟。
各個少數民族的風俗習慣都不一樣，直接進而達到邊疆順服，不生異心。
如果直接由中原的官員去管理的話，必将是會摩擦出很多碰撞，進而引發了很多不必要的争鬥。
在夏商周時期，中原的大一統觀念已經逐漸形成，這種觀念對于中央處理與邊地四夷的關系中發揮出了重要的作用。
比如《國語》就記載了：“邦内甸服，邦外侯服，侯衛賓服，蠻夷要服，戎狄荒服。”
從這句話就可以看得出，當時中央對于各服的管控就已經開始按照親疏遠近而有所不同，荒服之地的少數民族隻要尊周天子為王就可以了，這其實就是後世羁縻制度的萌芽狀态，隻不過這時候這種制度缺乏系統機構和制度的保障，是以也就不能稱為是一種政策。
到了秦代，秦始皇掃滅六國，一統天下，廢分封，行郡縣，将全國範圍内的行政區劃體系進行了整齊劃一的大改動，将天下劃分為36郡，郡下設縣，郡置守、尉、監等。
然而，郡縣制的行政管理模式隻适用于内地地方，對于政治、經濟、文化都落後的邊疆地區，郡縣制明顯是行不通的。
對此，秦代對于邊地的治理模式，依舊是以傳統的籠絡加鉗制的羁縻方式為主，實施了“道”這一特殊的地方行政制度。比如《後漢書》記載：“凡縣主蠻夷曰道……皆秦制。”
還有其他的少數民族聚居區，是采取扶持以原來的蠻夷之王為君長來進行統治的。
到了漢代，羁縻政策得到了正式的确立。正所謂漢承秦制，在處理少數民族事務的這些方面，漢代确實借鑒了很多秦代的經驗。東西兩漢加起來一共四百年的曆史，帝國的疆域在随着軍隊的征伐而不斷擴大，所需要應對的少數民族問題，也比秦代要更加複雜得多。
根據《漢書 地理志》的記載：西漢平帝時期，全國範圍内設有32道，用以管控少數民族聚居區。漢代的“道”，雖然會對少數民族給予一定的優惠政策，但其具體行政職能已經同漢民族地區的“縣”沒有本質上的差別。
除了“道”以外，漢武帝時期還設立了一個基本與“郡”同級别的屬國都尉，也是主要負責對邊地少數民族進行羁縻統治。
兩漢是羁縻制度的正式确立期，雖然此時中央和邊地的責任和義務還沒有徹底劃厘清楚，但羁縻之名已經正式提出，後來唐代的羁縻州政策和元明清時期的土司制度都是淵源于此。
到了三國兩晉南北朝時期，中原内亂不止，北方少數民族紛紛崛起，并入主中原，民族關系變得空前複雜。
在這段時期裡，一些在漢代具有監察作用的羁縻州，開始随着少數民族的崛起而逐漸演變為比郡還要高上一個級别的行政區劃，原先的郡縣兩級行政，逐漸向州郡縣三級行政演變。
由于中原内亂不止，各大勢力都十分熱衷于拉攏少數民族，給予他們各種名号和印信加以籠絡，比如蜀國的諸葛亮在北伐之前，就先提前籠絡好了南方的孟獲；吳國也在極力招服南方的山越民族。
南朝時期，朝廷承襲了秦漢時期的“道”，在其境内設立了大量的左郡左縣、僚郡俚郡，這些郡縣都會保留好蠻族的固有統治方式，朝廷并不會去幹預去具體的行政。後來這些東西，又逐漸演變成為唐宋時期的羁縻州縣，進而演變成明清時期的土府、土州、土縣。
唐宋時期，羁縻制度得到了大規模的發展和完善。他在地方行政制度上，改郡為州，主要實行州縣二級制。但唐代的疆域又十分遼闊，州縣二級制顯然是不夠用的，是以就在州的基礎上，設定了“道”，将全國劃分為數道，形成了道州縣三級制。宋代時期，又改“道”為“路”，是以唐宋時期，也被人戲稱作是“道路時代”。
在對待少數民族聚居區的問題上，隋朝的羁縻方法主要通過給這些少數民族，授予一些諸如“俚帥”和“渠帥”等頭銜，有功的可以另行封賞。
唐朝的疆域得到了空前的擴張，是以他在南朝左郡、僚郡等基礎上發展出了一項羁縻州制度，于貞觀年間正式确立，根據《新唐書》的記載，羁縻州的數量一度達到了856個之多。
羁縻州縣的長官由少數民族的首領擔任，内部事務自治，但負有一定的進貢責任，其長官可以世襲，但需要得到中央王朝的認可和準許。
到了宋代，由于武功方面欠缺，邊地少數民族勢力疊起，中原和邊地少數民族不斷交戰，彼此互為仇敵，民族關系變得更為複雜。
在對待少數民族聚居區時，宋代也是采取羁縻州的形式來進行管理，大者為州，中者為縣，小者為洞，内容也基本與唐代相似，隻是在一些承襲人的選取等規定上比較嚴格一點而已。
到了元明清時期，羁縻政策集中表現為土司制度的形成、發展和崩潰。明代在一些軍事地理位置重要的少數民族聚居區，實行了大量羁縻衛所，以當地首領為都督、都指揮、指揮、千百戶、都指揮使、鎮撫等官，負責掌管當地的軍政民事，所屬官可以世襲，因俗而治，有點類似于當代的自治縣（區）。
明代在東北設立奴兒幹都司及其衛所，在西北設立赤斤蒙古、罕東、安定、阿瑞、哈密等六衛，在西藏設烏斯藏、朵甘衛都指揮使司、隴答衛指揮使司及招讨司等，這些東西都是明代的羁縻衛所。
但明代除了羁縻衛所外，還有漢軍衛所和土流參治衛所。其中羁縻衛所處于帝國的中央，朝廷對其統治力度較弱，而土流參治衛所則處于邊疆和内地的緩沖帶，其長官以朝廷任命的流官為主，而當地的土官為主。朝廷對其的管控力度，也正好介于羁縻衛所和漢軍衛所之間。
無論是羁縻衛所，還是土流參治衛所，他們都需要定期向明代納貢，遵從朝廷的調遣，一旦延誤，還會是以而被治罪。也正因為如此，明代對于邊疆少數民族地區的控制力，已經遠超前代了。
到了清代，羁縻制度已經變得十分衰微了，滿清統治者通過大規模的改土歸流，瓦解了原先的土官制度，再通過盟旗制度、伯克制度、滿蒙聯姻等方式，極大地加強了對于邊疆少數民族聚居區的管理和控制。後來随着清代的滅亡，羁縻制度也徹底退出了，中國的曆史舞台。