太元二年（377），東晉朝廷拜謝玄建武将軍、兖州刺史，領廣陵相、監江北諸軍事，鎮廣陵，召募勁勇。他利用此機會，在叔父謝安的授意下，開始大量招募北方流民，組建了名聞天下的北府兵。而之後陳郡謝氏也正是利用這支軍隊，外禦強敵，内壓其他門閥，成為東晉朝堂這一段時間實際的統治者。
到六年之後的太元八年（383）年，謝玄更是以八萬北府兵大敗前秦軍隊八十萬，取得了淝水之戰的勝利，一戰奠定陳郡謝氏江左一流高門的地位。
其中出力最多者，當屬北府名将劉牢之，他也是以深得彼時謝家信任，成為謝玄的左右手、北府兵進階将領。
好景不長，謝氏很快在和皇族的争鬥中敗下陣來，謝安隐退，謝玄閑置，最後雙雙去世，晉孝武帝司馬曜成為東晉立國以來第三位擁有實權的帝王。
作為謝玄舊部，劉牢之并沒有明确表态支援朝廷，暫相安無事。直到晉孝武帝去世，其弟會稽王司馬道子專權，引得地方邊鎮多有不服，他才逐漸展露頭角。特别是孝武帝司馬曜的小舅子王恭二次讨伐中央朝廷時，劉牢之投靠司馬道子之子-司馬元顯，導緻王恭兵敗被殺，他取代了王恭的地位，成了北府兵的實際上司人。
随即爆發的孫恩之亂，更讓他成為當時炙手可熱的人物，因為當時司馬道子以重兵都無法平定的叛軍，他僅用北府一軍，倚靠其子劉敬宣和心腹劉裕，曆時兩年就于隆安四年（400）年平定了。
至此，一代名将劉牢之成了有機會角逐天下的風雲人物，各方勢力也在争相拉攏。
但欲戴王冠，必承其重，越是在利益核心，就越危險。随即一些抉擇，影響了他個人的榮辱和家族的盛衰。
首先是再次背叛了司馬元顯，投奔桓玄。
背叛司馬元顯投奔桓玄，成為所謂的家奴，引起當權者猜忌
對于整個晉末亂局來說，任何措施都是各方勢力為了增加籌碼所采取，桓玄和司馬元顯也不例外。孫恩之亂隻是一時，各方勢力搶奪地盤，争取實權人物支援才是主題。
而桓溫之子桓玄利用家族威望，很快整合了東晉朝廷上遊荊州的勢力。如果對這一段曆史時期有了解的同學就知道，荊州在東晉國都建康的上遊，一旦内部有什麼變動随時可以順江而下，東晉初期的王墩、他的父親桓溫皆曾對此地重點經營。
至此，司馬道子父子和桓玄的内戰已不可避免，此時劉牢之的選擇，對于二者成敗的重要性不言而喻。劉牢之經過再三考慮，認為如果和桓玄作對，敗可能會被司馬元顯滅族，勝會使得自身功高震主，于是暗地裡派兒子劉敬宣投降桓玄。司馬道子自身無大才，又失去了劉牢之的支援，很快兵敗被殺，桓玄權傾朝野，并準備改朝換代。
而此戰後的劉牢之，等來的不是桓玄的封賞，而是猜忌。
表面上給了一個會稽太守、征東将軍的虛職，将他調離京口（北府兵起源地），從此猶如老虎被人拔了牙，劉牢之虎落平陽，逐漸遠離權力中心。
第二個錯誤決策，就是誤判形勢、導緻自殺。
誤判形勢，導緻自殺
誠如他反叛司馬元顯之前的算盤：征讨桓玄勝則功高震主、敗則身死族滅，表面看反叛司馬元顯也沒有選擇錯，隻是他把桓玄看錯了。其實桓玄也是司馬元顯一類的人物，非人主材，不值得輔佐，在掃平司馬父子後，應該趁熱團結北府兵衆，加強自身籌碼。
而且其子劉敬宣也曾勸過劉牢之，襲擊立足未穩的桓玄，敗可投降北方，勝可穩定皇室，成為再造山河的大功臣，走上和劉裕開國之前一樣的路。
隻是他誤判形勢，覺得多次反叛，有損大節，始終沒有動手，以至于之後自殺，其子劉敬宣隻得出奔南燕。
可惜了，劉牢之一代名将，如若采納了這個建議，即使金戈鐵馬氣吞山河的劉裕，也隻能輔佐他成王霸之業吧。
晉末亂局，衆多風流人物顯于史書，成為時代主角。前有王導謝安，再有桓溫桓玄，之後劉裕變換山河，開創劉宋一朝。但劉牢之與他們相比，在史書地位就尴尬得多，論戰功不劉裕，論權勢不及桓玄。其實我們以後來者視角來看，把握機會絕對有機會變換山河，創立政權，但因為各種内外因素，以及自身的優柔寡斷，和楚漢之交的韓信一樣，該做決策的時候猶豫不決，導緻功虧一篑，令人惋惜。
而在他死後，舊部劉裕很快平定了桓玄，肅清朝野，多次北伐，終開創劉宋一朝，劉牢之一個抉擇，和本該屬于自己的赫赫功業，失之交臂。