在東晉的曆史中，幾乎每一代權臣掌權時都會組織北伐，作為一代名臣的謝安也不例外。實際上在東晉的多次北伐中，最接近于成功的便是謝安和謝玄組織的北伐。他們接着淝水之戰後的良機，順勢拉開了北伐的序幕，不但恢複了淝水之戰前被前秦占領的土地，而且收複了中原大部分地區，兵力最遠達到了冀州邺城。如果這次北伐如果能夠堅持下去，東晉朝廷采納謝玄的主張，那恢複西晉時的全國統一是指日可待的。然而這次北伐最終也以失敗而告終，謝玄下野後，東晉到手的土地也被北方少數民族政權攻占。
淝水之戰中，謝安運籌帷幄，謝玄臨戰指揮，叔侄倆配合打出了中國古代戰争史上最為耀眼的一場戰役。這場戰役不僅粉碎了前秦皇帝苻堅統一天下的計劃，而且造成了前秦帝國的提前崩潰，也為東晉北伐創造出最好的戰機。在這種戰争态勢下，謝安果斷上書請求北伐，開始了複國的程序。
北伐大軍分三路向北方進發，其中東路軍以謝玄為首，中西路軍由桓氏的将領率領。謝玄一路從廣陵北上，以北府兵為主力，收複了兖州、青州、司州、豫州，兵臨冀州重鎮邺城之外。而桓氏兩路則攻克了魯陽和洛陽，收複了梁州和益州，中原腹地被納入東晉版圖。
這次北伐的戰果對于偏安一隅多年的東晉來說是前所未有的成功，既是東晉對北方少數民族最大的戰績展現，也是數次北伐中最接近成功的一次。與此同時，北伐大地因為淝水之戰的失敗陷入混戰之中。前秦帝國崩潰，皇帝苻堅在新平寺被羌族首領姚苌絞殺，各地的氐族軍隊遭到鮮卑、西羌、烏桓、丁零等族的圍攻，國家滅亡就在旦夕。這對于東晉的北伐是極其有利的，按道理東晉朝廷應該趁機加大投入，再接再厲，争取完成驅逐北方少數民族，重新統一華夏恢複西晉國家版圖的戰略大計。
可是在謝玄等人取得節節勝利之時，朝廷中卻出現了反對的聲音，認為用兵過度，需要停下北伐的步伐，讓國家休養生息。于是謝安和謝玄的北伐就此止步，最終也沒能取得完全勝利。而這次北伐過程中取得的大量土地，在謝玄下野後也逐漸喪失殆盡，重新被北方少數民族的割據政權占領。
這樣的結局讓很多讀史書的人感到唏噓不已，也對東晉朝廷的不思進取感到憤怒。然而分析這次北伐失敗的原因，不同的學者卻給出了不同的意見。有的認為是東晉國力難以支援長時間北伐，也有的認為是朝廷中門閥士族内鬥的拖累。實際從史料上看，上述都不是主要沖突，這次北伐失敗的原因在于司馬皇族。
從北伐時東晉朝廷的權力割據就可以發現，這次與之前祖逖、庾翼、殷浩、桓溫等北伐失敗完全不同。前文講過桓溫等人失敗的原因是受東晉門閥士族内鬥的拖累，門閥士族為了自己的利益互相拖後腿，緻使北伐軍缺少後方的兵員和後勤支援，最終隻能铩羽而歸。
可謝安和謝玄的北伐卻與以往不同，因為這次北伐準備相當充分，而門閥士族内部也相對比較團結。實際上在淝水之戰前，謝安就做了很多政治上的準備工作。這些工作并非針對淝水之戰，而是為北伐奠定基礎。隻是淝水之戰的突然爆發，讓這些準備工作都變成了戰争的資源。
在淝水之戰前，謝安以其強大的政治能力，改變了東晉朝廷門閥士族争鋒相對的格局。他沒有采用王導、庾亮、桓溫等權臣一貫打壓其他門閥的政策，而是在朝廷中營造了門閥士族之間的平衡。在這種局面下，琅琊王氏、太原王氏、谯國桓氏、陳郡謝氏等門閥士族相對平衡，各自掌控權力，形成了難得的政治穩定的局面。這個局面不但讓東晉政局平穩和社會繁榮發展，而且能讓東晉朝廷團結起來一緻對外，這也為東晉在淝水之戰中取勝奠定了基礎。是以從淝水之戰，到戰後的北伐中原，門閥士族都是比較團結的。
淝水之戰中東晉取得大勝，謝安便順勢拉開了北伐的戰争序幕。而這場北伐對長期被前秦壓制下的東晉來說，是受到全國上下歡欣鼓舞的。在此過程中門閥士族也比較團結，軍事和政治上的準備也很充分，是以謝玄才能不斷取得勢如破竹的大勝。面對這樣不斷出現的勝利，門閥士族的勢力極具膨脹，這便引起了司馬皇族的警惕。于是謝安和謝玄遭受到來自孝武帝司馬曜和會稽王司馬道子的政治壓力，他們從政治上掣肘了北伐大計的實施。于是謝安和謝玄被迫中止了北伐計劃，放棄手中的權力下野，掌權的陳郡謝氏也逐漸退出了東晉朝堂。
分析這些事情發生的前因後果，可以發現謝安在政治上犯了個嚴重的錯誤，那就是扶持東晉孝武帝司馬曜。孝武帝司馬曜是簡文帝司馬昱的兒子，是謝安一手扶上皇位的。當時權臣桓溫掌權，司馬昱臨終也提議桓溫仿照周公的方式攝政。于是朝中一片混亂，圍繞新皇帝展開各種政治鬥争，甚至有人傳出桓溫要借此篡位自立稱帝。正是謝安和王彪之站出來力挺，才讓司馬曜順利登上皇位。然後謝安以宰相身份掌控朝政，使得東晉國力迅速恢複，朝廷政治平穩，門閥鬥争暫時平息，出現了短暫的繁榮期。
謝安執政十多年，逐漸将朝廷政務還歸皇帝，使得司馬曜成為東晉皇帝中能掌控政權的數人之一。實際上從東晉立國開始，能掌控政權的皇帝是屈指可數的。晉元帝司馬睿在琅琊王氏的主導下執政，手中權力大部分在王導和王敦手裡。後來的皇帝中，除了短暫的晉明帝司馬紹，其他的都是傀儡皇帝。這些傀儡皇帝的權力要麼掌控在權臣手中，要麼是皇太後和權臣配合執政，皇帝都是擺設。司馬曜能掌控東晉政權，完全是因為謝安的扶持和主動放權。有了謝安的扶持，司馬皇族也逐漸恢複實力，司馬曜便讓弟弟司馬道子進入了朝廷中樞。
是以謝安執政時期，司馬皇族在朝中權力是最大的時候，超過了桓溫和司馬昱共同執政的時期。在淝水之戰前，全國上下一心對抗苻堅的百萬大軍，司馬氏與門閥士族共同進退，自然全力支援謝安。可淝水之戰後，謝安掀起北伐高潮，謝玄在北伐中勢如破竹，這便引起了司馬皇族的警惕。他們擔心謝安會借助北伐的勢頭再次收回權力，讓謝玄成為自己的繼承人。如此一來，陳郡謝氏就是第二個谯國桓氏，這将威脅到剛剛掌握皇權的司馬曜。于是在司馬道子等皇族成員的勸說下，司馬曜開始利用皇權拖謝安的後腿。
當時謝安一方面集中精力進行北伐戰争，力圖讓謝玄完成收複舊國的任務，另一方面又要平衡門閥士族的勢力，防止桓氏、王氏等士族使得朝廷陷入内鬥，于是對司馬曜的權力就沒有限制和掌控。而司馬曜就利用這個權力空白期，在朝中安排司馬道子分攤謝安權力，掣肘謝安主持的北伐大計。面對司馬曜的猜忌，司馬道子等人的構陷，謝安不得不放棄宰相的權力，自請北征出居廣陵。謝安去世後，司馬道子順理成章的成為揚州刺史、錄尚書事、都督中外諸軍事，掌控朝中大權。缺少謝安的支援，謝玄的北伐也打不下去了，隻能半途而廢。
由于受到以司馬道子為首的朝廷重臣的排擠，謝玄不得不放棄兵權，退就會稽内史，一年後郁郁而終。謝玄的退出也标志着陳郡謝氏徹底退出東晉朝堂，而北伐打下來的成果也被司馬道子等人瓜分。然而司馬曜的這些操作并非是要恢複舊國，也不是要讓東晉強盛，隻是為了争奪皇權。他收回皇權後并沒有勵精圖治，而是沉迷于虛假繁榮之中，最後甚至窩囊的被自己的嫔妃所殺。而司馬道子等人跟司馬曜是一個德性，除了内鬥啥也不會，最終隻能把北方領土丢給少數民族的割據政權，白白浪費了謝玄和北府兵将士的心血。