1949年12月9日，四川将領劉文輝、鄧錫侯通電起義，雲南将領盧漢也已經将被捕的共産黨員全部釋放，做好随時宣布起義的準備。蔣介石反動政權在大陸的末日，眼看就要來臨了。蔣介石決定逃往台灣，陳立夫很想跟着一起走，卻被老蔣攔住了。
蔣介石留下陳立夫的目的，是要讓他“監視”一個人，那就是曾經的“山西王”閻錫山。在國民黨将領争相倒戈的時候，蔣介石很怕他的“行政院長”閻錫山向共産黨投降，是以安排陳立夫監視：“如發現任何傾向，立即阻止，可采取非常手段。”
在前一年解放軍發起太原戰役時，的确是想過要争取閻錫山和平解決的，為此還曾派閻錫山的老師，一位年近八旬的老秀才，帶着徐向前的信件，先進城試探。結果閻錫山非但不聽老師的勸告，反而不顧師生情誼，把自己的老師殺掉。
閻錫山一面在太原大唱“殺身成仁”、“舍生取義”，一面三次打電話給他駐南京辦事處處長方聞，要他四處活動想方設法将他調出太原。最終，李宗仁緻電閻錫山，以商談和平大計為名，調他去南京。拿着李宗仁的電文，閻錫山趕緊召開要員會議，告訴大家：“也許三天五天，也許十天八天，等和平商談有了結果，我就回來。”
會議結束後，閻錫山便登機而去。閻錫山這看上去有些拙劣的脫身把戲，卻把他的部下們都騙了。大家都認為閻錫山要走的話，必定會帶走他的堂妹閻慧卿，但閻慧卿卻留下了。這當然是閻錫山玩弄的一個花招，要給人們造成一個印象：他真要再回太原。
閻錫山當然沒有回太原。太原解放的時候，他人在上海，編造了以梁化之為首的“太原五百完人”殉城的神話，大吹大擂。閻錫山把他們送上死路，又為他們高唱一曲挽歌來安慰他們的靈魂，這樣的統治權術可謂是高人一等了。
此後，閻錫山便跟着搖搖欲墜的國民黨政權四處逃竄，表面上扮演了蔣介石跟李宗仁之間的“和事佬”，但狡猾的他早已明白誰的勢力更大，早就一屁股坐在了蔣介石一邊。但蔣介石又怎麼會真正相信這個多次跟自己兵戎相見的“山西王”呢？正因如此，當再一次出現解放軍圍城時，蔣介石才會讓陳立夫監視他。
12月9日晚上，閻錫山跟陳立夫、朱家骅、邱昌渭、劉士毅等14人乘坐一架飛機從成都起飛。飛機飛到四川跟湖北交界處，遇到了寒流，飛機兩翼都結了厚厚的冰層，被迫往下墜了700尺，無法再往前行，不得不傳回成都。
陳立夫往下一望，看到降落處燈火通明，以為是漢口。他懷疑是共産黨地下人員策反了飛行員或飛機上某人有意投向共産黨，故意把飛機開到漢口。想到這裡，陳立夫拿出手槍，做出準備開槍自殺的樣子。與此同時，他還緊緊注視着閻錫山，一旦有特殊情況，他就先開槍幹掉閻錫山。得知飛機已經降落在成都，陳立夫才暫時舒了一口氣。
次日早上，解放軍的炮火已經在成為隆隆響起，陳立夫擔心飛行若再有閃失，一旦解放軍火力封鎖機場，那就走不了了，便向飛行員詳細詢問，如果在遇到同樣的情況，如何才能平安飛行闖過去。飛行員遲疑了片刻，最終還是直言相告：“閻（錫山）院長帶的東西太多，光金條就有幾十箱，飛機超載，遇上寒流無法上升。解決的唯一辦法就是減輕飛機重量。”
陳立夫聽了飛行員的叙述，就去找閻錫山商量，希望他少帶一些東西，比如那些金條。閻錫山聽了非常不高興地說：“我的财産在山西帶不出來，現在就剩這點積蓄，跟随的家人、傭人、還有已到台灣的親戚，過去的老部下，将來都要靠這生活，丢不得。”
其實早在1948年，閻錫山就将他的發妻、繼母和二兒媳送到了台灣，在台北設立“閻公館”，并為分居的發妻另外找了一處寓所；将他的四兒子送到美國，在美國設定了寓所。1949年4月份，閻錫山又叫部屬徐士珙從上海運了大量金銀到台北懷甯街34号，然後由彭士弘以做生意為名轉到了日本，在日本也購置了寓所。
閻錫山的态度讓陳立夫很惱火，心想這個“閻老西”還真是要錢不要命，到了這種時刻，還不想着逃命第一。想到這裡，他很不客氣地說：“你現在是政府首腦，台灣那邊急等着我們過去，為了大家的安全，你必須舍小取大，将飛機上的物資卸下一部分。”最後，閻錫山經過仔細盤桓，決定将随行人員留下幾個不帶走，那幾十箱金條依然一根不少帶去了台灣。
剛到台灣時，閻錫山還做足了表面功夫，頻頻召開新聞釋出會，反複宣傳來台後的施政方針，并多次發表演講，批評國民黨内部不講誠信、不講團結，總結在大陸失敗的經驗和教訓，大有決心立足台灣好好幹一番事情的樣子。
但相信閻錫山自己也明白，到了台灣後，自己對于蔣介石來說，已經毫無利用價值，被抛棄不過是遲早的事。蔣介石到台灣後，所做的一切事情，都是圍繞如何順利讓蔣經國接班，實作父死子繼的蔣家王朝。為了達成這一目的，凡是有勢力的大員，誰都可以成為被掃除的障礙。四大家族中的宋、孔、陳都被以各種借口削去權利，又何況一個離開山西一年多的“山西王”呢？
更何況，蔣介石這個人心狹量窄，對閻錫山雖然不像對桂系李宗仁、白崇禧那樣“深仇大恨”，但曆史上，閻錫山曾多次倒蔣，尤其是在中原大戰中，閻錫山跟馮玉祥聯手跟他打得昏天黑地。要不是東北的張學良出手，蔣介石很可能要一敗塗地。這樣的仇恨，老蔣又怎麼可能一筆勾銷呢。
事實上，從逃出太原那一刻起，閻錫山就已經沒有了東山再起的可能。他之是以還能成為政府首腦，完全是蔣介石需要在自己跟李宗仁之間，找一個可以平衡的人來充門面。逃到台灣後，李宗仁已經去了美國做寓公，雖然抱着“總統”的名器不松手，但已經無法對蔣介石形成任何威脅。老蔣重掌大權不過是遲早的事，閻錫山也就派不上用場了。
1950年元旦剛過，蔣介石便把閻錫山叫到辦公室，說是與他商量政府改組人選的事情，其實就是通知他，政府該換人了。谷正綱、顧祝同、俞鴻鈞等蔣系人馬接替了閻錫山的人馬。
一天晚上，閻錫山剛剛吃過晚飯，正在院子裡散步，一幫四川籍的“民意代表”闖進了閻的官邸，他們氣氛的質問閻錫山：“這次政府改組，為什麼四川這麼大一個省，竟無一人入閣？”這一問，倒把閻錫山問倒了，他又怎麼能回答得了這個問題呢？閻錫山一肚子苦水無處倒，自己沒有落得好處，反而成了老蔣的替罪羊，處處遭人埋怨。
閻錫山的苦惱倒也沒有持續多久，1950年3月，蔣介石就正式踢開李宗仁，自己宣布複職了。閻錫山的使命也算是到頭了。果然，沒過多久，他就被蔣介石免了職，取而代之的是老蔣的親信陳誠。
被免職的閻錫山跟大多數大陸時期顯赫一時的國民黨軍政大員一樣，獲得了蔣介石賞賜的兩個職位——“總統府”資政和國民黨中央評議委員。卸職後，閻錫山便搬到台北城東南麗水街一幢日式别墅居住。
在台灣無權無勢的閻錫山，深知蔣介石剪除異己的手段無所不用其極，蔣介石又耳目衆多，自己出言稍有不慎就有可能招緻大禍。為了避免惹是生非，他深居簡出，杜門謝客，謹言慎行，不問政治。他本想到美國或者日本定居，然而當他試探性向蔣介石探聽口風時，蔣介石說：“還是台灣好啊，何必去國外呢？”
閻錫山知道，蔣介石是不會把自己昔日的政敵輕易放走的。一個在美國的李宗仁，已經讓老蔣足夠頭疼了。而那些已經自願也好，被裹挾也罷，凡是到了台灣的，再想要出去肯定是不可能的了。白崇禧曾受到約旦國王邀請，以伊斯蘭教協會會長身份出訪中東，蔣介石得知後，索性示意伊斯蘭教協會改選。
既然無法出國，擺在閻錫山面前唯一的道路，就是找一個遠離台北市中心的荒僻之處躲起來。從小在山西五台山長大的閻錫山，最終在台北陽明山深處找了一處名為“菁山”的地方。
日軍占領台灣期間，原本打算在菁山興建一個農場，欲建而未建。這裡非常偏僻，交通極其不便，要沿着一條沙石鋪成的小路步行30分鐘，才能到達最近的公路，然後乘車進台北市區。菁山當時雜草叢生，蒿草長得有半人高，而且道路崎岖坎坷，十分荒涼，隻有四處奔竄的野兔。那個地方甚至沒有通電，沒有電燈、沒有電話，也沒有自來水，喝的都是泉水。
閻錫山在菁山建了草屋，取名“菁山草廬”，實際上是簡易木闆房。1950年8月，閻錫山遷往“菁山草廬”，他的秘書、司機、廚師以及負責安全保衛的30名侍衛人員及一個連的憲兵，也随他遷往菁山，住進簡易木闆房。
然而，閻錫山這個“山西王”沒有領教過台灣台風的厲害，木闆房的屋頂在台風中整個被掀掉，大雨灌進屋裡，侍衛和憲兵們叫苦不疊。後來，閻錫山想起山西老家的窯洞，認為窯洞肯定不懼台風，還能抵擋槍炮和炸彈，而且冬暖夏涼。台灣的山跟五台山還是不一樣，那裡土質潮濕，倘若挖窯洞，勢必整天都滴滴哒哒滴水。于是，他決定用當地所産的安山岩，按照窯洞的形狀，建造了一座石頭屋。這樣一來，閻錫山的“菁山草廬”，就變成了“菁山窯洞”。
由于沒辦法散步，閻錫山還在房子前面加了一個長長的走廊。這棟仿照山西窯洞的建築，也成了閻錫山和魂牽夢萦的家鄉最後的聯系。
閻錫山在台灣與侍從們合影
權力鼎盛時期的閻錫山熱衷于排場。抗戰時期，閻錫山身邊都還有副官、秘書、參謀、幹事大群相随。副官中有持暖壺的、有拿坐墊的、有拿鬥篷的，甚至有捶腰捶腿的。每天，閻錫山都要召集各式各樣的會，其手下甚至會高呼“會長萬歲”。
到了菁山居住的閻錫山，那樣的派頭是不可能再有了，但他仍會每天跟部屬開會，隻不過每一篇會議記錄上，記下的都是一些生活的瑣事。政壇失意的閻錫山已經無會可開了，這不過是過往生活的慣性罷了。
除了天天開會做記錄，這些從山西就跟着閻錫山，一直遷徙到台灣的部屬們，還必須在山上開墾荒地，甚至養雞養豬。他後來還在附近租了一大片地，建成一座農場，在裡面種了許多柑橘和松樹。
閻錫山在陽明山一共住了10年，這期間除了蔣介石跟陳誠出于禮儀各去看過他一次外，國民黨政要們再沒有人上山看過他。步入年邁的閻錫山，身邊還是那為數不多跟随他的部屬。但漸漸地，身邊的老部屬們，也因為耐不住孤寂和微薄的收入，都在謀劃着離他而去。
一生醉心權術的閻錫山，晚年生活極其單調，聽平劇是他唯一的娛樂，而且他隻是聽，從來沒有去看過。也曾有朋友怕他寂寞，寫信建議他接受宗教信仰。在被蔣介石打入冷宮的國民黨大員，有不少選擇了這樣一條路。但是年過七十的閻錫山，卻有着山西人特有的倔強。他回信說：“我一天忙得很，我不寂寞。”
但是，再多的倔強也抵擋不住現實的孤寂，原來跟随閻錫山的秘書和侍從，從最開始的近40人，漸漸流失到不足10人。閻錫山晚年最大的依靠，協助他寫書的原馥庭也考慮到自己日益老去，開始動搖，台北有人邀請他到收入穩定得多的機關做事。原馥庭把這個想法告訴閻錫山，閻半天沒有說話，然後往前一坐，說：“你不能離開我！”
1960年，77歲的閻錫山身患重病。在病重期間，閻錫山對一直陪伴在自己身邊的發妻徐竹青和看護他的老部下賈景德口述了六點遺囑：
一、一切宜簡不宜奢；
二、收挽聯不收挽幛；
三、靈前供無花之花木；
四、出殡以早為好；
五、不要放聲而哭；
六、墓碑刻他的思想日記第一百段及第一百二十八段；
與此同時，閻錫山還在他行将就木時，自己寫了好幾首挽聯，囑咐家人在他死了之後，貼在指定的位置。
貼在靈前為：“避避避，斷斷斷，化化化，是三步工夫；勉勉勉，續續續，通通通，為一等事功。” 橫幕為：“朽去化欲。”
貼在檐柱前為：“擺脫開，擺脫開，粘染上洗幹淨很不易；持得住，持得住，掉下去爬上來甚為難。” 橫幕為：“努力擺持”。
貼院中為：“有大需要時來，始能成大事業；無大把握而去，終難得大機緣。” 橫幕為：“公道夫妻。”
1960年5月23日，閻錫山因急性肺炎并發冠狀動脈硬化心髒病，不治離世，終年77歲。在閻錫山的墳前，用水泥砌了一個大大的“中”字，那是他畢生所奉行的所謂“中道”。