1949年12月9日，四川将领刘文辉、邓锡侯通电起义，云南将领卢汉也已经将被捕的共产党员全部释放，做好随时宣布起义的准备。蒋介石反动政权在大陆的末日，眼看就要来临了。蒋介石决定逃往台湾，陈立夫很想跟着一起走，却被老蒋拦住了。
蒋介石留下陈立夫的目的，是要让他“监视”一个人，那就是曾经的“山西王”阎锡山。在国民党将领争相倒戈的时候，蒋介石很怕他的“行政院长”阎锡山向共产党投降，因此安排陈立夫监视：“如发现任何倾向，立即阻止，可采取非常手段。”
在前一年解放军发起太原战役时，的确是想过要争取阎锡山和平解决的，为此还曾派阎锡山的老师，一位年近八旬的老秀才，带着徐向前的信件，先进城试探。结果阎锡山非但不听老师的劝告，反而不顾师生情谊，把自己的老师杀掉。
阎锡山一面在太原大唱“杀身成仁”、“舍生取义”，一面三次打电话给他驻南京办事处处长方闻，要他四处活动想方设法将他调出太原。最终，李宗仁致电阎锡山，以商谈和平大计为名，调他去南京。拿着李宗仁的电文，阎锡山赶紧召开要员会议，告诉大家：“也许三天五天，也许十天八天，等和平商谈有了结果，我就回来。”
会议结束后，阎锡山便登机而去。阎锡山这看上去有些拙劣的脱身把戏，却把他的部下们都骗了。大家都认为阎锡山要走的话，必定会带走他的堂妹阎慧卿，但阎慧卿却留下了。这当然是阎锡山玩弄的一个花招，要给人们造成一个印象：他真要再回太原。
阎锡山当然没有回太原。太原解放的时候，他人在上海，编造了以梁化之为首的“太原五百完人”殉城的神话，大吹大擂。阎锡山把他们送上死路，又为他们高唱一曲挽歌来安慰他们的灵魂，这样的统治权术可谓是高人一等了。
此后，阎锡山便跟着摇摇欲坠的国民党政权四处逃窜，表面上扮演了蒋介石跟李宗仁之间的“和事佬”，但狡猾的他早已明白谁的势力更大，早就一屁股坐在了蒋介石一边。但蒋介石又怎么会真正相信这个多次跟自己兵戎相见的“山西王”呢？正因如此，当再一次出现解放军围城时，蒋介石才会让陈立夫监视他。
12月9日晚上，阎锡山跟陈立夫、朱家骅、邱昌渭、刘士毅等14人乘坐一架飞机从成都起飞。飞机飞到四川跟湖北交界处，遇到了寒流，飞机两翼都结了厚厚的冰层，被迫往下坠了700尺，无法再往前行，不得不返回成都。
陈立夫往下一望，看到降落处灯火通明，以为是汉口。他怀疑是共产党地下人员策反了飞行员或飞机上某人有意投向共产党，故意把飞机开到汉口。想到这里，陈立夫拿出手枪，做出准备开枪自杀的样子。与此同时，他还紧紧注视着阎锡山，一旦有特殊情况，他就先开枪干掉阎锡山。得知飞机已经降落在成都，陈立夫才暂时舒了一口气。
次日早上，解放军的炮火已经在成为隆隆响起，陈立夫担心飞行若再有闪失，一旦解放军火力封锁机场，那就走不了了，便向飞行员详细询问，如果在遇到同样的情况，如何才能平安飞行闯过去。飞行员迟疑了片刻，最终还是直言相告：“阎（锡山）院长带的东西太多，光金条就有几十箱，飞机超载，遇上寒流无法上升。解决的唯一办法就是减轻飞机重量。”
陈立夫听了飞行员的叙述，就去找阎锡山商量，希望他少带一些东西，比如那些金条。阎锡山听了非常不高兴地说：“我的财产在山西带不出来，现在就剩这点积蓄，跟随的家人、佣人、还有已到台湾的亲戚，过去的老部下，将来都要靠这生活，丢不得。”
其实早在1948年，阎锡山就将他的发妻、继母和二儿媳送到了台湾，在台北设立“阎公馆”，并为分居的发妻另外找了一处寓所；将他的四儿子送到美国，在美国设置了寓所。1949年4月份，阎锡山又叫部属徐士珙从上海运了大量金银到台北怀宁街34号，然后由彭士弘以做生意为名转到了日本，在日本也购置了寓所。
阎锡山的态度让陈立夫很恼火，心想这个“阎老西”还真是要钱不要命，到了这种时刻，还不想着逃命第一。想到这里，他很不客气地说：“你现在是政府首脑，台湾那边急等着我们过去，为了大家的安全，你必须舍小取大，将飞机上的物资卸下一部分。”最后，阎锡山经过仔细盘桓，决定将随行人员留下几个不带走，那几十箱金条依然一根不少带去了台湾。
刚到台湾时，阎锡山还做足了表面功夫，频频召开新闻发布会，反复宣传来台后的施政方针，并多次发表演讲，批评国民党内部不讲诚信、不讲团结，总结在大陆失败的经验和教训，大有决心立足台湾好好干一番事情的样子。
但相信阎锡山自己也明白，到了台湾后，自己对于蒋介石来说，已经毫无利用价值，被抛弃不过是迟早的事。蒋介石到台湾后，所做的一切事情，都是围绕如何顺利让蒋经国接班，实现父死子继的蒋家王朝。为了达成这一目的，凡是有势力的大员，谁都可以成为被扫除的障碍。四大家族中的宋、孔、陈都被以各种借口削去权利，又何况一个离开山西一年多的“山西王”呢？
更何况，蒋介石这个人心狭量窄，对阎锡山虽然不像对桂系李宗仁、白崇禧那样“深仇大恨”，但历史上，阎锡山曾多次倒蒋，尤其是在中原大战中，阎锡山跟冯玉祥联手跟他打得昏天黑地。要不是东北的张学良出手，蒋介石很可能要一败涂地。这样的仇恨，老蒋又怎么可能一笔勾销呢。
事实上，从逃出太原那一刻起，阎锡山就已经没有了东山再起的可能。他之所以还能成为政府首脑，完全是蒋介石需要在自己跟李宗仁之间，找一个可以平衡的人来充门面。逃到台湾后，李宗仁已经去了美国做寓公，虽然抱着“总统”的名器不松手，但已经无法对蒋介石形成任何威胁。老蒋重掌大权不过是迟早的事，阎锡山也就派不上用场了。
1950年元旦刚过，蒋介石便把阎锡山叫到办公室，说是与他商量政府改组人选的事情，其实就是通知他，政府该换人了。谷正纲、顾祝同、俞鸿钧等蒋系人马接替了阎锡山的人马。
一天晚上，阎锡山刚刚吃过晚饭，正在院子里散步，一帮四川籍的“民意代表”闯进了阎的官邸，他们气氛的质问阎锡山：“这次政府改组，为什么四川这么大一个省，竟无一人入阁？”这一问，倒把阎锡山问倒了，他又怎么能回答得了这个问题呢？阎锡山一肚子苦水无处倒，自己没有落得好处，反而成了老蒋的替罪羊，处处遭人埋怨。
阎锡山的苦恼倒也没有持续多久，1950年3月，蒋介石就正式踢开李宗仁，自己宣布复职了。阎锡山的使命也算是到头了。果然，没过多久，他就被蒋介石免了职，取而代之的是老蒋的亲信陈诚。
被免职的阎锡山跟大多数大陆时期显赫一时的国民党军政大员一样，获得了蒋介石赏赐的两个职位——“总统府”资政和国民党中央评议委员。卸职后，阎锡山便搬到台北城东南丽水街一幢日式别墅居住。
在台湾无权无势的阎锡山，深知蒋介石剪除异己的手段无所不用其极，蒋介石又耳目众多，自己出言稍有不慎就有可能招致大祸。为了避免惹是生非，他深居简出，杜门谢客，谨言慎行，不问政治。他本想到美国或者日本定居，然而当他试探性向蒋介石探听口风时，蒋介石说：“还是台湾好啊，何必去国外呢？”
阎锡山知道，蒋介石是不会把自己昔日的政敌轻易放走的。一个在美国的李宗仁，已经让老蒋足够头疼了。而那些已经自愿也好，被裹挟也罢，凡是到了台湾的，再想要出去肯定是不可能的了。白崇禧曾受到约旦国王邀请，以伊斯兰教协会会长身份出访中东，蒋介石得知后，索性示意伊斯兰教协会改选。
既然无法出国，摆在阎锡山面前唯一的道路，就是找一个远离台北市中心的荒僻之处躲起来。从小在山西五台山长大的阎锡山，最终在台北阳明山深处找了一处名为“菁山”的地方。
日军占领台湾期间，原本打算在菁山兴建一个农场，欲建而未建。这里非常偏僻，交通极其不便，要沿着一条沙石铺成的小路步行30分钟，才能到达最近的公路，然后乘车进台北市区。菁山当时杂草丛生，蒿草长得有半人高，而且道路崎岖坎坷，十分荒凉，只有四处奔窜的野兔。那个地方甚至没有通电，没有电灯、没有电话，也没有自来水，喝的都是泉水。
阎锡山在菁山建了草屋，取名“菁山草庐”，实际上是简易木板房。1950年8月，阎锡山迁往“菁山草庐”，他的秘书、司机、厨师以及负责安全保卫的30名侍卫人员及一个连的宪兵，也随他迁往菁山，住进简易木板房。
然而，阎锡山这个“山西王”没有领教过台湾台风的厉害，木板房的屋顶在台风中整个被掀掉，大雨灌进屋里，侍卫和宪兵们叫苦不迭。后来，阎锡山想起山西老家的窑洞，认为窑洞肯定不惧台风，还能抵挡枪炮和炸弹，而且冬暖夏凉。台湾的山跟五台山还是不一样，那里土质潮湿，倘若挖窑洞，势必整天都滴滴哒哒滴水。于是，他决定用当地所产的安山岩，按照窑洞的形状，建造了一座石头屋。这样一来，阎锡山的“菁山草庐”，就变成了“菁山窑洞”。
由于没办法散步，阎锡山还在房子前面加了一个长长的走廊。这栋仿照山西窑洞的建筑，也成了阎锡山和魂牵梦萦的家乡最后的联系。
阎锡山在台湾与侍从们合影
权力鼎盛时期的阎锡山热衷于排场。抗战时期，阎锡山身边都还有副官、秘书、参谋、干事大群相随。副官中有持暖壶的、有拿坐垫的、有拿斗篷的，甚至有捶腰捶腿的。每天，阎锡山都要召集各式各样的会，其手下甚至会高呼“会长万岁”。
到了菁山居住的阎锡山，那样的派头是不可能再有了，但他仍会每天跟部属开会，只不过每一篇会议记录上，记下的都是一些生活的琐事。政坛失意的阎锡山已经无会可开了，这不过是过往生活的惯性罢了。
除了天天开会做记录，这些从山西就跟着阎锡山，一直迁徙到台湾的部属们，还必须在山上开垦荒地，甚至养鸡养猪。他后来还在附近租了一大片地，建成一座农场，在里面种了许多柑橘和松树。
阎锡山在阳明山一共住了10年，这期间除了蒋介石跟陈诚出于礼仪各去看过他一次外，国民党政要们再没有人上山看过他。步入年迈的阎锡山，身边还是那为数不多跟随他的部属。但渐渐地，身边的老部属们，也因为耐不住孤寂和微薄的收入，都在谋划着离他而去。
一生醉心权术的阎锡山，晚年生活极其单调，听京剧是他唯一的娱乐，而且他只是听，从来没有去看过。也曾有朋友怕他寂寞，写信建议他接受宗教信仰。在被蒋介石打入冷宫的国民党大员，有不少选择了这样一条路。但是年过七十的阎锡山，却有着山西人特有的倔强。他回信说：“我一天忙得很，我不寂寞。”
但是，再多的倔强也抵挡不住现实的孤寂，原来跟随阎锡山的秘书和侍从，从最开始的近40人，渐渐流失到不足10人。阎锡山晚年最大的依靠，协助他写书的原馥庭也考虑到自己日益老去，开始动摇，台北有人邀请他到收入稳定得多的机关做事。原馥庭把这个想法告诉阎锡山，阎半天没有说话，然后往前一坐，说：“你不能离开我！”
1960年，77岁的阎锡山身患重病。在病重期间，阎锡山对一直陪伴在自己身边的发妻徐竹青和看护他的老部下贾景德口述了六点遗嘱：
一、一切宜简不宜奢；
二、收挽联不收挽幛；
三、灵前供无花之花木；
四、出殡以早为好；
五、不要放声而哭；
六、墓碑刻他的思想日记第一百段及第一百二十八段；
与此同时，阎锡山还在他行将就木时，自己写了好几首挽联，嘱咐家人在他死了之后，贴在指定的位置。
贴在灵前为：“避避避，断断断，化化化，是三步工夫；勉勉勉，续续续，通通通，为一等事功。” 横幕为：“朽去化欲。”
贴在檐柱前为：“摆脱开，摆脱开，粘染上洗干净很不易；持得住，持得住，掉下去爬上来甚为难。” 横幕为：“努力摆持”。
贴院中为：“有大需要时来，始能成大事业；无大把握而去，终难得大机缘。” 横幕为：“公道爱人。”
1960年5月23日，阎锡山因急性肺炎并发冠状动脉硬化心脏病，不治离世，终年77岁。在阎锡山的坟前，用水泥砌了一个大大的“中”字，那是他毕生所奉行的所谓“中道”。