從1911年到1949年，閻錫山在山西統治了38個年頭，人稱“山西王”。他是地方軍閥中，少數幾個能與蔣介石抗衡的實力派人物之一。
1949年12月8日，閻錫山跟随蔣介石的步伐，從成都飛往台灣。從登上飛機的那一刻開始，閻錫山的好日子就結束了。
在台灣，閻錫山很快就被邊緣化了。他當了短短幾個月的“行政院院長”，随後就讓給了陳誠，擔任“總統府資政”、“國民黨中央評議委”，這是兩個閑差。閻錫山的住宅，也搬到陽明山旁的菁山上。
現在的陽明山，是著名的風景區，風景秀麗，遊人如織。可在上世紀50年代，這裡就是一片荒山。山上沒有房子，閻錫山隻得自己動手蓋房。
時任閻錫山侍衛的張日明說，“一開始，他們蓋的房子是木闆牆和石棉瓦頂。這些生于山西，長于山西的人哪裡見識過風急雨驟的台風？台風一來，石棉瓦就被吹飛了，他們就接着在屋頂上面鋪草，結果台風又來了，草頂也不見了。”
與在大陸時的風光無限相比，閻錫山在台灣的日子簡直就是另外一個世界。閻錫山在日記中這樣寫他居住的地方：“其地為廢耕之茶園，雜草及胸，道路坎坷，無電燈電話，飲用山泉，距山仔後公路步行三十分鐘，建築茅屋，從事著述，人以‘菁山草蘆’名之。”
這就是說，這裡不但是茅草屋，而且連最起碼的電燈電話都沒有。
無事可做，正好寫書。閻錫山一邊隐居山中，一邊發奮寫書。他在台灣生活了差不多11個年頭，就先後寫了20多本小冊子。其中一本叫《大同之路》，提出“我的展望，是願将本半世紀毀滅的前夕，變為安和人類的開始。人事全在人，隻要有上司世界的資格者，上司安和，全世界即能得到安和。政治與人民亦如同農夫與禾苗．種瓜得瓜，種豆得豆。”
1960年，閻錫山步入他人生的最後時光。
當年5月10日，閻錫山患氣喘，不久，轉為氣管炎。醫生建議入院治療。這時，台大醫院内科主任蔡錫琴趕到，診斷為急性肺炎合并冠狀動脈硬化性心髒病，病情已十分嚴重。但是閻錫山仍不願住院。
5月23日，閻錫山因感冒引發的肺炎和心髒病，于台灣去世，享年78歲。
閻錫山在死前，給夫人徐竹青留下七條遺囑：
一、喪事宜儉不宜奢；
二、來賓送來的挽聯可收，但不得收挽幛；
三、靈前供無花之花木；
四、死後早日出殡不作久停；
五、不要過于悲痛放聲大哭；
六、墓碑上刻日記第100段和第128段；
七、七日之内每天早晚各讀他的《補心靈》一遍。
日記第100段和第128段寫的什麼呢？徐竹青把閻錫山的日記打開，找到了第100段和第128段，見上面分别寫着：
“義以為之，禮以行之，遜以出之，信以誠之，為做事之順道。多少好事，因禮不周，言不遜，信不孚，緻生障礙者，比比皆是。”
“突如其來之事，必有隐情，惟隐情審真不易，審不真必吃其虧。但此等隐情，不會是道理，一定是利害，應根據對方的利害，就現求隐，即可判之。”
閻錫山安葬于陽明山上，墓頂刻有“世界大同”四個大字。不知道是懷念家鄉山西大同，還是寄予世界大同之望？我們就不得而知了。