1925年3月12日，孫中山先生在北平病逝，時年59歲，由于孫中山生前囑咐“歸葬紫金山”，于是暫時就把他的遺體停留在北平的碧雲寺内，當時中山陵還沒有建造好。
在孫中山去世後北平協和醫院對他的遺體做了防腐處理，蘇聯還特意送來了一口水晶棺，當時的打算是把孫中山先生的遺體放入水晶棺中，以供後人瞻仰，像列甯一樣。
可惜由于水晶棺運抵耗費時日，運到北平時孫中山先生的遺體已經入殓好了，水晶棺也就沒有用上了，有點可惜，另一邊，在南京是葬事籌備委員會公開征集陵墓的設計方案。
31歲的設計師呂彥直的“自由鐘”設計圖案獲得一緻好評，在設計方案標明之後，1926年陵墓建造工作正式破土開建，當時的工期計劃是14個月，可是由于種種原因，一直到1929年3月才完成主體工程。
就在中山陵建造的期間，發生了一件事差點害的孫中山遺體被焚毀，在1926年，當時革命軍打敗奉系軍閥張宗昌，此人是有名的“三不知”将軍，不知自己槍有多少、老婆有多少、兵有多少。
張宗昌被打敗逃到了北平，打不赢活着的革命軍，一怒之下他就想找死人洩憤，張宗昌下令焚燒孫中山的靈柩，這種軍閥一旦瘋狂起來，什麼事都敢幹，不會是嘴上說說。
當時碧雲寺中隻有少量的護靈衛士，盡管人數少，可都是對孫中山十分忠誠的，這些衛士把孫中山的靈柩轉移藏到了寺廟附近的山洞之中，如此才逃過了軍閥的毀壞。
1929年，中山陵的主體工程完工，4月23日，何應欽前往北平去迎接孫中山的靈柩，5月26日，靈柩啟程由北平往南京移動，28日抵達南京，随後便停靈公祭3天。
6月1日，在中山陵内舉行奉安大典，各界要人出席，同時還有各國的使節，送葬的隊伍長達3公裡，場面十分壯觀，可惜的是由于遺體出現損壞，水晶棺沒有派上用場。
入葬之後墓室被封了起來，據曾經看守陵園的衛士描述，密封一共有三層，第一層是隔層，第二層是石牆，第三次是最外面的，用是鋼筋水泥，密封的非常堅固。
日軍全面侵華時，上海、蘇州淪陷，蔣介石也要從南京撤退，當時考慮過要帶走孫中山先生的遺體，然而由于墓室無法打開，如果用炸藥可能損壞遺體，蔣介石隻好作罷。
日軍占領南京城，在城内肆意殺人放火，不過卻沒敢對中山陵下手，才得以幸免，如今中山陵完好的被儲存了下來。