段玉瑞于1936年11月2日在上海去世，享年72岁。虽然段岚峨在去世前已经离开人们的视线多年，但他的葬礼却引起了人们的注意。段辗辗被送回北京，北洋政府为他举行了葬礼。因为段玉瑞死前信佛，当他进入寺庙时，以僧袍、僧帽、僧鞋为生衣，还给他穿上了绣有福田印花的卐字的红底金线。段玉瑞去世，葬于北京万安公墓。
段玉睿和张作瑜等人，在民国众多军阀中，段玉瑞的评价非常高，用"六不总理"说，即"不抽烟、不喝酒、不喝酒、不赌博、不贪婪、不占领"（有一定程度的争议）。不仅如此，在他的晚年，段玉睿还拯救了民族精神节，"九一八"事件，日本人试图拉拢段玉瑞，结果遭到了严厉的言语拒绝。
北京万安公墓是北京市第一座现代化公墓，位于海淀区象山南路万安里，始建于1930年。整个墓地占地面积8.6万平方米，在墓地的建设上按金、木、水、火、土的顺序为编号，分为5区，该区也以"千字"、"100姓"为群号，5区没有等级差，但墓葬有福， 吕、寿、曦、荣5个规格，墓地埋葬着革命烈士、社会活动家、前军事要人、科学家、文学家和外国朋友。
段玉睿公墓旁（翻新） 段玉瑞之后，他开始在天津生活，由于日本人不断的骚扰，他最终将家人搬到了上海。段玉睿在接受记者采访时说："日本的暴力行为，已经到了情感上无法感受、不合理的一步。我们国家只有下一颗心和一种美德，为求爱而奋斗。语言云：最好是要求自己的。全国都在积极准备一起应对，虽然有十个日本人，但有多害怕？"
人们对段玉瑞的葬礼知之甚少，葬礼后并没有立即埋葬，而是将棺材暂时放在北京西山月侯佛教寺庙的后面，直到28年后才被埋葬。1963年，在张世玄的主持下，段玉睿葬于北京万安公墓，张世轩还写下了墓碑。照片的中段是1978年翻新的结果，非常严峻和破旧。
《段玉如墓碑》张世轩原本提议写一段墓碑文字："所以中华民国公治泉墓的统治段"，但经过反复思考，当时正处于特殊时期，最终决定写题词还是不提正式标题。梁启超这样评价张世玄，"他的人民的缺点是影射出来的，不管是一个利益主体，为国家负责，国家怕没人能比得上。"
段玉瑞的遗产墓碑刻在他八强的背上，"不要因为看到和点亮政治纠纷，不要说和无视实践，不要急于利用人民的财富，不要相信过度的言辞和自我震撼的国家;这八者并不是，在每一种情况下，所谓的自力更生都在这里;"
总的来说，段玉瑞公墓很差。如果不是墓碑，很难想象这里会是"北海之虎"的墓地。段玉睿也有"三个共和国"的美誉：号召逼清皇帝退位，张勋复位，抗元世凯弘贤称帝。尤其在袁世凯说皇帝的关键时刻，段玉瑞不顾自己被承载的恩典、长袍的意义，当面对立场时。看到反对派无效，也坚决回到家中去，静静地去平衡，拿正义。
在段玉瑞的葬礼上，南京国民政府国葬令说："保持低调，寻求国家的忠诚。辛亥倡议领导了各支军队，赞助了共和国，并在中华民国工作。而袁咏仪的号角，清白的身体撤退，李薇正义，节日。价值恢复变革，誓言马场，迅速遏制反气氛，率能重建国家基础，巩固政治制度，大有希望，博海通琴......"