刘秉忠自幼聪颖，八岁入学就能日诵文数百言。十三岁在帅府做人质，十七岁为邢台节度使府令史，以便于就近奉养其亲。刘秉忠为令史时常郁郁不乐，便弃官隐居于武安山中。若干年后，被天宁寺虚照禅师收为徒弟。后又云游云中，留居南堂寺。
元世祖即位之前，海云禅师奉召，路过云中时，听闻刘秉忠博学多才，邀与同行。刘秉忠拜见元世祖后，元世祖甚为称赞，多次垂询。刘秉忠生活阅历广泛，文学修养渊深，志向高远而又性情洒脱。视富贵如浮云，轻功名似梦幻。
刘秉忠一生文学著述很多，有《藏春集》六卷，《诗集》二十二卷，《文集》十卷，《平沙玉尺》四卷，《玉史新镜》二卷等。 公元 1274年（元至元十一年）的春天，刘秉忠随元世祖忽必烈到达元上都（今内蒙古正蓝旗东北）。他在郊区南屏山建了一个小屋，独自居于林间，吟咏诗词，怡然自乐。同年八月，他无疾端坐而卒，享年五十九岁。
“大元”的国号是至元八年（1271）十一月，忽必烈听从刘秉忠的建议正式确立的。刘秉忠认为元朝这一时期取得的成就是历朝历代所没有的，按照《易经》“大哉乾元”的意义，取“大元”为新的国号。中华文化体系中，国号是一个朝代最关键的政治文化象征。《春秋传》曰：“王者受命而王，必择天下之美号以自号也。”
这一从字义的角度命名朝代的做法被沿用下来，明朝和清朝继续这一原则，甚至中华民国、中华人民共和国也从字义的角度命名国家名称。
“元”的内涵与蒙古人的“长生天”信念恰好契合，顺应忽必烈“应天者惟以至诚，拯民者莫入实惠”的战略思维，能够得到蒙古民族的认同，符合刘秉忠“酌古宜今”的政治策略。
刘秉忠是元朝国都元大都的规划设计者，奠定了北京市最初的城市雏形。
1256年，忽必烈还在潜邸，但已有雄霸中原的计划，为了进军中原，他要求刘秉忠在桓州东、滦水北设计修建一座城。刘秉忠用了3年的时间完成了这一工作。
城修好后，取名开平，后来升为上都，忽必烈就是在此登上皇帝宝座的，其遗址在今内蒙古正蓝旗东20公里处。
至元三年(1266)，刘秉忠又奉命在原燕京城东北设计建造新的都城，取名大都，即今天的北京城前身。元大都从1267年开始修建，直到1285年才告完工，历时18年之久。