辽国开国耶律阿保机称帝不久，向群臣发问： 受命之君当事天敬神，你们说应该先祭祀哪一位？ 众人回答： 如来佛。 阿保机说： 佛不是中国的。 一旁的皇太子耶律倍说： 孔子是大圣人，应该先祭孔夫子。
阿保机非常高兴，耶律倍也很高兴，因为他向来仰慕中原，只是他还不知道，他将会为此付出怎样的代价。
阿保机称帝一个月后，年仅18岁的耶律倍被立为皇太子，成为大契丹国名义上的皇位继承人。此后，耶律倍随父皇北伐乌古，西征党项，向南打到河北一带，扩张了契丹的领土。
东边的渤海国同契丹积怨已久，局势安稳后，阿保机便率大军进攻渤海国，皇后述律平、皇太子耶律倍、次子耶律德光全部随行。公元926年，阿保机灭亡渤海国，之后把渤海国改为东丹国，意为 东契丹国 ；同时册封耶律倍为人皇王，让他担任东丹王。
一国之主自然是十分荣耀，但把一个堂堂皇太子封在藩外之国，可见阿保机对于耶律倍是否应该继位犹豫不决，这幅员辽阔的东丹国，可能只是对他的补偿。返回契丹都城的路上，阿保机驾崩，由于他之前没有指定继承人，皇后述律平临朝称制。
虽说耶律倍凭借皇太子的身份，以及东丹国的实力，直接继承帝位未必很难，但受儒家文化忠孝观念影响的他，也不想和母后及弟弟闹翻，但述律平已经决定大开杀戒。
也许是出于老母亲对小儿子的偏心，又因为耶律倍仰慕汉文化的行为，让维护契丹传统的述律平很恼火，总之她想让担任兵马大元帅的耶律德光继位。于是，她先召集那些与她意见相左的契丹贵族，用契丹的人殉旧俗，逼他们为先帝殉葬。
之后，她让两个皇子骑在马上，对大臣们说： 两个孩子我都很喜欢，但不知选谁做皇帝，你们拥护谁，就去牵他的马。 众人当然知道她的心思，都说： 愿立大元帅。 耶律倍只好说： 德光功勋盖世，众望所归，应该主持国家社稷。 她自然是顺水推舟，于是耶律德光继位，是为辽太宗。
做不成皇帝也罢了，相比君临天下，耶律倍更喜欢群书，吟诗作画。
很早之前，耶律倍就组织建造了契丹国最大的藏书楼 望海堂。当时各地战乱不止，新印刷的书卷少之又少，但他还是四处搜集，使得望海堂的藏书达到一万多卷，故有 万卷藏书楼 之称。
面朝大海，春暖花开，耶律倍决定在此地隐居。但辽太宗不放心他，毕竟他是长子，若他要夺皇位可谓名正言顺。辽太宗于是先把东丹国的臣民迁到内地，又将耶律倍迁到契丹国的南京居住，实际上是把他软禁起来。两年后，耶律倍回到东丹封国，辽太宗又 诏置人皇王仪卫 ，名为抚慰兄长，实则是直接监视。
受人监视的令耶律倍十分郁闷，还不能表现出来愤怒，以免落人话柄。所以，当后唐明宗李嗣源的邀请信又一次送达他手中时，他决定远去中原。这样一来，他不仅能更好地接触了解汉族文化，还能打消弟弟的顾虑。
公元930年，后唐使节再次前来邀请，耶律倍对左右侍从说： 我把天下让给主上，如今反而遭受怀疑；不如投奔他国，以成就像吴太伯一样的贤名。 吴太伯又称泰伯，是周太王的长子，知道父王想立小儿子季历为继承人，便和二弟仲雍逃到江南，建立吴国，后世称赞他们有 让国 的贤名。
临走时，耶律倍在海边立了一块木牌，上面刻了一首诗： 小山压大山，大山全无力。羞见故乡人，从此投外国。 寥寥几笔，满满都是无奈之情，清代赵翼曾如此评价该诗： 情词凄婉，言短而意长，已深有合于风人之旨矣。 之后，耶律倍带着爱妃高美人和部分随从，将一些书籍装运到船上，渡海逃向后唐。
在后唐，耶律倍不仅受到李嗣源的礼待，还担任了节度使。辽太宗也没有追究他逃到后唐的事情，后来他们之间也常有使者来往，不再有压力的耶律倍又拿起了画笔。
着名的《骑射图》就是他在后唐时所画，画中之马头大颈厚，身长肢短，却健硕异常，承继了隋唐五代以来的人马画传统，人马造型血肉俱足。
这样吟诗作画的日子很惬意，但命运很快又跟他开了一个玩笑，他再次卷入帝位之争。
后唐应顺元年（934），李嗣源的养子李从珂弑杀刚登基不久的李嗣源之子，自立为皇帝。这让耶律倍非常愤怒，不仅因为李嗣源对他有大恩，更因为作为儒家文化的忠实拥护者，他无法忍受这种弑君的行为。
他托人报告给辽太宗： 李从珂弑君，应当讨伐他。 后来辽太宗也确实出兵了，不过这主要是因为，同李从珂有矛盾的后唐叛将石敬瑭向契丹称臣借兵。
公元936年，后晋皇帝石敬瑭率军围困后唐都城洛阳。李从珂见大势已去，想要自焚，忽然想起了耶律倍，便召还在洛阳的他和自己一起自焚。耶律倍不从，李从珂就派人将他直接杀害了。
耶律倍死后，只有一位僧人为他草草收尸。后来，辽太宗迎回了他的尸骨，追认他为契丹皇帝。几年后，契丹内部经过一些斗争，耶律倍的儿子继位为辽世宗，追尊父王耶律倍为皇帝，谥号让国皇帝。之后，几乎所有大辽皇帝（包括北辽的皇帝）都是耶律倍的嫡系子孙。
耶律倍在中原的画作被人收藏起来，历经战乱，最终藏于大内皇宫的秘府中，据《宣和画谱》记载共有15幅。可惜靖康之耻、宋室南渡后，这些画留存下来的不多。
身为北方草原的画家，耶律倍擅画水草放牧或游骑射猎的情景，特别擅长画鞍马，北宋画家黄休复评价他 骨法劲快，不良不驽，自得穷荒之态 。
耶律倍也擅长写契丹文诗歌，金代元好问曾经读过他的契丹诗，并作《东丹骑射》题画诗云： 意气曾看小字诗，图画今又识雄姿。 他还曾经把汉文《阴符经》翻译为契丹文，促进了中原和北方的文化交流。
可以说，集藏书家、阴阳学家、医学家、音乐家、文学家、翻译家、汉学家和画家等于一身的耶律倍，是一位博学多才的儒者，堪称辽代第一位大艺术家。只可惜，对于立国不久，急需开疆拓土的大辽国来说，他们需要的并不是一个艺术家皇帝。