孤竹国国君宠爱他的第三个儿子叔齐，临终留下遗命，指定叔齐继承国君之位。但是，叔齐认为伯夷是父王的长子，应由大哥伯夷继位。伯夷却说：“叔齐继 位，是父亲的遗命，我不能违背父亲的遗愿!”于是离家出走。叔齐也不愿当国君，也跟着伯夷走了。孤竹国的大臣们只好拥立国君的次子继位。
叔齐和伯夷离开孤竹国之后，商量到何处安身，他们听说西伯姬昌积德行善，乐意收养老人，便决定去投奔西伯姬昌。当兄弟二人长途跋涉赶到岐周时，西伯姬昌 早已逝世，正遇上武王率军去讨伐失德无道的商纣。他们上前拉住马缰劝阻武王说：“你的父亲死去后不安葬，却大动干戈，能说是孝吗?身为帝纣的臣子，而兴兵 弑君，能说是仁吗?”武王的将士听了非常愤怒，举起长矛要杀了他们。太公望连忙制止说：“他们是两位仁人义士，不能杀!”说着就把他俩扶到一边。
武王灭亡殷商后，天下诸侯及人民都承认武王的天子地位。伯夷、叔齐却以此为耻。他们认为自己虽没能制止这种不道义的行为，但一定要坚守自己的信念。于是 他们决定隐居首阳山(今山西永济)，宁做殷商的遗民，而不当周朝的顺民。为了和周朝彻底划清界限，二人决定不再吃周朝的粮食，而靠采集薇菜充饥。到了冬 天，薇菜没有了，他们饿得皮包骨。在这面临饿死之际，他们想到尧舜盛世已一去不复返，自己不愿与现世同流合污而又走投无路，不禁悲伤地唱道：“北风真凉啊 登首阳，采摘薇菜啊充饥肠。以恶易恶啊逞凶狂，不知其错啊在何方。唐尧虞舜啊去天堂，兄弟二人啊归哪乡?呜呼哀哉啊命不长，哀哉呜呼啊人将亡。”结果兄弟 二人就这样活活饿死在首阳山上了。
后来的孔子赞叹他们说：“不放弃自己信奉的理想，不同流合污玷辱自己，伯夷叔齐就是这样的人啊!”