孤竹國國君寵愛他的第三個兒子叔齊，臨終留下遺命，指定叔齊繼承國君之位。但是，叔齊認為伯夷是父王的長子，應由大哥伯夷繼位。伯夷卻說：“叔齊繼 位，是父親的遺命，我不能違背父親的遺願!”于是離家出走。叔齊也不願當國君，也跟着伯夷走了。孤竹國的大臣們隻好擁立國君的次子繼位。
叔齊和伯夷離開孤竹國之後，商量到何處安身，他們聽說西伯姬昌積德行善，樂意收養老人，便決定去投奔西伯姬昌。當兄弟二人長途跋涉趕到岐周時，西伯姬昌 早已逝世，正遇上武王率軍去讨伐失德無道的商纣。他們上前拉住馬缰勸阻武王說：“你的父親死去後不安葬，卻大動幹戈，能說是孝嗎?身為帝纣的臣子，而興兵 弑君，能說是仁嗎?”武王的将士聽了非常憤怒，舉起長矛要殺了他們。太公望連忙制止說：“他們是兩位仁人義士，不能殺!”說着就把他倆扶到一邊。
武王滅亡殷商後，天下諸侯及人民都承認武王的天子地位。伯夷、叔齊卻以此為恥。他們認為自己雖沒能制止這種不道義的行為，但一定要堅守自己的信念。于是 他們決定隐居首陽山(今山西永濟)，甯做殷商的遺民，而不當周朝的順民。為了和周朝徹底劃清界限，二人決定不再吃周朝的糧食，而靠采集薇菜充饑。到了冬 天，薇菜沒有了，他們餓得皮包骨。在這面臨餓死之際，他們想到堯舜盛世已一去不複返，自己不願與現世同流合污而又走投無路，不禁悲傷地唱道：“北風真涼啊 登首陽，采摘薇菜啊充饑腸。以惡易惡啊逞兇狂，不知其錯啊在何方。唐堯虞舜啊去天堂，兄弟二人啊歸哪鄉?嗚呼哀哉啊命不長，哀哉嗚呼啊人将亡。”結果兄弟 二人就這樣活活餓死在首陽山上了。
後來的孔子贊歎他們說：“不放棄自己信奉的理想，不同流合污玷辱自己，伯夷叔齊就是這樣的人啊!”