呂蒙年輕時，曾因部下的事被江夏太守蔡遺告發，他一點也不怨恨。
後來，豫章太守顧邵去世，孫權詢問他應該讓誰接替顧劭，他推薦蔡遺。
孫權見他不記前嫌，十分高興，笑着對他說：“你是想當祁奚嗎？”
于是任用了蔡遺。
祁奚，字黃羊，春秋時晉國中軍尉。
他想告老退休，晉悼公詢問誰能接替他的中軍尉職務。
祁奚推舉了解狐，而解狐是他的仇人。
孫權此話，無疑是贊揚呂蒙公正無私，唯才是舉。
甘甯性情粗暴，輕于殺戮，不但經常違背呂蒙的心意，也不時違犯孫權的指令。
孫權對此很是惱火，呂蒙卻總是為他說情，說：“天下未定，像甘甯這樣的鬥士實在難得，應該容忍他。”
孫權聽了呂蒙的話，厚待甘甯。
甘甯感恩戴德，誓死為東吳效力，立下不少功勞。
一次，甘甯廚房下一小童犯了過失，逃到呂蒙那裡。
呂蒙怕甘甯殺害這個小童，便将其藏匿起來，沒有馬上将他送回。
後來，甘甯帶着禮物來拜谒呂蒙的母親，要升堂見母時，呂蒙叫出那小童來，甘甯答應不殺，他才還給甘甯，随他回去。
但甘甯卻食言了，回到船上，把小童捆在桑樹上，親自挽弓将他射死。
然後，下令船上的人加強船的纜繩，自己解下衣服卧在船中。
呂蒙聞訊大怒，鳴鼓聚兵，準備上船進擊甘甯。
甘甯聽到動靜，故意躺着不起來。
呂蒙的母親聽說後，急得光着腳跑來，勸阻呂蒙，說：“至尊（孫權）像親兄弟一般看重你，把大事委托給你，你怎麼能夠因私怨攻殺甘甯呢？如果甘甯死了，縱使至尊不追究，你作為臣下，那也是犯罪啊。”
呂蒙是個孝子，聽了母親的話，心裡明白過來。
他親自來到甘甯船上，笑着打招呼，說：“興霸（甘甯字），老母親等你吃飯呢，趕快給我上岸。”
甘甯滿面羞愧，流下淚來，對呂蒙哽咽着說：“是我辜負你了。”
随呂蒙去見他的母親，歡宴竟日。
有一次，孫權對呂蒙說：“你現在擔任要職，執掌權力，不能不學習啊。”
呂蒙推辭說軍中事多，沒有時間學習。
孫權生氣了，說：“我難道是要你研究儒家經典，去做博士嗎？我隻是要你去浏覽書籍，了解過去發生過的事情罷了。你說事多，能有我這樣忙嗎？我還經常讀書，自以為得到很多好處呢。”
于是呂蒙開始讀書，有時在夢中還在學習，日積月累，讀的書都超過了宿儒耆舊。
魯肅到陸口，途經呂蒙駐地。
在他的心目中，呂蒙還是如從前一樣，不過一介武夫罷了。
有人對他說：“呂将軍功名日益顯赫，如今不能用老眼光看待他，你還是去拜訪一下他吧。”
魯肅于是去拜訪呂蒙。
酒到酣處，呂蒙突然問他：“你身負重任，緊鄰關羽的防區，将要采取何種政策，以防止意想不到的事情發生呢？”
魯肅沒想到他會問這個問題，倉猝之間，随意回答說：“臨時看情況再說吧。”
呂蒙嚴肅地說：“現在孫、劉雖然是一家，但關羽實在是個如熊虎一樣的将領，怎麼能不預定計謀呢？”
于是，他詳盡地分析形勢，陳述利害。
魯肅聽後大驚，越席而起，靠近呂蒙，親切地拍着他的背，贊歎說：“呂子明（呂蒙字）啊，我真沒想到你的才能謀略竟達到了如此程度。”
又說：“以你如今的才略，已經不再是吳郡那個時候的阿蒙了。”
呂蒙哈哈大笑，說：“士别三日，當刮目相看。大哥你對這個道理可是明白得太晚了啊。”
這就是“吳下阿蒙”、“刮目相看”成語的由來，也是名句“士别三日，當刮目相看”的出處。
魯肅又去拜見了呂蒙的母親，二人從此結為好友，關系親密。