光武帝劉秀是一個非常謙虛随和的人，當了皇帝以後并沒有擺起架子，拒人于千裡之外。早在天下尚未統一的時候，劉秀在洛陽接見了隗嚣的使者馬援。此前馬援先到成都會見舊友公孫述，可是公孫述絲毫沒有念舊之情，擺出一副皇帝的架勢。劉秀接見馬援的時候，沒有舉行正式的儀式，而是身着便裝，連帽子都沒帶，獨自一人坐在宣德殿的廊庑下面。光武帝見到馬援以後，就笑着說：“貴客來往于兩個皇帝之間，真是難得，有機會見到貴客真是榮幸啊！”劉秀的平和态度深深地感染了馬援。馬援說當今天下不僅是君選擇臣，也是臣在選擇君，陛下真是明君。馬援對比了劉秀的平易和公孫述的虛僞之後說：“陛下就不怕我是刺客嗎？”劉秀大笑道：“你不是刺客，不過是個說客！”劉秀的平易近人深深地打動了馬援，雖然馬援沒有能說服隗嚣歸順劉秀，馬援自己則是心悅誠服地歸順了劉秀。
建武十七年（41年），光武帝劉秀衣錦還鄉，來到南陽郡（治今河南南陽市）的舊居，與宗族親友一起歡聚。在宴席上，光武帝的嬸子伯母們喝多了酒以後說道：“文叔（劉秀的字）過去是一個非常謹慎很少與人打交道的人，感覺很柔弱内向，如今竟然能夠取得這樣的業績。”劉秀聽到這些話以後大笑道：“我治理天下，依靠的也是‘柔術’。”
光武帝劉秀的平和還展現在他對待“逸民”、“隐士”等人的态度上。光武帝在位期間，太原郡（治今山西太原市）有一個叫周黨的人，名頭很大，朝廷多次征召他出來做官，他始終不肯出仕，甚至穿着粗布衣服，用樹皮包着頭去見朝廷官員。光武帝親自召見周黨，周黨并不因為劉秀是皇帝而卑躬屈膝，當面向劉秀表達了自己不願出仕的願望。對于周黨的桀骜不馴，當時就有人指責他驕悍無禮，應按“大不敬”來治罪。不過光武帝劉秀倒是挺灑脫，他下诏說：“自古聖明帝王在位的時候，都會有不肯出仕的人，比如周武王時有伯夷、叔齊。太原郡的周黨不願意出仕，我也不強人所難，賜四十匹綢緞，讓他回家吧。”
莊光，字子陵，浙江餘姚人。後來因為漢明帝名叫劉莊，按照當時的避諱制度，“莊”字改為同義詞“嚴”，是以史書稱他為嚴子陵。嚴子陵是光武帝劉秀在太學上學時的同學，不僅有才，而且品德高尚。光武帝當上皇帝以後，就想到了自己昔日的同學，下令各地訪求嚴子陵。後來山東地區報告有一個人與皇帝要找的人很相像，于是光武帝就派人前去請他，請了多次才把他請到了洛陽。
嚴子陵來到洛陽以後，安排在京師護衛軍營住下，政府特地供給他床褥等用具，就連飲食都由宮中管膳食的官每天早晚供給。司徒侯霸與嚴光是老相識，派人送信給嚴光。送信的人便對嚴光說：“侯大人聽說嚴先生來了，一心想立刻就來拜訪，限于朝廷的有關制度，是以不能來。希望能在天黑後，親自來向你表達歉意。”嚴光不說話，将書簡扔給送信的人，口授一封回信說：“君房先生：你現在官位做到了三公，這很好。如果懷着仁心輔助仁義，天下都高興。但是如果隻是拍馬屁看人臉色辦事，可就要身首異處了。”侯霸收到信看過，封好了再上給光武帝。光武帝笑着說：“這狂家夥還是老樣子。”當天就親自來到嚴光居住的館舍，嚴光裝睡不起來，光武帝就進了他的卧室，摸着嚴光的肚子說：“唉呀嚴子陵，就不能幫着我做點事嗎？”嚴光繼續裝睡不講話，過了好一會兒，才睜開眼睛，又看了好一會，說：“過去唐堯有那樣聖明的品德，巢父、許由等人聽說唐堯要授予自己官職，尚且去洗耳朵。讀書人本各有志，又何必定要強人所難，讓人做官呢？”光武帝說：“嚴子陵，我竟然不能使你作出讓步？”于是便上車，歎息着離開了。
後來光武帝又請嚴光到宮裡去，談說過去的交往舊事，兩人在一起相處好多天。有次光武帝假裝不經意地問嚴光：“我比過去怎麼樣？”嚴光回答說：“陛下比過去稍稍有點變化。”說完話便睡在一起。嚴光睡熟了，還把腳壓在光武帝的肚子上。第二天，太史奏告，有客星沖犯了帝座，很厲害。光武帝笑着說：“我的老朋友嚴子陵與我睡在一起罷了。”
影視作品中的陰麗華
光武帝授予嚴子陵谏議大夫的職務，嚴子陵不肯屈意接受，就回到富春山，過着耕種生活，後人把他垂釣的地方命名為嚴陵濑。建武十七年（41年），光武帝又一次征召嚴子陵，但他沒有去。嚴子陵一直活到八十歲，在家中去世。
光武帝當了皇帝以後能不忘舊情，不擺架子，而嚴子陵在故人當了皇帝以後能夠不貪圖富貴，他們之間保持了比較純真的友誼，因而受到後人的景仰。