沈萬三在民間很有知名度，根據明史記載，他當年幫着朱元璋修建了三分之一的南京城，可謂是功不可沒，後來他又自告奮勇要出錢犒勞軍隊，這卻惹惱了朱元璋，他認為沈萬三是在故意向他炫富，圖謀不軌，朱元璋想以謀反罪殺掉沈萬三，但在馬皇後的求情之下，才被免了死罪，發配到了雲南。
實際情況是，朱元璋和沈萬三并沒有交集，早在明朝還沒有建立時，沈萬三就病死了。一個已經死去了的人，是不可能再出資修建南京城，更不用說流放雲南了。
不過，雖然沈萬三和朱元璋沒有直接的聯系，但沈家卻是實實在在遭受了朱元璋的打擊後逐漸衰敗的。明朝初期，朱元璋大肆地殺戮功臣，沈家也受了牽連。在胡惟庸一案上，沈萬三的女婿陸仲和被扣上了胡黨的罪名，被滿門抄斬。
在洪武二十六年，即1363年，大明藍玉謀反案中，沈家再次遭到了徹底、毀滅性的打擊。朱元璋之是以要斬殺大将藍玉，最初的目的是為了保護年幼的皇長子朱允炆登基後，不受那些功高蓋主的勳舊們的挾持和擺布，威脅新皇帝的統治。是以，他一面鏟除最有威脅性的功臣，一面斬斷民間富豪的根脈，不幸的是，沈家又被列入了被打擊的名單之内。
俗話說，“君叫臣死，臣不得不死”。朱元璋有一千個理由可以将文武大臣置于死地。更何況已經查明沈家早就卷入了藍玉的關系網中，這就為朱元璋名正言順地鏟除沈家有了實在的依據。而制造這個機會的，是一個名叫王行的教官先生。是他将沈家羅織進了藍玉一黨中。
王行曾經在沈家做過多年的教書先生，後來又轉到了藍玉的府上繼續做，沈家為了攀附權貴，就想通過王行為自己牽線搭橋，與藍玉建立密切的聯系。結果反而給了朱元璋一個借口，導緻了沈家被滿門抄斬。
沈萬三創造的巨大家業，也是以畫上了句号。之是以沈萬三幫助朱元璋建南京城在民間傳得沸沸揚揚，與明初年，朱元璋強行遷徙江浙地區的富戶“充實都城”有關。
朱元璋的仇富心理很極端，他為了打造自己的繁榮帝國，強行對富戶采取遷徙的手段，将蘇州、杭州、嘉州、湖州等地的四千多的富戶集體遷到了南京。美其名曰是為了都城的繁榮昌盛，實際上是将大批的富豪連根拔起，變相地掠奪他們的财富。
沈萬三的典故就是出于這個背景。至于說沈萬三充軍雲南，也是因為朱元章平定雲南後，便不斷将内地的居民遷往雲南。這項舉措也是對富戶變相的打擊報複，因為在這些移民中，百分之六十都是富戶。