司馬遷寫的《史記》在《秦始皇本紀》這一卷中說:秦始皇即位後的第二十八年，曾派齊人徐市率領童男童女數千人，入海求仙人。後來的史書也一再提到這一曆史事件，但是把徐市寫成了徐福。據說徐市本應是徐芾。“芾”的發音與“福”相同。司馬遷寫成了徐市，丢了個草字頭，後人怕與“市場”的“市”混淆，才改成了徐福。後來的史書不但把徐市改成徐福，還說徐福沒有找到仙人，不敢回來，就渡海逃往了亶(dan)洲。這亶洲經地理學家考證，就是後來的日本。據說徐福帶去的數千童男童女長大後互相婚配，生兒育女，在當地紮下了根，成了日本人。日本的一些民間傳說甚至說，後來徐福被日本人推舉為王，就是日本的神武天皇。他死後就葬在日本，留下一座很大的陵墓。
清朝光緒年間一位出使過外國的官員在他的《出使日記》中提到，黎庶昌任駐日公使的時候，曾在日本各地尋訪徐福墓，結果發現在和歌山縣的新宮市真的有座徐福墓。墓不算太大，有三四丈高，墓旁有兩株古樹。據當地父老傳說，徐福初到日本登陸之地就在離新宮市約 3.5 千米的海灘上，是以那地方被稱為秦須，“秦”是指中國的秦朝，“須”是停留的意思，指秦朝的徐福曾在那裡登陸停留了一段時間。還說徐福在日本繁衍的子孫多姓秦，也有姓徐的，還有姓福岡的。就連當地漁民捕鲸的方法也是徐福教授的，是以後來日本漁民捕到鲸魚以後，必定要到徐福墓前報祭。
但是有人對徐福曾東渡到日本的說法表示懷疑，他們說，從春秋戰國到秦漢時期，中國沿海的居民為了躲避戰亂，渡海到日本或經過北韓到日本的人很多，但這裡并不包括徐福和他率領的童男童女，理由是徐福帶這麼多人去日本，日本古代的曆史書上一定會有記載，可是事實上此事在日本隻有民間傳說，并不見有史書記載。近代日本有位專門研究中日交通史的權威學者木宮泰彥，在他的著作《中日交通史》中，也隻字未提徐福航海到了日本的事。至于說徐福是日本的神武天皇，那就更離奇了。因為神武天皇隻是日本神話傳說時代的人物，雖然日本的軍國主義者對他吹噓得很厲害，可正經嚴肅的日本曆史學家卻根本不承認有神武天皇這個人。至于徐福登陸新宮市，留有姓秦、姓徐、姓福岡的後代，傳下來捕鲸的方法等等，也都是民間傳說，并非信史。徐福墓可能也不是真的，而是後人根據傳說修築的，為的是擴大新宮市的影響，提高它的知名度。
雖然有人懷疑徐福到過日本，但認為徐福确是到了日本的還是大有人在。他們的理由是:徐福在曆史上确有其人，經學者們考證，他是江蘇贛榆縣徐阜村人，贛榆縣今屬連雲港市，在江蘇與山東交界處，這與《史記》中說他是“齊人”是相符合的。徐福航海的出發之地，據明末清初人黃宗羲的《南雷文約》記載(明州香山寺志序》說，就在明州(今浙 江甯波)。從明州往東到日本不遠，在日本新宮市登陸不會遇到太大的困難。黃宗羲是一個很嚴肅的學者，他在文章中這樣寫，一定是經過調查考證的。另外，也可以利用反證法來證明徐福是到了日本的，假如徐福帶着數千童男童女從明州起航，沒有到達日本，那麼便有幾種可能:其一，航海遇到了風浪，船隻沉沒，數千人全部遇難。但這樣的大事在中國和日本的史書上一定會有記載，可是查遍中日史書卻沒有這方面的隻言片語。其二，他們沒有到達日本，而是在中國沿海的島嶼上登陸了。但如果這樣，秦始皇一定會派人去追殺。隻有到了日本，秦始皇的權力達不到了，這才使他們能夠生存下來。至于說這些事僅是民間傳說，可以這樣講，傳說雖然未必完全可靠，但是俗話說，無風不起浪。沒有一點兒根據全都是瞎編的傳說卻也很少聽說過，大緻上都是先有基本的事實，然後在口耳相傳中不斷加工、豐富。删去那些在傳播過程中加上的枝葉，基本的事實應當是可信的。徐福的事既然在日本的傳說那麼多，不可能全都是空穴來風，必然有其可信的基本事實，即:徐福曾經到了日本，他帶去的幾千童男童女有些死于途中，而大部分則在日本定居，并逐漸融合于日本人之中。
懷疑徐福東渡到了日本的理由雖然不少，認為徐福确是到了日本的理由也很多。那麼徐福究竟到沒到過日本，那些傳說和遺迹到底是真是假?假若徐福沒有到過日本，那些傳說為什麼會和他聯系起來?這一連串的謎團至今依然沒有解開。