司马迁写的《史记》在《秦始皇本纪》这一卷中说:秦始皇即位后的第二十八年，曾派齐人徐市率领童男童女数千人，入海求仙人。后来的史书也一再提到这一历史事件，但是把徐市写成了徐福。据说徐市本应是徐芾。“芾”的发音与“福”相同。司马迁写成了徐市，丢了个草字头，后人怕与“市场”的“市”混淆，才改成了徐福。后来的史书不但把徐市改成徐福，还说徐福没有找到仙人，不敢回来，就渡海逃往了亶(dan)洲。这亶洲经地理学家考证，就是后来的日本。据说徐福带去的数千童男童女长大后互相婚配，生儿育女，在当地扎下了根，成了日本人。日本的一些民间传说甚至说，后来徐福被日本人推举为王，就是日本的神武天皇。他死后就葬在日本，留下一座很大的陵墓。
清朝光绪年间一位出使过外国的官员在他的《出使日记》中提到，黎庶昌任驻日公使的时候，曾在日本各地寻访徐福墓，结果发现在和歌山县的新宫市真的有座徐福墓。墓不算太大，有三四丈高，墓旁有两株古树。据当地父老传说，徐福初到日本登陆之地就在离新宫市约 3.5 千米的海滩上，所以那地方被称为秦须，“秦”是指中国的秦朝，“须”是停留的意思，指秦朝的徐福曾在那里登陆停留了一段时间。还说徐福在日本繁衍的子孙多姓秦，也有姓徐的，还有姓福冈的。就连当地渔民捕鲸的方法也是徐福教授的，所以后来日本渔民捕到鲸鱼以后，必定要到徐福墓前报祭。
但是有人对徐福曾东渡到日本的说法表示怀疑，他们说，从春秋战国到秦汉时期，中国沿海的居民为了躲避战乱，渡海到日本或经过朝鲜到日本的人很多，但这里并不包括徐福和他率领的童男童女，理由是徐福带这么多人去日本，日本古代的历史书上一定会有记载，可是事实上此事在日本只有民间传说，并不见有史书记载。近代日本有位专门研究中日交通史的权威学者木宫泰彦，在他的著作《中日交通史》中，也只字未提徐福航海到了日本的事。至于说徐福是日本的神武天皇，那就更离奇了。因为神武天皇只是日本神话传说时代的人物，虽然日本的军国主义者对他吹嘘得很厉害，可正经严肃的日本历史学家却根本不承认有神武天皇这个人。至于徐福登陆新宫市，留有姓秦、姓徐、姓福冈的后代，传下来捕鲸的方法等等，也都是民间传说，并非信史。徐福墓可能也不是真的，而是后人根据传说修筑的，为的是扩大新宫市的影响，提高它的知名度。
虽然有人怀疑徐福到过日本，但认为徐福确是到了日本的还是大有人在。他们的理由是:徐福在历史上确有其人，经学者们考证，他是江苏赣榆县徐阜村人，赣榆县今属连云港市，在江苏与山东交界处，这与《史记》中说他是“齐人”是相符合的。徐福航海的出发之地，据明末清初人黄宗羲的《南雷文约》记载(明州香山寺志序》说，就在明州(今浙 江宁波)。从明州往东到日本不远，在日本新宫市登陆不会遇到太大的困难。黄宗羲是一个很严肃的学者，他在文章中这样写，一定是经过调查考证的。另外，也可以利用反证法来证明徐福是到了日本的，假如徐福带着数千童男童女从明州起航，没有到达日本，那么便有几种可能:其一，航海遇到了风浪，船只沉没，数千人全部遇难。但这样的大事在中国和日本的史书上一定会有记载，可是查遍中日史书却没有这方面的只言片语。其二，他们没有到达日本，而是在中国沿海的岛屿上登陆了。但如果这样，秦始皇一定会派人去追杀。只有到了日本，秦始皇的权力达不到了，这才使他们能够生存下来。至于说这些事仅是民间传说，可以这样讲，传说虽然未必完全可靠，但是俗话说，无风不起浪。没有一点儿根据全都是瞎编的传说却也很少听说过，大致上都是先有基本的事实，然后在口耳相传中不断加工、丰富。删去那些在传播过程中加上的枝叶，基本的事实应当是可信的。徐福的事既然在日本的传说那么多，不可能全都是空穴来风，必然有其可信的基本事实，即:徐福曾经到了日本，他带去的几千童男童女有些死于途中，而大部分则在日本定居，并逐渐融合于日本人之中。
怀疑徐福东渡到了日本的理由虽然不少，认为徐福确是到了日本的理由也很多。那么徐福究竟到没到过日本，那些传说和遗迹到底是真是假?假若徐福没有到过日本，那些传说为什么会和他联系起来?这一连串的谜团至今依然没有解开。