天天看点

不会中英互译,百度文心一言变“中文差生”

作者:橡果商业评论
不会中英互译,百度文心一言变“中文差生”

作者 赵翔 姜睿盈

编辑 覃拓

近期,文心一言“套皮”争议愈演愈烈。

一名业内人士告诉《橡果商业评论》,所谓“套皮”,应该是指文心一言采用中英互译方式套用开源模型、采用开源数据加入训练的行为。

据百度发布的相关论文显示,文心一言“文生图”功能在训练时,使用百度翻译进行中英互译。

不会中英互译,百度文心一言变“中文差生”

事实上,百度翻译目前在行业早已掉队,机器翻译效果相比其他人工智能公司差距很大。

《橡果商业评论》将百度翻译与讯飞翻译、腾讯翻译、网易翻译对比发现,百度翻译对名词短语的翻译,存在多义、歧义等问题。

上述业内人士表示:

如果翻译错误,也会直接影响生成模型的效果。

但翻译是中国AI的必经之路。

截至2021年,全球排名前1000万个网站中,英文内容占比60.4%,中文内容占比仅为1.4%。

中国AI需要依赖大量的英文数据集训练。

翻译成为文心一言面前的一座“大山”。

面对技术问题,百度不仅从未正面回应,还不断公开强调“国货”需要时间。

如此发言,似乎是在维护李彦宏“文心一言中文优等生”的自尊心。

文心一言受困于中英互译,中国AI未来在哪里?

一:文心一言“套皮”疑云,自画像竟是“白种男性”?

3月22日,博主@刘大可先生 爆料,文心一言“套皮、画皮、造假”。

@刘大可先生表示,若使用文心一言做图,它会将中文翻译为英文,再使用国外开源的AI文生图模型Stable Diffusion生成图画。

Stable Diffusion与OpenAI的Dall-E 2相似,都是AI文生图模型,由英国公司Stability AI在2022年8月发布。

不会中英互译,百度文心一言变“中文差生”

以“一可以豆子”为例,这句话在汉语中不是完整语言;若使用“百度翻译”直翻英语,结果为“One can beans”。

“可以”被翻译成“can”,根据上下文,“can”被理解为量词,整句意为“一罐豆子”。

所以,让文心一言制图“一可以豆子”,就会得到“一罐豆子”的图片。

这并非个例:

1. “牛肉可以”使用“百度翻译”会得到“Beef can”;

2. “一冰箱可以”为“A refrigerator can ”。

3. “牛奶路”对应翻译“Milk Road”;

相应的,文心一言也会分别生成“一罐牛肉”“装满罐头的冰箱”“银河”的图片。

“直翻”导致错误之外,一词多义的单词们也会让文心一言制图“抓瞎”:

1.“起重机”“百度翻译”为“Crane”;

2.“土耳其”为“Turkey”。

“Crane”更常用的意思为“鹤”,“Turkey”也有“火鸡”之意,所以文心一言会生成“鹤头”“火鸡”的图片。

此外,若让文心一言生成“人像”,不加“中国”关键字,画出的都是“白种人”。

3月16日,《橡果商业评论》让文心一言画“自画像”,却得到一个“白人男性”的图片。

3月23日,百度发声明称“不传谣不信谣”,文心一言“文生图”能力来自文心跨模态大模型ERNIE-ViLG。

不会中英互译,百度文心一言变“中文差生”

二:“猪队友”百度翻译,让文心一言卷入“套皮”风波

文心一言有不一样的答案。

3月23日,据《澎湃新闻》报道,在对话文心一言,询问其是否采用Stable Diffusion时,文心一言不仅承认使用Stable Diffusion,还承认使用Transformer、GRU等深度学习模型来生成图像。

事实上,这并不代表文心一言“文生图”存在所谓“套皮”。

百度官方介绍,文心一言“文生图”功能来自ERNIE-ViLG 2.0。

据百度发布论文《ERNIE-ViLG 2.0:用知识增强型混合去噪专家改进文本到图像的扩散模型》显示,ERNIE-ViLG 2.0的训练数据由1.7亿图文对组成,包括网络公开的英文数据集和百度内部中文数据集。

然而,ERNIE-ViLG 2.0训练阶段,部分训练数据里的中、英文翻译由百度翻译自动翻译。

业内人士唐喆(化名)告诉《橡果商业评论》,百度翻译目前已经掉队,机器翻译效果相比其他人工智能公司存在很大差距。

特别是名词短语翻译,存在多义、歧义等问题,如果翻译错误,也会直接影响生成模型的结果。

以上述“牛肉可以”为例。

《橡果商业评论》用百度翻译结果为“Beef can”(牛肉罐头);腾讯翻译为“Beef is fine”(牛肉不错);网易翻译为“Beef can”(牛肉罐头);讯飞翻译结果为“Beef is OK”(牛肉不错)。

不同翻译软件中,只有腾讯翻译、讯飞翻译回答正确。

唐喆则举例近期最火的“虎头虎脑的胖小子”。

百度翻译为“Big fat kid with a tiger's head and brain”(长虎头的胖子),网易翻译、腾讯翻译也类似。

讯飞翻译结果相对接近,为“A tiger-headed fat boy”(虎头虎脑胖小子);

唐喆解释,文心一言作画能力强调输入文本内容的实体信息,例如“虎头虎脑的胖小子”,会把“虎头”当做单独的实体。

这不仅忽略了整体句子级别的语义理解,也与文心一言发布时提到“中文理解能力强”完全不符。

三:“差生”伪装“优等生”,李彦宏的自尊心游戏?

在3月16日的文心一言发布会上,百度CEO李彦宏用提前录制好的文心一言演示视频,解释其中文理解能力。

例如向文心一言提出“洛阳纸贵”“藏头诗”等问题。

最终李彦宏的结论是,文心一言是扎根中国市场的大语言模型,具备中文领域最先进的自然语言处理能力。

目前看来,文心一言距离李彦宏所言“中文优等生”相差甚远。

唐喆认为,百度采用中英互译方式,无论是套用开源模型还是采用开源数据加入训练,都应该在中文语言理解和中英互译上多加注意。

令人遗憾的是,文心一言技术出现问题,面对质疑,百度并未就此问题进行公开的专业解答。

还以“需要时间学习和成长”“给自研产品信息、时间”为由,消耗着国内用户的耐心与信心。

另一方面,当文心一言答案被指出现问题,答案就会“消失”。

3月23日下午,《橡果商业评论》使用文心一言发现,与“牛肉可以”类似的“XX可以”问题,文心一言答案疑被“屏蔽”。

直到当日晚间,答案才再次恢复,面对“牛肉可以”的指令,文心一言画出的不再是“牛肉罐头”,而是“一盘牛肉”。

这似乎是“升级迭代”?

但继续提问“牛奶路”(Milk Road),生成的图片依然是“银河”(the Milky Way)。

如此操作,并不像是百度口中“学习能力提升”,更像是真人进行的屏蔽、修正。

即便如此,李彦宏在媒体专访时也认为,文心一言能在两个月后追赶到今年一月份的ChatGPT。

唐喆认为,从用户视角来看,文心一言和ChatGPT差距不小。

ChatGPT基本可以满足用户的诉求,反观文心一言,作图能力理解能力双双“丧失”,“从画图结果来看,文心一言更适合玩看图猜成语的游戏。”

四:文心一言受困于中英互译,中国难有ChatGPT?

文心一言距离ChatGPT还有多远?

唐喆认为,文心一言在知识问答、词典、文献检索等方面回答基本过关,这是发挥百度自有搜索引擎的优势。

但在数学、代码、归纳推理、翻译等方面,被ChatGPT甩在身后。

唐喆曾多次询问中国特有的农历,即便百度对文心一言进行过多次修正,文心一言也依然没有给出正确答案。

对于一些常见的亲属关系、推理选择,文心一言展示的推理逻辑看似很有道理,实际是在一本正经地胡说。

唐喆总结:

1.文心一言在中文写作、语法分析上,分析精度和准确性均不高;

2.文本生成、改写、作文等,虽然会有基本格式框架在,但不能仔细阅读内容,内容精细度不如GPT详实和细腻。

3.文心一言在海量信息的参数化全量记忆类型问题,及一些复杂的逻辑思维推理类问题的回复上,不符合用户原始意图的表现居多。

其次,对于安全类敏感类话题,文心一言控制的十分谨慎。

唐喆表示,文心一言的敏感词范围较宽泛,处理逻辑也略显粗暴。

例如,若用户A问出带有敏感词的问题,文心一言为防止A继续发文,会强制关闭A的对话框。

在此类问题上,ChatGPT相对更加客观,会增加正向引导和安抚。

唐喆认为,通过上述例子可见,百度内部细化、分层不够,处理不灵活。

事实上,对文心一言来说,现阶段最重要的事,是寻找百度翻译替代品。

有业内人士表示,虽然简体中文互联网用户和英文互联网用户规模相当,但截至2021年,全球排名前1000万的网站中,英文内容占比60.4%,中文内容占比仅为1.4%。

中国AI需要依赖大量的英文数据集训练,否则会吃亏。

文心一言若想成为“中国版”ChatGPT,需做好第一步中英互译。

在文心一言“文生图”还在“看图猜成语”之时,据最新消息,OpenAI宣布ChatGPT支持接入第三方插件,并上架11个插件。

其中Browsing插件支持ChatGPT实时搜索互联网内容。

解除“封印”的ChatGPT将涌现无数可能性。

毫无疑问,全能AI助理时代即将到来。

但时至今日,中国依然被ChatGPT“封区锁服”。