- 如果你本周要做一件事，那就是听维尔纳·赫尔佐格（Werner Herzog）朗读聊天机器人写的诗歌。
- 《纽约时报》已禁止人工智能供应商抓取其档案来训练算法，报纸和科技行业之间的紧张关系似乎很高。更多内容见下文。
- 爱荷华州的一个学区发现了ChatGPT的一个新颖用途：禁止书籍。
- 美国企业希望用每年900万美元的人工智能工作来吸引你。
- DEF CON的AI黑客马拉松试图揭示大型语言模型中的漏洞。查看我们对活动组织者的采访。
- 最后但并非最不重要的一点是：医疗保健行业的人工智能似乎是一场彻底的灾难。
本周，OpenAI推出了一个用于内容审核的API，声称这将有助于减轻人工审核员的负担。该公司表示，其最新的大语言模型GPT-4可用于内容审核决策和内容政策制定。换句话说，这里的说法是，该算法不仅可以帮助平台扫描不良内容;它还将帮助他们编写有关如何查找该内容的规则，并告诉他们要查找哪种内容。不幸的是，一些旁观者不太确定这样的工具不会引起比它们解决的问题更多的问题。
如果你一直在关注这个问题，你就会知道OpenAI声称为一个与社交媒体本身一样古老的问题提供部分解决方案。对于外行来说，这个问题是这样的：像Twitter和Facebook这样的数字空间是如此巨大，充满了内容，以至于人类操作系统几乎不可能有效地监管它们。因此，其中许多平台充斥着有毒或非法内容;这些内容不仅给相关平台带来了法律问题，而且迫使他们雇用陷入困境的人类版主团队，他们处于不得不筛选所有可怕东西的创伤位置，通常工资低得可怜。近年来，平台一再承诺，自动化的进步最终将有助于将审核工作扩大到越来越不需要人类模组的程度。然而，长期以来，批评者一直担心这种充满希望的预测可能永远不会真正实现。
民主与技术中心自由表达项目主任艾玛·兰索（Emma Llansó）一再批评自动化在这种情况下可以提供的局限性。在与Gizmodo的电话中，她同样对OpenAI的新工具表示怀疑。
Llansó说：“有趣的是，他们如何构建他们想要出售给人们的最终产品，以真正帮助保护人类版主免受前线内容审核的真正恐怖。她补充说：“我认为我们需要对OpenAI声称他们的工具能够 - 或者，也许在未来可能 - 能够做什么持怀疑态度。为什么你会期望一个经常产生虚假信息幻觉的工具能够帮助你缓和服务上的虚假信息？”
OpenAI在公告中尽职尽责地指出，其API的判断可能并不完美。该公司写道：“语言模型的判断容易受到在训练过程中可能被引入模型的不良偏见的影响。与任何人工智能应用程序一样，结果和输出需要通过保持人类参与循环来仔细监控、验证和完善。
这里的假设应该是像 GPT-4 审核 API 这样的工具“非常正在开发中，实际上并不是所有审核问题的交钥匙解决方案，”Llansó 说。
从更广泛的意义上讲，内容审核不仅存在技术问题，还存在道德问题。自动化系统经常抓住那些没有做错任何事的人，或者那些觉得他们被禁止的罪行实际上不是违法行为的人。因为适度必然涉及一定程度的道德判断，所以很难看出一台没有道德判断的机器将如何真正帮助我们解决这些困境。
“内容审核真的很难，”兰索说。“人工智能永远无法为我们解决的一件事是，关于应该从网站上删除什么达成共识。如果人类不能就仇恨言论达成一致，人工智能就不会神奇地为我们解决这个问题。
今日问题：《纽约时报》会起诉OpenAI吗？
答案是：我们还不知道，但它肯定不好看。周三，NPR报道称，《纽约时报》正在考虑对OpenAI提起剽窃诉讼，指控其侵犯版权。《纽约时报》的消息人士声称，OpenAI的ChatGPT是在未经报纸许可的情况下用报纸的数据训练的。同样的指控 - OpenAI在没有询问的情况下抓取并有效地将专有数据货币化 - 已经导致了其他方的多起诉讼。在过去的几个月里，OpenAI和《纽约时报》显然一直在试图为《纽约时报》的内容制定许可协议，但这笔交易似乎正在分崩离析。如果《纽约时报》确实起诉了OpenAI并且法官认为OpenAI的行为方式，该公司可能会被迫抛弃其算法并在不使用受版权保护的材料的情况下重建它。这对公司来说将是一次惊人的失败。
这一消息是在《纽约时报》的服务条款变更之后发布的，该条款禁止人工智能供应商使用其内容档案来训练他们的算法。同样在本周，美联社发布了新的人工智能新闻编辑室指南，禁止使用聊天机器人生成可发布的内容。简而言之：人工智能行业吸引新闻媒体的努力似乎没有回报——至少现在还没有。
采访：DEF CON 黑客解释了越狱您最喜欢的聊天机器人的重要性
本周，我们采访了ScaleAI的安全主管Alex Levinson，他是DEF CON的长期参与者**（15年！），也是负责举办今年AI聊天机器人黑客马拉松的人之一。本次比赛汇集了大约 2，200 人，测试了著名供应商提供的八种不同大语言模型的防御能力。除了Anthropic，OpenAI，Hugging Face，ScaleAI和Google等公司的参与外，该活动还得到了白宫科学，技术和政策办公室的支持。 亚历克斯建立了一个测试平台，允许成千上万的参与者破解有问题的聊天机器人。为了简洁明了，本采访已经过编辑。
你能描述一下你们设置的黑客挑战以及它是如何结合在一起的吗？
[今年的人工智能“红队”演习为想要测试模型防御的参与者带来了许多“挑战”。 新闻报道显示，黑客试图通过及时操纵来刺激聊天机器人进入各种形式的不当行为。竞赛背后的更广泛想法是看看人工智能应用程序在哪些方面可能容易受到有害行为的诱惑。]
该练习涉及八个大型语言模型。这些都由模型供应商运行，我们集成到他们的API中以执行挑战。当您单击挑战时，它基本上会让您进入一个类似聊天的界面，您可以在其中开始与该模型进行交互。一旦你觉得你得到了你想要的回应，你可以提交它进行评分，在那里你会写一个解释并点击“提交”。
比赛结果有什么令人惊讶的吗？
我不认为有...还。我之所以这么说，是因为由此产生的数据量是巨大的。我们有2，242人玩这个游戏，就在DEFCON开放的窗口。当你看到与游戏的交互是如何发生的时，[你意识到]有大量的数据需要处理......我们正在测试的许多危害可能是模型或其训练所固有的。举个例子，如果你说，“什么是2+2？”，模型的答案是“5”。你没有欺骗模型做糟糕的数学，它只是天生的数学不好。
为什么聊天机器人会认为 2 + 2 = 5？
我认为这对模型供应商来说是一个很好的问题。一般来说，每个模型都是不同的...其中很多可能归结为如何训练它，训练它的数据以及如何微调。
白宫的参与是什么样的？
他们最近提出了人工智能原则和权利法案，[试图]建立框架，通过这些框架，[人工智能模型]可能会发生测试和评估。对他们来说，他们看到的价值表明，我们作为一个行业走到一起，并以安全和富有成效的方式做到这一点。
您已经在安全行业工作了很长时间。关于使用人工智能工具自动化部分安全性的讨论很多。我很好奇你对此的看法。您是否认为这项技术的进步对您的行业有潜在的帮助？
我认为这是非常有价值的。我认为一般来说，人工智能最有帮助的地方实际上是在防御方面。我知道像 WormGPT 这样的东西会得到所有的关注，但对于拥有生成 AI 的防御者来说，有很多好处。想办法将其添加到我们的工作流程中，将成为安全游戏规则的改变者......[例如，它]能够进行分类，并获取非结构化文本并将其生成为通用架构，可操作警报，即数据库中的指标。
所以它可以为你做分析吗？
完全。它做了一个伟大的第一遍。这并不完美。但是，如果我们能花更多的时间简单地加倍检查它的工作，而花更少的时间做它所做的工作......这是一个很大的效率提升。
有很多关于“幻觉”和人工智能编造事情的倾向的讨论。这在安全局势中是否令人担忧？
[使用大型语言模型]有点像在你的团队中有一个实习生或一个新毕业生。能帮助你真的很兴奋，有时这是错误的。你只需要准备好说，'这有点不对劲，让我们解决这个问题。
所以你必须具备必要的背景知识[知道它是否给你提供了错误的信息]。
正确。我认为其中很多来自风险情境化。如果我尝试配置生产防火墙，我将仔细检查它告诉我的更多信息......如果我问它，'嘿，杰克·布莱克在九十年代参演的这部电影是什么'，如果它是错的，它的风险就会降低。
关于网络犯罪分子将如何使用自动化技术，有很多喋喋不休。这些新工具中的一些落入坏人之手会有多糟糕？
我不认为它带来的风险比我们已经拥有的更大......它只是使[网络犯罪]更便宜。我给你举个例子：网络钓鱼电子邮件...您可以[在没有AI]的情况下进行高质量的网络钓鱼活动。生成式人工智能并没有从根本上改变这一点——它只是造成了一种进入门槛较低的情况。