大家好，我是天使投资人陈雨墨，致力于高新战略产业研究与投资。今天想和铁粉们交流一个话题：《7年内超级AI将问世！OpenAI宣布：20%算力投入，4年内控制超级智能》。
一、20%算力用来解决AI失控问题：
为了控制、引导超级智能对齐问题，OpenAI组建了一支由Ilya Sutskever（OpenAI联合创始人兼首席科学家）和Jan Leike领导的人工智能对齐团队——Superalignment。
同时该团队也是对OpenAI现有工作的补充，可提升ChatGPT等产品的安全性，包括非法滥用、经济破坏、虚假信息、偏见和歧视、数据隐私和其他可能出现的问题。
他们预测，超智能AI（即比人类更聪明的系统）可能在这个十年（2030年前）就会到来，人类将需要比目前更好的技术来控制超智能AI，因此需要在所谓的“一致性研究”方面取得突破，该研究的重点是确保人工智能对人类有益。
根据他们的说法，在微软（Microsoft）的支持下，OpenAI将拿出未来四年所获算力的20%用于解决AI失控的问题。此外，该公司正在组建一个新的团队来组织这项工作，称为超级一致性团队。
我先用一部电影来解释下，openai为什么要建立这个部门吧。
骇客帝国，讲的是人工智能控制了全世界，其用人类作为电池，给人工智能系统供电，人类只能在虚幻中度过一生，最后NEO（基努里维斯）觉醒，成为救世主，打败母体，解放人类。
这个里面一个核心信息，就是人工智能发展到后期，摆脱了人类的控制，从服务人类，变成了人类的主宰！
过往的各种技术，更多的是训练AI更拟人化甚至超人化，能更快更好的辅助人类完成各项任务。而openai成立这个部门，更多的是要驯服AI，运用人工智能对齐技术，让AI遵守人类的道德及法律约束，不能凌驾于人类之上。这个意义，简直无比巨大
二、什么是人工智能对齐及实现路径
人工智能对齐 ➔ 间接规范➔constitutional ai ➔ 人工反馈强化训练
1、什么是人工智能对齐什么是人工智能对齐？
简单来说，就是确保人工智能系统的目标和人类价值观一致，使其符合设计者的利益和预期，不会产生意外的有害后果。这听起来很简单，但当人工智能变得越来越强大复杂时，问题也会越来越棘手。目前，相比研究如何让AI更强大，人工智能对齐还是一个较小的研究领域。但实际上，人工智能对齐更像是一场与时间赛跑，我们需要在技术失控前找到解决方案。
2、人工智能实现的路径是什么？
A.间接规范性（Indirect Normativity）是最为可行的技术
如何让AI懂规矩，明白人类的价值观，目前的做法可以分为两类——直接规范性和间接规范性。直接规范性是指给AI明确的、详细的规则来让其遵守 。直接规范性包括康德的道德理论、功利主义。这个做法有非常多的弊端，每条规则都有它的漏洞，来填补这些漏洞，我们就需要加入更多的规则。这些明确的规则所包含的意义往往是模糊甚至矛盾的。 人类的价值观念以及对价值的权衡过于复杂，难以直接编入AI程序中。因此，有很大一部分人认为需要被编入程序中的更应是一种理解人类价值的过程，也就是间接规范性。
间接规范性不会给AI输入明确的规范准则，而是让AI根据一个体系来自己衡量价值，权衡利弊。这是一个更为抽象的系统。我们想要的是一种能够为自己创造价值体系的人工智能，它将预测并满足我们未来的需求，同时人类也不会牺牲当下社会的需求。
因此，从未来发展看，间接规范性是最为可行的技术！
B.可扩展监管 （Scalable Oversight）
随着人工智能系统规模扩大，对它的监督难度也随之升高。人工智能系统将会解决更多复杂的任务，而人类难以评估这些成果的实际效用。普遍而言，如果人工智能在某一领域的能力超过人类，那么对其成果的评估和监管就会变得十分困难。 为了对这类难以评估的成果作出有效监管，并分辨出人工智能提供的解决方案有效和无效的部分，人类需要花费大量时间和额外的协助。 因此，可扩展监管（Scalable Oversight）的目标是减少监管过程所花费的时间、精力和金钱，并帮助人类更好地监督人工智能的行为。
C.“人工反馈强化训练”技术和“Constitutional AI”技术
“人工反馈强化训练”技术和“Constitutional AI”。这两个研究也是致力于实现人工智能对齐领域的最前沿的技术。“人工反馈强化训练”技术采用的更多的是直接性规范。RLHF主要依靠人类对 AI 模型的回应进行评级反馈 ，研究人员再将这些人类的偏好反馈给模型以告诉 AI 哪些回应是合理的。这就造成了 是一个过于依赖人工的技术，使用这个技术让研究人员会被暴露在各种过激的 AI 回应当中。
与之相比“Constitutional AI”则是一系列的「原则」，其理念更接近间接性规范，将 AI 引导向一个更安全、更有帮助的方向 ，帮助 AI 系统在没有人类反馈下解决透明度、安全性和决策系统的问题，让 AI 实现自我管理。
因此来说，人类反馈强化训练是人工智能对齐的基础性技术。
三、中国相关产业公司
1、神思电子技术股份有限公司
神思电子致力研发面向垂直行业的大语言模型、人类反馈强化训练及内容生成技术，训练出百亿参数能源行业语言模型。专业化的自然语言模型能准确理解客户意图，以最短交互轮数给出答案，问题回复更准、更快，并对无关问题有效拦截。目前，相关产品正在内测阶段。
公司智能视频监控方案边缘计算模组完成华为Atlas人工智能计算平台Atlas500兼容性测试与产品方案移植，加入昇腾生态
2、云从科技集团股份有限公司
公司在人机交互技术不断成熟，特别是在ChatGPT横空出世带来的“预训练大模型+人工反馈强化训练” 技术范式对认知技术巨大推动作用下，更坚定了公司人机协同战略， 即以有形象/无形象的“数字人” 为载体的综合智能体，成为公司后续持续投入研发的重点方向，已在规划落地过程中。
3、四川新闻网传媒(集团)股份有限公司
公司组织专门人力，对ChatGPT、人类反馈强化训练等前沿技术、以及大规模预训练语言模型等进行跟随预研。
4、北京华宇软件股份有限公司
子公司华宇元典拥有一支具备法律行业丰富从业经验的专业法律人团队，并与专业的人工智能专家组成了复合型团队。可以满足实施基于人工反馈的强化训练对于法律领域人才能力方面要求。
5、北京海天瑞声科技股份有限公司
公司的AI大模型训练数据集建设项目采用人类反馈强化训练模式，基于微调和奖励模型训练的方法，以人类撰写少量的典型问题和标准答案与深度学习阶段基础性标注相结合的模式， 生产出市场适用性较强的大模型训练数据集。
6、奇安信科技集团股份有限公司
公司团队对用人工反馈强化训练相关的强化学习，大语言模型等技术，已经有长时间的实践，并取得了多项成果。
【备注】：本文仅作为行业交流，不作为任何其他用途。