在阅读此文之前，麻烦您点击一下“关注”，既方便您进行讨论和分享，又能给您带来不一样的参与感，感谢您的支持。
编辑|杪夏的光
前言
自从2010年以来，神经网络取得重大突破以来的10年，并对人工智能（AI）进行了综述，在监督学习领域，只要有足够高质量的标记数据，认知任务的监督学习问题已经得到有效解决。深度神经网络模型的解释性不高，因此黑盒模型和白盒模型之间的讨论变得越来越重要，注意力网络、自监督学习、生成建模和图神经网络的兴器扩大了AI的应用领域。
深度学习也推动了强化学习在自主决策系统中的核心地位，新的AI技术可能带来的潜在危害引发了透明度、公平性和问责制等社会技术问题。AI驱动的对话代理取得了惊人的成功，在自动驾驶等备受期待的旗舰项目中的进展仍然困难重重，在这一领域中，需要谨慎控制言论，并确保工程进展与科学原则保持一致。
监督学习：从2010年到现在，是否解决了监督学习问题的挑战？
对当前AI的现状进行了一个高层次、部分技术性的概述，回顾了受深度学习影响最大的机器学习任务——监督学习，接下来，讨论了深度内容生成模型、强化学习的复兴、专门用于深度学习的软件库的出现以及图形处理单元（GPU）的作用，通过强调如何设计对深度模型具有迷惑性的对抗样本以及是否可能使模型具有鲁棒性来结束第一部分。
在第二部分观点中，考虑了围绕AI的许多社会技术问题，特别值得关注的是大型科技公司在AI领域的主导地位，实际上，只有大公司拥有足够的资源（专业知识、计算资源和数据），才能将AI扩展到能够有意义且准确应用的水平。
术语人工智能（AI）最早于1956年由约翰·麦卡锡（John McCarthy）在提交给洛克菲勒基金会的一个研讨会提案中首次提出，该提案认为，“学习的每个方面或智能的任何特征原则上都可以被如此精确地描述，以至于可以制造出一个模拟它的机器”。
在此之前，艾伦·图灵（Alan Turing）在1947年的一份未发表的报告中，标题为“智能机器”，推测“想要的是一台可以通过经验学习的机器”，并提出“让机器改变自己的指令的可能性为此提供了机制”，近年来，人工智能的许多成功都属于其子领域机器学习，由于数据的重要性，人们通常使用更广泛的术语“数据科学”来涵盖相关学科，包括统计学。
监督学习（SL）是机器学习成功的典范，根据上下文的不同，监督学习可以称为分类、回归或预测，自从深度学习（DL）的现代出现以来，监督学习的准确性和应用范围都大幅提高，现在，许多跨学科领域的不同问题都使用监督学习作为强大的预测工具，用于解决此前似乎棘手的问题。
监督学习的任务可以形式化如下
函数 f(., w) 被称为模型，w 是模型的权重或参数，这些参数是通过从数据集 D 推断出来的，将监督学习任务转化为一个优化问题，定义了损失函数 ℓ（平方损失），通过最小化经验平均值来获得权重 w。
理想的目标是最小化期望 E(x,y)∼P(x,y)(ℓ(f (x,w),y)，由于 P(x, y) 是未知的，因此无法实现，在深度学习中，f 是由 N 个层函数组成的复合函数，具体表示为：Wn 是权重矩阵，wN 是向量，σ 是一种逐点激活非线性函数，类似于神经细胞中的生物激活过程。
模型中需要学习的总权重数量是 ∑nsize(Wn)，参数数量达到数千亿的情况并不罕见，深度学习模型在实证性能方面表现出色，对其为何有效的原因了解甚少，特别是在过度参数化的情况下，即模型的参数数量超过数据点数量时。
相反，高偏差模型往往具有较低的方差，即使使用来自相同基础分布的不同样本进行训练，它们的影响大多保持不变，神经网络的复杂性随着层数的增加而增加，它们具有较低的偏差较高的方差。
GAN与transformer网络结合的生成模型在图像合成和文本生成中的应用研究进展
GAN（生成对抗网络）框架是在生成合成内容方面的一个早期突破，假设可以访问一个数据集D，其中包含了猫的图像，并且的目标是设计一个基于神经网络的采样函数Gθ，它以一个随机向量（来自正态分布）作为输入，并输出一张猫的图像，这个图像可能以前从未存在过，这样的函数如何进行训练呢？
需要注意的是，D只包含了猫的图像，因此处于无监督学习的模式下，GAN的关键思想是创建另一个神经网络Dη，该网络被优化为区分Gθ生成的“假”输出和来自D的真实输入。而Gθ网络则被优化为欺骗Dη，即创建出Dη无法区分是来自生成器还是真实数据集的输出，这两个网络以迭代和对抗的方式进行训练。
这个概念使用两个简单分布的乘积来近似复杂的概率分布，具体来说，假设有一个由未知概率分布p(x)生成的猫图像数据集D，由于不知道具体的分布形式，直接使用最大似然估计来推断p(x)是困难的。
可以通过定义两个函数逼近器（神经网络）qθ(z|x)和pη(x|z)，分别称为编码器和解码器，来对log p(x)进行下界估计，z是一个数据驱动的潜在变量，用于提取图像的抽象特征，猫的形状、颜色和纹理等。
不等式右侧的部分被称为证据下界（ELBO），需要注意的是，不等式左侧与参数θ和η无关，可以通过使用来自数据集D的样本来优化这两个参数集，将不等式右侧最大化，从而逼近log p(x)。
在优化过程中，通过最小化Kullback-Leibler（KL）散度，强制编码器qθ(z|x)逼近先验分布p(z)，一旦优化完成，可以通过从先验分布p(z)中采样，并通过解码器pη(x|z)生成来自概率分布p(x)的样本，也就是合成的猫图像。
变分自动编码器是使用这一框架生成复杂图像样本的第一个例子，与变分自动编码器相比，生成对抗网络（GAN）通常能够生成更加逼真和清晰的图像，在训练过程中容易出现不稳定性的问题，最近，基于使用一系列潜在变量推断解码器的扩散模型报告了优于GAN的性能。
扩散模型更容易扩展以加入上下文信息来控制生成内容，像DALL.E-2这样的系统可以根据提示生成与之匹配的合成图像，比如“给我看一个蓝色的猫在一个棕色的袋子里”。
传统的卷积神经网络（CNNs）适用于目标识别，其中上下文依赖于空间接近性，语言具有序列结构，为此递归神经网络（RNNs）被设计出来，用于引入序列上下文并进行语言建模，现在出现了一种被广泛采用的新架构，称为transformers，transformers是一种用于处理语言数据的架构，它通过自注意力机制来捕捉单词之间的关联。
这种架构模拟了数据库查询或信息检索的概念，将每个单词作为查询，并计算它与其他单词的相似度，然后通过加权求和来获得更具上下文关联的单词表示，transformers通过自监督学习的方式进行训练，它们能够在各种任务中取得巨大的改进，包括问答、机器翻译和文本摘要。
transformers还被应用于计算机视觉和控制等领域，生成式预训练transformer模型（GPT-X）在符号数据生成方面得到广泛应用，在电子邮件编辑器中的自动补全功能，这些模型非常庞大，据报道，下一代模型可能拥有超过一万亿个参数。
GPT-3模型以少样本学习的方式展现出了出色的性能，在自动写作、代码补全和生成等任务中表现优秀，它还能够生成非常逼真，展示了一个由GPT-3生成的虚假新闻文章，标题中建立了朝鲜和GameStop股票空头攻击之间的虚假关联，ChatGPT和LaMDA等聊天机器人也基于GPT技术。
深度强化学习中的策略优化与应用研究进展：从AlphaGo到离线RL
预测本身不足以实现智能，决策也是智能的一部分，深度学习通过DeepMind的AlphaGo系统在2016年击败了世界围棋冠军，给强化学习注入了新的活力。
强化学习提供了一种通过试错学习和决策的框架，在RL环境中，代理观察到环境的状态s，根据状态采取行动a，得到奖励r，环境转移到新的状态s'，这种交互一直持续到达终止状态，代理的目标是学习一个策略π，它将状态映射到行动，以最大化预期的累积奖励。
在深度强化学习中，策略被建模为一个深度神经网络，它将状态作为输入并输出行动，参数化为w，与最优控制不同，在RL中，状态转移动力学未知，唯一可用的信息是与环境交互中获得的奖励值，当累积奖励的函数形式不可用时，如何进行优化呢？简要介绍一下“REINFORCE技巧”，它可以用于直接优化黑盒函数。
设s¯=((s1,a1),…,(sT,aT))为一个序列，其中包含一个完整场景中的状态-行动对，每对(si, ai)都有一个关联的奖励ri，定义R(s¯)=∑γtrt为累积奖励函数，REINFORCE算法将从黑盒环境中获得的R(s¯)的梯度传递到对数策略函数π(a|s, w)上，然后可以使用梯度上升进行优化。
尽管REINFORCE算法最初是在强化学习领域引入的，它具有更广泛的应用，，它被用于连接符号人工智能和机器学习，并作为解决组合优化问题的启发式方法。强化学习中的另一个重要趋势是直接从数据中推断策略（称为离线或批量RL），而无需与真实或模拟环境进行交互，这在敏感的应用领域（如医疗保健）可能是不可行的。
结论
随着过去十年来神经网络取得的重大突破，人工智能（AI）在监督学习、生成建模、图神经网络和强化学习等领域取得了显著进展，监督学习在高质量标记数据的情况下已经得到有效解决，深度神经网络模型的解释性仍然存在挑战。
注意力网络、自监督学习和生成对抗网络等新兴技术扩大了AI的应用范围，深度学习也推动了强化学习在自主决策系统中的核心地位，AI技术可能带来潜在的社会技术问题，如透明度、公平性和问责制等。
AI行业的主导地位被大型科技公司所垄断，这可能导致AI鸿沟的加剧，尽管AI驱动的对话代理取得了惊人的成功，在一些旗舰项目（如自动驾驶）中仍面临许多困难，在未来的研究中，需要谨慎控制言论并确保工程进展与科学原则保持一致。