AIGC（生成式AI）发展脉络

2024-04-04 15:53:48   来源：checkvvip.com

AIGC（生成式AI）发展脉络

人工智能生成内容（Artificial Intelligence Generated Content，AIGC），即生成式 AI ，是 AI 发展的一个重要分支。ChatGPT 则是 AIGC 领域中运用大型语言模型实现自然语言理解、自然语言生成与上下文学习功能的典型产品。这项技术最初可以追溯到：

（1） 20 世纪 50 年代人工智能之父艾伦·图灵提出“模仿游戏”（imitation game）作为人工智能的判断标准，开启了人工智能的相关研究，这一标准也被称为“图灵 测试”，即当计算机能够以模仿人类回答的方式回应提问者，并使提问者无法分辨出这一回答是来自计算机还是人类时，计算机可以被认为是智能的。

（2）1966 年，麻省理工学院的约瑟夫·维森鲍姆（Joseph Weizenbaum）推出聊天机器人“伊丽莎”（Eliza），可以通过模式匹配的方式来模拟人类对话。

（3） 1995 年，美国的理查德·华莱士（Richard Wallace）教授使用人工智能标记语言（AIML）构建聊天机器人“爱丽丝”（Alice），通过启发式的模式匹配实现计算机与人类的对话，这种模式匹配技术现 在依然被广泛应用于智能客服等领域。但是，由于模式匹配类的技术无法穷尽人类语言中的各种复杂语义，所以底层技术的升级是计算机能够完全理解并恰当回应人类对话所需的必要条件。

（4） 2001 年，机器学习作为新一代底层技术被应用于人工智能领域，Active Buddy公 司以机器学习为底层技术的聊天机器人“更聪明小孩”（Smarter Child）横空出世，吸引全球超过3 000 万人与其对话，而这个机器人依然没能通过图灵测试。

（5）2010 年左右，机器学习领域的人工神经网络技术开始突飞猛进，它通过模拟人脑的神经细胞的信息传递方式，能够更好地模拟人类思维，而击败世界围棋冠军的“阿尔法狗”（AlphaGo）就是基于这一技术开发出来的。但人工神经网络由于难以实现大规模并行运算，因而在语义识别方面仍然存在 一定欠缺

（6）2017年，谷歌发布的Transformer 模型解决了传统机器学习中训练时间长、难以较好实现并行计算的问题，并可以大幅度提升计算效率，这也成为生成式预训练模型（Generative Pretrained Transformer，GPT）的基本单元与 核心组件。

（7）2018 年，OpenAI 公司基于 Transformer 模型推出了GPT-1。该模型通过无监督预训练和有监督模型微调的二段式的训练，展现强大的 泛化能力，能够通过样本学习隐含在数据背后的规律，对给予的相同规律的新数据，GPT-1 能够输出一个合理的结果。

（8）2019 年，OpenAI 公司推出GPT-2，相比于GPT-1，其使用更多的网络参数和更大的数据集，从而拥有多任务学习的能力。

（9）2020 年 5 月，OpenAI 公司继续推出 GPT-3，虽然原理上与前两代并无太大区别，但 与前两代相比，GPT-3 所使用的参数量由 1.17 亿、15 亿上升至1750 亿，预训练数据量由约 5GB、40GB 上升至 40TB，这使得 GPT-3 的性 能大幅提升。

（10）以无监督方式进行训练的 GPT-3，由于在 训练过程中并未进行过多人为干预，因此 GPT-3 容易出现不当言论。为了使 GPT-3 能够更好地与人交流，OpenAI 公司通过人类反馈强化学习（Reinforcement learning from human feedback，RLHF）的方式对 GPT-3.5（GPT-3 的升级版）进行训练，由此产生了ChatGPT。具体而言，就是让人类训练员对部分 GPT-3.5 生成的各种结果进行人工评级，这些级别用于创建 “奖励模型”，再使用“奖励模型”对原始模型进行迭代微调，由此提高模型性能，使之尽可能地模拟人类反馈。而这种人类反馈强化学习的 训练模式，在 ChatGPT 发布之后仍在持续进行， OpenAI 公司允许用户对 ChatGPT 的回答投赞成或反对票，并将这些反馈数据用于进一步训 练和微调 ChatGPT。ChatGPT 因其出色的性能 而被称为强人工智能产品。 

论文查重*降重*写作平台：

www.checkvvip.com 

（checkvvip论文查重系统有万方、维普、源文鉴、Turnitin、iThenticate、早降重、AI大师写作等十多个系统，官方授权，权威检测！）