腾讯研究院-人机共生-大模型时代的AI十大趋势观察-2023.07-52页PDF-百度云盘下载
目录
序言
奇点之后
01
拥抱产业智能共建模型生态
05
无限可能
07
趋势1
趋势 6
涌现-
平台一一
LLM 推动人工智能
Plugin 工具让大模型
快速进化到AGI阶段
10
迎来 App Store 时刻
28
趋势2
趋势 7
融合--
入口--
多模态助力大模型
大模型为数字人
解决复杂问题
14
“注入灵魂”
33
趋势3
趋势8
懂你-
赋能-
生成式Al 带来更贴近
Al大模型将帮助个体
人的交互方式
18
成为超级生产者
36
趋势4
趋势9
生态--
冲击一
模型即服务(MaaS)生态
版权"思想表达二分法”
呼之欲出
21
基石正在动摇
39
趋势5
趋势10
泛在一
向善一-
垂直领域应用
伦理和安全建设塑造
是大模型的主战场
24
负责任的AI生态
42
随着2010年深度学习问世，人工智能的
谷歌发布 BERT，便一举击败11个NLP 任务的
发展推进了第三次高潮，而大模型将这次高潮
Sota结果，成为了NLP界新的里程碑，同时为
带到了 AGI的阶段。2017年谷歌在《Attention
模型训练和NLP 领域打开了新的思路，预训练
is All You Need》一文中发布了具有里程碑意义
模型逐渐成为自然语言处理(NLP)领域的主
的Transformer算法，虽然依然是深度学习的
流;同时，网络模型参数量首次超过3亿规模。
延续，但是它使得深度学习模型参数突破了1
BERT的阶段性成功获得了其他研究者的纷纷效
亿，Transformer 取代RNN、CNN进入大模型
仿，比如百度的 ERNIE、Meta的RoBERTa、微
时代，这无疑是一个重大的里程碑。
软的DeBERTa等等。这些模型开始尝试“无
监督预训练”的方式来更好的利用相较其他数
Transformer是一种基于自注意力机制的神
据而言更容易获得的大规模的自然语言数据，
经网络模型，最初用来完成不同语言之间的文
而“无监督”的方式就是Masked Language
本翻译任务，主体包含Encoder和Decoder部
Model(MLM)，通过让遮盖句子中的部分单词，
分，分别负责对源语言文本进行编码和将编码
让模型去学习语境去预测被遮盖的单词的能力，
信息转换为目标语言文本。而后基于 Encoder
类似于“完形填空”。
和Decoder，大模型的发展大致走上了两条
路:一条路是舍弃Decoder部分，仅仅使用
与此同时，OpenAl一直延续着GPT路线。
Encoder作为编码器的预训练模型，其最出名
GPT的成功在于扩大语言模型的规模可以显著
的代表就是Bert家族;另一条路，通过舍弃
提高零样本(zero-shot)与小样本(few-shot)
Encoder 部分而基于 Decoder 部分的 GPT家族。
学习的能力，这一点与基于微调的Bert家族有
很大的区别，也是当下大规模语言模型神奇能
此前，谷歌一直主推 BERT 路线。2018年
力的来源。GPT基于给定前面单词序列预测下
评论0