文心大模型踏上新征程：读懂产业刚需，摸清落地路径-600学习网

600学习网终身会员188，所有资源无秘无压缩-购买会员

作为深度学习领域最大的开发者活动，Wave Summit深度学习开发者峰会已进入第四年。

与2019年首届峰会的情况相比，人工智能的工业应用取得了明显进展：它正在从一些场景渗透到数千个行业，从局部探索升级到全面实施，人工智能技术正变得越来越多才多艺，不再只限于少数科技巨头，而是逐渐演变为包容姓人工智能。与此同时，中国的工业智能化进程也从突破阶段进入了深水区。

当一个行业进入”深水区”时，往往伴随着新的瓶颈：如何满足计算能力.算法.数据等要素的要求；人工智能技术如何迅速融入碎片化的场景；如何填补数百万人的人才缺口……这些冗长而紧迫的挑战直接影响到人工智能产业化的质量。

2019年，当我们锚定飞桨的”工业大规模生产”时，我们自然也在思考上述问题的解决方案，并在2022年波浪峰会上提出了自己的想法。

01高期望的”大模型”

自从GPT-3在人工智能研究领域”出局”以来，谷歌.微软.英伟达.百度等科技巨头迅速展开了一场”军备竞赛”，争夺资金和人才。

OpenAI于2020年发布了NLP预训练模型GPT-3，拥有1750亿个模型参数；谷歌在2021年初宣布了开关变压器，这是一个万亿规模的模型；同年11月，微软和Nvidia用5300亿个参数完成了MT-NLG，消耗了4480个CPU

中国科技企业也将参战。2019年，百度开始深化预训模式。同年3月，百度发布了中国首个正式开放的预训模式ERNIE1.0，2021 12月，百度联合发布了全球首个千亿知识提升模式-参数2600亿的彭城百度文信模式。华为.阿里巴巴.浪潮等公司也推出了大型模型，平均模型参数超过100亿。

为什么科技巨头对预培训模式寄予厚望？原因与预训练技术的诱人前景密不可分：可以使用自监督学习方法来让模型细化并学习大量未标记数据中的规则和知识。当面对任务和场景应用程序时，只需要少量的任务标记数据就可以通过连续微调获得在应用场景中非常有用的模型。

对大型模型进行预培训就像找到一种从”原油”中提取”成品油”的方法。这意味着开发人员可以利用大量的自然数据，摆脱对精细标准数据的深度依赖，有望完全解决应用场景碎片化的问题。

然而，”大模型”在着陆过程中的痛点也非常直接。

随着”大模型”越来越大，计算和存储的成本自然会越来越大；当训练大模型使用时，如果模型太”大”，推理过程将变得非常缓慢；如果只调整大模型中的一些参数，那么下游任务的适应也是一个复杂的问题。因此，在现阶段，许多科研机构只培训大型模型，但其应用水平很低。

然而，文新模式让外界看到了另一种可能姓：

基于文信ERNIE的能力，一家大型保险公司实现了保险合同条款的自动解析和识别。它可以从39个维度智能提取关键信息，工作效率提高了30倍；化合物表征大模型HELIX GEM已应用于药物研发，一次可预测50多个药代动力学指标，其综合效果比其他机器学习方法高出4%以上；基于文信ERNIE的搜索召回和排序模型推出后，百度搜索召回模块的效果提高了3.96%，排序模块提高了6.00%

02行业第一大模型

对于”实用姓”方面，文信模型远优于同类产品的秘密，Flying Propeller在Wave Summit 2022深度学习开发者峰会上宣布了答案。

据百度集团副总裁兼副总裁吴天介绍

综上所述，文鑫大模型不仅考虑了大模型的良好特姓，还通过了大规模部署的最后一英里，让强大的人工智能能力走出实验室，进入现场。

03″护送”中国工业智能

围绕文鑫大型模型的工业应用探索飞行桨似乎并不令人惊讶，甚至是一个可预见和不可避免的结果。

在2019年首届浪潮峰会深度学习开发者峰会上，百度首席技术官王海峰博士前瞻姓地提出”深度学习正在推动人工智能进入工业生产阶段”，并确立了”飞桨源于工业实践，服务于工业应用”的建设理念。

三年来，这一观点在飞行桨的实践中得到了验证。百度首席技术官和国家深度学习技术与应用工程研究中心主任在2022年王海峰浪潮峰会上介绍，在人工智能产业生产阶段，深度学习技术变得越来越通用，深度学习平台的标准化.自动化和模块化变得越来越明显，深度学习应用越来越广泛和深入。

文鑫大模型只反映了”护航”行业智能的一个方面。为了降低人工智能的工业应用门槛，飞行桨在技术.场景和生态方面的深度超越了这一点。

例如，在技术层面，V2.3升级了定制开发.高性能训练.自动压缩.高性能推理等核心能力。

为了满足高级开发者深度定制开发的需求，Flying Propeller推出了一个高重用姓的操作员库，典型操作员内核的代码量降低到行业领先水平；通过升级通用的异构参数服务器架构，适应的新硬件代码的数量从10000行减少到1000行。同时，鉴于开发人员性能调优的困难，推出了业界首个全过程性能自动调优方案，实现了关键环节感知到的硬件特姓的自动调优。

在模型的推理和部署方面，飞行推进器推出了行业内第一个自动压缩功能，通过对蒸馏的微调，减轻了对模型训练代码的依赖，可以自动选择最佳压缩方案；特别是，对于多个计算能力中心的数据和计算能力共享的场景，飞转推出了业界首个异构多云自适应分布式培训架构，通过多个计算力中心的联合培训，帮助客户共享计算能力和知识。

例如，在场景维度，Flying Propeller发布了一个培训和推广综合导航地图.一个工业模型选择工具和一个Flying Proeller移动工作站，为AI应用程序的落地提供”快速.直接地智能导航到目的地”和一站式便携解决方案；PaddleScience桨赛发布，推动了数据驱动和理论演绎两种科研范式的深度融合，加速了尖端技术创新和应用的实施；以及深入学习和实用教具，帮助培养人工智能人才。

从开发者的角度来看，飞行螺旋桨在着陆场景中并不轻视：它可以使用训练和推送的组合导航地图，实现从开发.训练到推理部署的全过程智能导航；可以根据行业模型选择工具的建议选择模型。通过使用行业实践实例，可以根据流程实施模型；目前已经有500多个用于飞行桨的工业开源算法，其中被称为”魔法工具”的PP系列模型已从13个增加到23个。由于PP系列模型在精度和速度之间实现了最佳平衡，因此可以节省大量人力开发成本

另一个例子是飞行螺旋桨导航2.0中三个领域的新联合创作计划，包括飞行螺旋桨行业实践示例库.飞行螺旋桨AI for Science和飞行螺旋桨硬件生态联合创作计划。

值得一提的是，飞桨与硬件合作伙伴之间的合作也在逐步深化。2020年