大模型时代的AI之变与开发之根-600学习网

600学习网终身会员188，所有资源无秘无压缩-购买会员

自2018年谷歌发布Bert以来，预训练模型以强大的算法效果席卷了由NLP表示的人工智能列表和测试数据集。随着产业.大学和研究界的深入研究，大模型在人工智能产业.大学及研究界的地位不断加强。到2021，我们可以看到，学术机构和科技企业正在建立自己的大模型，并大大扩展其能力边界和技术路径。

一些人认为，人工智能大模型的到来使这项技术完成了从实验室到工业集成的转变。如果过去的人工智能开发需要人工车间模式的参数调整.优化和数据积累，那么大模型预先集成了海量数据的培训效果，企业和科研用户都是”智能”和客观的产品。因此，大大节省了重复开发的成本，降低了开发门槛。

大模型的价值出现了，下一个问题也出现了：构建大模型需要一系列条件，如人工智能计算能力.网络和框架，以形成有效的支持，这样大模型才能真正”大”。大模型可持续发展的前提是构建强大的AI根技术，以满足大模型在框架.计算能力等层面的”构建”需求。

不久前，中国科学院自动化研究所发布了世界上第一个三模式模型紫洞太初。

在这项技术成就的背后，中国科学院自动化研究所和华为合作，通过使用全场景AI框架MindSpot为大型模型的开发提供了一系列支持。9月25日，在2021华为全连接上，MindSpot的中文名称”嵊泗”发布，嵊泗1.5版也发布了。该版本增强了全场景能力，本机支持大型模型，添加了新的人工智能科学计算范例，发布了电磁模拟套件和分子模拟套件，并促进了人工智能在科学计算领域的应用。

让我们借此机会谈谈大模型是如何从盛思1.5中吸收营养的；开发框架需要什么样的根本技术支持才能继续构建大型模型。

时代呼唤：大模型驱动人工智能变革

预培训模式的发展已经有三年多了。在此期间，最具有”圈外”效应的大模型可能是OpenAI在2020年发布的NLP大模型GPT-3。

GPT-3首次实现了1000亿级数据参数。除了传统的NLP功能，它还可以执行算术.编程.写小说和写摘要，这已经成为一段时间以来公众舆论的热门话题。GPT-3的出现让所有人都看到了大模型的潜力，也让中国发展自己的大模型成为了”时代的呼唤”。

从产业价值的角度来看，大型预培训模式带来了一系列可能姓，让工业.教育和研究的所有部门都能看到从弱人工智能到强人工智能的转变；从重复开发和手工作坊式人工智能到工业化和集成智能的新路径。可以说，大模型是过去两年人工智能持续转型的核心动力，也是人工智能进入各个学科的关键支柱。

因此，我们可以看到，中国的科技企业和学术研究机构已经开始添加大型模型，并在不同的道路上进行探索和尝试。例如，Bert和GPT都是NLP领域的大模型，缺乏处理图形图像数据和多模态数据的能力。因此，多模态大模型已成为一个重要的研究方向。整合语音.文本.图像.视频等模态信息的处理模式更接近人类感知，具有较高的社会价值。

对于工业和教育的各个部门来说，数据量大.训练效果好.网络拓扑紧凑.易于访问的大型预训练模型是未来学术研究.人工智能开发和产业升级的基础和关键。大型模型将出现问题

在大模型支持方面，盛思1.5已经实现了对大模型的本地支持，这在业界首次支持全自动并行AI处理。在大模型训练中，可以同时使用数据并行.操作员级模型并行.流水线模型并行.优化器模型并行.异构并行.重新计算.高效内存重用.多维.各种分布式并行策略；此外，原始集群拓扑感知的多维自动混合并行实现了超大模型的自动分割，显著提高了集群加速能力；新的DNN分布式并行编程范式可以实现低代码算法切换，并大大节省开发时间。

面对结构复杂.训练成本大.训练时间长的大型多模式模型，新的思维特征可以大大提高训练加速能力，降低系统性能优化成本，减少代码开发工作量，从而全面缩短调试和训练周期。

在这样的框架能力提升中，在盛思的支持下，将有更多创新姓强.培训数据规模大的大型培训前模型。盛思自然成为大模型的”根技术”。

目前，除了世界上第一个中文预训模型彭城盘古和世界上第一三个模型预训模型紫洞太初，基于日出训练的大模型外，还有即将发布的智能遥感模型.语音模型等。可以说，Sunrise框架支持大模型的能力在业内首屈一指。

同时，升思1.5还增加了许多新功能，如开放机制，特别是在科研创新和应用领域的支持。通过多尺度混合计算和高阶混合微分两大关键创新，将原人工智能计算引擎升级为人工智能和科学计算的统一引擎，实现集成的统一加速。在此基础上，未来，盛思将推出适用于八种科学计算场景的MindScience系列套件。科学计算套件包括行业领先的数据集.基本模型.预设的高精度模型以及前后处理工具，可加速科学行业应用的发展。

盛思将继续加强对科研领域人工智能发展的支持，特别是作为大型模型”国家关键工具”的培训基地。同时，盛腾社区和盛思MindSpot社区也将加强对大模型开源的支持。目前，盛思社区的下载量已超过60万，社区贡献者人数已超过3500人。盛思正与工业.教育和研究的各个部门合作，推动开源，使大模式真正成为科学和工业的基础。

预培训模式正在推动一场新的人工智能革命。在关注这一变化之前，我们应该更加关注根技术和根平台的建设。

只有在坚实的工业基础上，工业和学习的各个部门才能蓬勃发展。人工智能大模型的改变应该有很强的根源。