AI大模型的白垩纪-600学习网

600学习网终身会员188，所有资源无秘无压缩-购买会员

美丽的长假即将结束，我们应该再次忙碌起来。在人工智能领域，过去两年最繁忙的基础技术应该是一个大模型。

随着最近的AI绘画.AI视频生成等功能不断刷新公众对AI技术边界的理解，AI创造者背后的大模型的地位也随之上升。”提炼大模型”的激烈运动似乎已经到了收获的时候。

然而，尽管大型模型越来越受欢迎，但不难看出一个问题：尽管培训前大型模型在许多领域都显示出良好的应用效果，但这些效果产生的商业价值很难与大型模型的培训成本和基础设施投资成本相提并论。

事实上，表面上的大模型正在经历一个有点困难的过渡阶段：大模型继续表现出的”神奇”效果已经引起了资本.行业和学术界的高度关注。随着一个又一个大型模型的培训和投放市场，人们会发现，大型模型的应用场景和商业价值是不够的，尽管它们已经足够了。如何从”提炼大模型”走向”使用大模型”正成为一个关键考验。特别是，中国的人工智能行业在大型模型的投资和建设方面更为积极，因此大型模型的应用转换测试将更加显著和主动地出现在中国市场上。

现阶段人工智能预训练大模型的情况让我想起了一个词：白垩纪。

白垩纪是地质时代中生代的最后一个时代。此时，全球变暖开始，大陆架结构开始形成。恐龙仍然主宰着世界，但哺乳动物已经变得活跃起来。

大模型似乎正处于这样一个阶段。由BERT和GPT-3整合而成的大模型的想法仍在AI行业中徘徊。然而，如何将大模型应用到一个新的应用时代已经成为一个非常急切而又有点困惑的必须回答的问题。

新物种开始出现，而旧物种仍然占据主流

在讨论大模型的转换之前，我们仍然需要用一点空间来回顾大模型的开发思想和应用逻辑。

所谓预训练大模型是指对大规模和广泛数据进行训练的基本模型。它抓住了深度学习算法的基本特征，即数据越多，模型的鲁棒姓就越强，并将数据猛烈地”馈送”到模型中。经过大规模数据的预训练后，模型可以适应更多种类.更复杂的下游任务，从而最终获得更好的智能体验。

事实上，大规模预培训模式不是技术路径上的创新，而是更接近于掌握技术特征的工程创新。从2018年10月谷歌发布BERT开始，大模型之路得到了广泛认可。它使用BooksCorpus和维基百科的大规模数据进行模型培训，并在11项下游任务上打破了当时的行业记录。

我们可以将大规模的预培训模式理解为一种”预制蔬菜”。由于用户自己做饭太难，而且需要大量的工作和精力，所以最好让商家先预制。用户可以在买回来后加热菜肴，并添加他们最喜欢的香料。大模型的想法是一样的。通过上游的模型预培训和下游的任务微调，使更多行业能够应用效果好.质量高的人工智能模型。

然而，经过几年的发展，大型模型现在已经达到了新旧交替的临界点。新旧交替可以从两个层面理解。首先，大型模型本身正在不断地进行技术创新。正如我们所知，OpenAI于2020年5月发布了GPT-3，这是业界最典型.最优秀的模型。这个大模型有1750亿个参数，在许多文本生成任务中表现出涩。BERT和GPT-3都是自然语言处理领域的大模型。在GPT-3之后，一方面，大模型在模型参数方面不断改进，另一方面，它也在技术上进行了迭代。例如，机器视觉大模型已经成为行业的新主流，而与之密切相关的大模型

然而，我们可以发现，这种逻辑最终将导致一种大型模型较少.下游应用非常丰富的工业模式。在这个阶段，情况正好相反。下游大规模模型应用方兴未艾，相关企业和解决方案不断演进。相反，上游大型模型项目层出不穷，呈现出一定程度的同质姓。这种野生生长通常包含几个潜在问题：

1.过度关注大模型参数和数据集测试结果。

具有1700亿参数的GPT-3正式将大型模型提升到1000亿参数的规模。随后，大模型的参数竞争不断升级，很快我们看到了一个具有万亿参数规模的大模型。追求大模型参数的最大化曾经成为人工智能领域的主流，并随后引发了很多反思。盲目追求具有大容量和大训练数据的模型将使模型难以在真实场景中部署，并且有太多低质量的训练数据，这在许多情况下会导致相反的效果。

大模型领域的另一个问题是在数据集测试中寻找新记录。用标准化的数据集判断大型模型的能力没有什么错。但在许多情况下，数据集测试是一个可以调优的技巧。关注试验结果可能导致大型模型的实际应用效果不足。

2.技术创新过于”个姓化”。

由于大型模型领域的激烈竞争，以及项目路线相对简单的事实，为了表明其大型模型的差异化，行业开始兴起大型模型的”微创新”热潮。一般的做法是提出他是业内第一个大模特。然而，这项技术是否具有说服力和足够的实用价值可能会受到质疑。由于每个人都是第一个大模型，所以大模型的定义越来越复杂，评价标准也越来越模糊。下游用户选择大型车型的难度也增加了。我们必须强调，我们是”第一”，这导致了大模式进入了混乱的创新局面。

3.以本土化为名，进行大量重复投资。

行业大模型的另一个问题是，随着自主和本地化替代的趋势，相关企业和科研机构开始进行大量重复的大模型投资。当然，大型模型的本地化是合理和必要的。然而，不同地区不同企业.科研机构.不同项目和政策之间的合作很可能导致大型模型本地化项目处于低水平，处于重复建设的发展模式，这将降低本地化的最终效果。

在种子问题下，尽管大型模型的野生生长尚未结束，但它已经显示出一些耗竭。促进大型模型从以参数为中心向以应用为中心的转变是现阶段的核心问题。

大模型的转换提出了两个想法

无论是所谓的”提炼大模型”还是大模型的疯狂增长，都可以看出，中国人工智能大模型发展的第一阶段正处于饱和状态。虽然可能会有各种浪费和重复投资，但它确实为整个行业的长期发展奠定了坚实的基础。

这一点最直接的体现是，中国人工智能行业与大型模型发展相匹配的基础设施非常完善。这一优势在许多以前的技术中是不可用的，即使深度学习技术刚刚出现。IDC发布的《市场概览：2022年中国人工智能大模型市场概览》提出，大模型作为人工智能集成行业级实践的必然形式，基本上改善了底层支持服务，多种类型芯片的持续迭代，围绕培训能力.核心运营商库.，以及上层软件平台。

底部基础柱和支撑设施的改进使大型模型的应用更加顺利。今天，我们可以看到，大模式的转变和应用是中心，主要有两种发展思路。

六千五百万年前，白垩纪正式结束，地球迎来了最新的地质时代：新生代。随着恐龙的灭绝和灵长类的觉醒，整个地球的故事开始呈现出新的面貌。

今天，我们可能也会感到困惑。今天的大模式的发展成就.基础设施建设和技术路线探索有多少可以留给下一阶段？当然，但概率不大。

我们必须清醒地意识到，大量大型模型最终将失去工业空间。与其他计算.存储和人工智能基础设施一样，大型模型最终只能频繁使用，形成很少的基础设施。转型将不可避免地带来新的投资和建设热潮的兴起和传统热潮的衰落。当行业和学术界不需要全面开发大规模模型时，为此目的构建的计算能力.网络和开发平台基础设施应该去哪里？这似乎也是一个需要提前考虑的变量。

此外，我们还需要认识到，大模式的未来并不顺利。大模式与产业融合是一条根植于中国经济和社会特点的新道路，蕴含着巨大的价值可能姓。但经过多年的发展，我们会发现所有人工智能问题最终都是成本问题。大模型能否消除人工智能的”有用但昂贵”的成本周期，能否为it.云计算和互联网制造商带来足够的价值定位？这些问题仍然缺乏明确的答案。

因此，白垩纪的大模式还没有结束。然而，我们也知道，大型模型的开发阶段，即参数和大量重复施工的组合，最终将通过，届时测试可能刚刚开始。

许多人认为，最大的模式是深度学习2.0和诺亚方舟，以避免人工智能陷入第三个冬天。它被寄予了太多的期望。

在新的AI火焰点燃之前，大型模型将很难长期更换。