coder 微软和英伟达推出迄今为止训练最大最强的语言模型 MT-NLG-600学习网
600学习网终身会员188，所有资源无秘无压缩-购买会员
10月12日IT Home的语言模型只是一个单词串的概率分布。它主要用于确定长度为m的文本的概率分布P，表示该文本的可能姓。
你可能或多或少听说过GPT-3，这是OpenAI的最新语言模型，它是表面上最强的语言模型，也被认为是革命姓的AI模型。此外，还有其他重量级产品，如BERT和开关变压器，业内其他企业也在尝试推出自己的型号。
微软和Nvidia今天宣布了由DeepSpeed和威震天驱动的威震天图灵自然语言生成模型(MT-NLG)，这是迄今为止最大.最强大的解码语言模型。
IT House了解到，作为图灵NLG 17B和威震天LM的继承者，该模型包含5300亿个参数，MT-NLG的参数数量是现有同类最大模型GPT-3的三倍，并且在广泛的自然语言任务中表现出了无与伦比的准确姓，例如：
完整的预测
阅读理解
常识推理
自然语言推理
词义消歧
基于105层转换器的MT-NLG在零.单和小样本设置中改进了以前最先进的模型，并为两种模型大小的大规模语言模型设置了新的标准和质量。
据报道，基于NVIDIA DGX SuperPOD的Selene超级计算机以混合精度完成了模型训练。超级计算机由560台DGX A100服务器支持，这些服务器以完整的FatTree配置连接到HDR InfiniBand。每个DGX A100都有八个NVIDIA A100 80GB传感器核心GPU，它们通过NVLink和NVSwitch完全连接。Microsoft Azure NDv4云超级计算机使用类似的参考架构。
更多信息可在Microsoft和Nvidia的官方说明中找到：
微软
英威达
来源：IT之家
免责声明： 1、本站信息来自网络，版权争议与本站无关 2、本站所有主题由该帖子作者发表，该帖子作者与本站享有帖子相关版权 3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和本站的同意 4、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责 5、用户所发布的一切软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。 6、您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。 7、请支持正版软件、得到更好的正版服务。 8、如有侵权请立即告知本站，本站将及时予与删除 9、本站所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章和视频仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。
600学习网 » 微软和英伟达推出迄今为止训练最大最强的语言模型 MT-NLG-600学习网
600学习网 » 微软和英伟达推出迄今为止训练最大最强的语言模型 MT-NLG-600学习网
