12nm媲美7nm!燧原科技发布带宽最大的云端AI推理卡-600学习网
600学习网终身会员188,所有资源无秘无压缩-购买会员
12月7日,AI初创公司Enflame发布了第二代云AI推理加速器卡-“云穗i20″。
这是继今年7月推出云AI培训加速器卡”云穗T20″之后,绥远科技针对云推理场景推出的新一代AI加速产品。
云穗i20最大的亮点是它拥有迄今为止最大的AI加速卡存储带宽。HBM2e内存已达到819GB/s,可为云推理服务提供高吞吐量和低延迟性能。
目前,大多数感知应用,如语音识别.图片识别和视频内容分析,以及决策应用,如内容推荐和欺诈交易拦截,都以实时在线方式在云中提供服务。同时,神经网络参数越来越多,对数据带宽的需求也越来越大。因此,考虑高带宽和低延迟至关重要。
云穗i20配备了新一代AI推理芯片”Shusi”,该芯片基于第二代高性能计算核心和数据引擎,采用12nm工艺制造。通过架构升级,单位面积的晶体管效率大大提高。计算能力与7nm GPU相当,成本更低。
同时,它完全支持FP32.TF32.FP16.BF16和INT8的计算精度。单精度FP32峰值计算能力为32TFLOPS,单精度张量TF32峰值计算功率为128TFLOPS。整数INT8峰值计算能力是256TOPS。与上一代Yunsui i10浮点运算能力和整数运算能力相比,它们分别提高了1.8倍和3.6倍。
随着升级的软件堆栈”TopsRider”,性能.开发效率和模型覆盖率都得到了极大提高。
通过引入通用高级图优化和大规模算子融合技术,释放了大容量片上存储和高带宽存储的利用率。模型的平均性能提高了3.5倍,硬件计算能力的利用率提高了2倍。
通过升级的编程模型和自动操作符分段和生成技术,用户定义操作符的开发效率提高了一倍,模型迁移成本大大降低。
此外,对动态的支持也大大增强,使其在检测.语音识别.语义理解和其他场景中更具竞争力。
据介绍,绥远科技专注于人工智能领域的云计算平台,提供具有自主知识产权的高计算能力.高能效比.可编程通用人工智能培训和推理产品。它可以广泛应用于云数据中心.超级计算中心.互联网.金融.智能城市和其他个人智能场景。它已经在互联网.金融.政府和其他客户中商业化实施,并得到了认可。
作者:以上文章Q来源:Fast Technology
600学习网 » 12nm媲美7nm!燧原科技发布带宽最大的云端AI推理卡-600学习网