边缘AI落地，端侧智能视觉需要什么样的ISP？-600学习网

600学习网终身会员188，所有资源无秘无压缩-购买会员

“聪明”一词来源于《依林》中的成语”听觉和视觉”，意指听觉和视觉的灵敏度，是一个人智慧的象征。现在我们已经到了人工智能的时代。机器视觉和听觉对他们的智力也至关重要。马健(Chloe Ma，ARM物联网和嵌入式业务部业务开发副总裁)在ARM最新ISP IP Mail-C55发布时分享了这一点。

智能视觉的应用前景广阔。以智能相机市场为例：市场数据显示，商用和消费智能相机市场预计在五年内将翻一番，从去年的250亿美元增至2025年的450亿美元。

随着人工智能在垂直应用中的落地及其不断向边缘部署，智能视觉的应用也经历了一系列的演变。

在功耗敏感端提供专用AI计算能力

智能视觉的应用已经逐渐渗透到生活的各个方面，从高清商务视频会议.安全/智能监控.智能城市到电池供电的可视门铃和智能猫眼，使用案例非常广泛。2020年突如其来的新冠肺炎大大加快了数字化转型的步伐，智能摄像机也在商务会议.远程教育.远程健身等方面进一步普及。

简单的视频捕获无法满足当前的应用要求。AI使更多智能视觉应用成为可能。例如，在公共卫生领域，带有人工智能(AI)的智能相机可以监控口罩的佩戴情况，跟踪社交距离，并帮助跟踪联系人。在工业和制造业中，缺陷和异常检测在提高生产效率.确保产品质量和减少人力投资方面发挥了重要作用。在高精度.工艺复杂的半导体制造过程中，基于深度学习算法的视觉检测系统可以在每个半导体工艺完成后通过高品质产品的图像进行训练，并学习识别缺陷。在农业领域，智能视觉技术可以通过监测杂草和作物种植密度，最大限度地提高产量，帮助缓解粮食供应链中的困难。

未来，在元宇宙时代，更多的人工智能功能，如人脸识别和物体识别，将部署到边缘，图像处理任务将需要最终完成。图像处理后的输出图像可以直接发送到机器学习(ML)加速器进行推理。此外，现有的高清摄像机和多摄像机正逐步普及，人们对视觉技术的性能提出了更高的新要求。

智能视觉系统在终端端越来越受欢迎。如何在功率敏感端提供足够的计算能力和专业的图像处理能力是当前技术发展的关键方向。只有在图像处理智能视觉系统的末尾添加专用的NPU引擎和ISP引擎，释放CPU资源，专注于更合适的计算和控制，才能保证系统的整体低功耗和性能。

终端智能视觉系统需要什么样的ISP？

目前，大多数智能相机的CPU都使用Arm的Cortex A系列CPU IP。马健表示，除了基本的CPU，未来还会使用更多的ISP和ML加速器。为了实现高效的系统设计，有一个ISP能够匹配此类活动所需的数据类型和处理非常重要。一些NPU.通用GPU.ISP和其他IP将逐渐用于现有或下一代芯片，以从图像中提取更多有用的信息。

任何快速发展的市场都将经历一段繁荣期，然后市场将变得更加成熟和一体化，就像智能视觉市场一样。目前，智能视觉市场正在快速增长，有许多用例和许多创新。然而，市场细分的应用方向已经基本明确。每个市场都有一些基本模块，每个制造商都有类似的解决方案。当前的创新来源是通过不同的算法和对用例的不同优化来实现这些细分市场的差异化。

除了提供特殊的图像处理能力

除上述模块外，在图像处理的流水线过程中，开发者还可以添加ML加速.调用NPU函数.使用大数据分析数据来增强ISP功能。例如，ML函数可以用于使一些时间和空间噪声降低效果更加明显。

模块化设计带来了更灵活的部署选项。客户可以根据不同的应用要求将Mali-C55用于不同的配置。例如，在安全监控领域，室外摄像机成像常常受到光线.天气.物体移动速度等因素的影响。随着Mali-C55增强的涩调映射和降噪能力，人脸和物体识别将更加准确，当车辆以每小时120.7公里的速度行驶时，也可以实现更准确的车牌识别。在智能家居领域，可视门铃通常由电池供电，因此对能耗的要求特别高。Mali-C55的低面积和低能耗特姓使智能可视门铃产品更耐用，并能根据人脸识别结果更准确地解锁。

在系统集成方面，Mali-C55也更易于集成，包括与ML加速器集成，在边缘智能终端上实现本地视频数据处理，并通过标准AXI和AHB接口与现有ARM Cortex A和Cortex M系列CPU无缝连接。此外，Arm还将Mali-C55与MCU.CPU等IP进行了封装，推出了可视化Corstone参考设计，大大降低了客户的设计和验证门槛，帮助客户加快了智能视觉产品设计，缩短了上市时间。

总结

“Arm架构是物联网的基石。Arm在物联网和嵌入式领域拥有很高的市场份额。在我们的合作伙伴每季度出货的70多亿个基于Arm的芯片中，有一半以上面向物联网/嵌入式设备。这意味着我们在这一领域有着深厚的积累。”马健分享道。

在终端智能视觉的发展中，ISP是不可或缺的，ISP上的布局也将成为Arm持续关注的方向。凭借其优异的性能和ARM完整的IP生态，Mali-C55具有广阔的市场前景。预计配备Mali-C55的芯片和终端设备将于2023年上市。

正在下载文档

来源：21IC