{{ title }}
{{ errorMessage }}


{{ errorMessage }}





{{ registerSuccessMessage }}
当前位置: 首页> 技术应用> 正文 
收藏
点赞
投稿
提升到边缘人工智能的新水平
来源: 作者:
  2021-11-30   

文章译自Embedded Computing Design

作者: Roni Sadeh CEVA公司技术副总裁

技术的进化阶段大家都熟悉,人工智能,近年来的首要技术,也不例外。在人工智能领域 -- 新一代产品增加了更多的MAC,多层量化,这个功能,那个功能 -- 都是为了追逐更高的功耗效率(TOPS/Watt)。

在这种环境下,我们已经通过CEVA NeuPro平台成功地向各种市场推出了AI-at-edge解决方案。现在,用户想要更多,但有时仅靠进化是不够的。

起初,用户把重点放在易用性上,以帮助他们引入这种新的AI-at-edge技术。但随着他们对先进的人工智能技术的专业知识的加深,他们希望获得所有可能的方法来在他们的产品中建立差异化,并超过目前最先进的方法一个数量级。迅速达到这个目标是不可能的,需要革命性的改进。他们想要的已经从易用性转为最大吞吐量和最小功率的最大算法灵活性。

衡量

功耗效率(TOPS/W)是一个很好的营销数字,但它太粗糙了,在实际应用中是没有用的。以视觉推理为例,每瓦特每秒帧数(FPS/W)是一个更有意义的指标。在这种情况下,一个好分数的价值很容易理解。检测前方的行人或汽车或从后面经过的汽车需要快速反应。几乎没有时间刹车或转向,而且这两个动作都不是即时的。一个推理引擎必须能够管理至少100 FPS--用尽可能低的功率,因为这只是汽车周围许多传感器/AI系统中的一个。这需要更高的fps/W,以获得有竞争力的功率。

市场机会是毋庸置疑的。汽车和电信应用有望成为这一增长的最大贡献者,而在汽车方面,智能成像继续保持强劲。顺带一提,手机中的 "多摄像头 "趋势也是如此。事实上,这类相机的成像管道已经开始用神经网络取代传统算法,用于去噪、图像稳定、超级分辨率和其他新功能,所有这些都在一个非常有限的能量包络中以60fps运行。

一个重大的进步需要什么

围绕着模拟人工智能和尖峰神经网络发生了一些有趣的事情,但产品制造商不希望离他们今天确信可以扩展到批量的东西太远。这种限制仍然留下了大量的算法潜力,但现在产品制造商希望获得所有这些算法,并具有更多的灵活性,以最小的功率挤出最大的性能。

优化可能性的清单很长:广泛的量化选项、winograd支持、跳过零乘法的稀疏性优化、激活和权重的数据类型多样性、与神经乘法并行的矢量处理能力、数据压缩以减少权重和激活的加载时间、矩阵分解支持,比参考网络提供高达50:1的加速,以及下一代NN架构,如变压器和3D卷积支持。

行动呼吁

产品制造商,现在在人工智能方面有了更多的经验,知道他们想要建立什么以及如何建立。他们需要的是一个提供所有他们已经了解的神经网络组件算法的平台,以便为他们的产品构建最佳解决方案。

这是一个算法和优化的梦想清单,以提供高级边缘人工智能所需的真正的突破性能力、吞吐量和低功率。但为什么只是一个梦想?先进的产品制造商不再满足于人工智能的渐进式改进。他们现在期望平台能与他们对可能性的理解大为一致。

Roni Sadeh在处理器和加速器设计方面拥有超过20年的经验,近年来专注于音频/语音/计算机视觉应用的人工智能相关软件和硬件解决方案,以及设计可扩展至数百个TOP的下一代人工智能加速器。Roni拥有Technion大学的航空工程学士学位。

本文来源:https://www.embeddedcomputing.com/technology/iot/edge-computing/shifting-up-to-a-new-level-of-edge-ai

分享到:
  点赞
  收藏
  打印
评论(0
已输入0
最新文章