(白皮书编号:WP025)
本文概要
从深度嵌入式系统到超大规模数据中心部署,人工智能(AI)和机器学习(ML)技术正在为其中迅速扩展的一系列的产品和应用提供支持。尽管支持这些应用的硬件设计存在很大程度的差异,但都需要硬件加速。
深度学习技术需要大量的张量算术运算(tensor arithmetic operation)。为了支持实时执行,存储器和处理器的性能必须满足比标准软件驱动架构尽可能高得多的性能目标。这种需求导致去使用基于专用硬件加速器的设计,来执行并行化和高度流水线化的张量算术运算。为了避免通道阻塞,数据必须在合适的位置,合适的时间,以合适的格式出现。专用的数据编排硬件避免了加速器通道阻塞,从而支持以最高效率运行。