{{ title }}
{{ errorMessage }}


{{ errorMessage }}





{{ registerSuccessMessage }}
当前位置: 首页> 技术应用> 正文 
收藏
点赞
投稿
使用神经处理单元集群改造边缘 AI
  2022-11-24   

作者:Saumitra Jagdale自由技术作家

随着人工智能领域的发展,这些设备变得越来越计算和耗电。随后,边缘设备上的处理负载随着系统架构的性能和复杂性而显着增加。因此,系统中灌输了更高分辨率的图像和更复杂的算法,随着对AI处理的需求不断增加,需要进一步优化以实现高TOPS性能。

Synopsys 发布了神经处理单元 (NPU)、知识产权 (IP) 内核和工具链,以满足 AI 片上系统 (SoC) 中日益复杂的神经网络模型的性能需求。其新的DesignWare ARC NPX6和NPX6FS NPU IP可满足实时计算的需求,同时为AI应用消耗超低功耗。此外,该公司的新 MetaWare MX 开发工具提供了一个完整的编译环境,具有自动神经网络算法分区功能,以最大限度地提高在最新 NPU 上进行应用软件开发的资源效率。

使用新的DesignWare ARC NPX6和NPX6FS NPU IP,以及MetaWare MX开发工具包,设计人员可以利用最新的神经网络模型,满足不断升级的性能期望,并加快下一个智能SoC的上市时间。ARC NPX6 NPU IP 系列包括众多处理深度学习算法覆盖的产品,包括对象识别、图像质量增强和场景分割等计算机视觉任务,以及音频和自然语言处理等更大的 AI 应用。设计中的单个内核可以从 4K MAC 扩展到 96K MAC,以实现超过 250 TOPS 和超过 440 TOPS 的稀疏性单个 AI 引擎性能。

NPX6 NPU IP 包含对最多 8 个 NPU 的多 NPU 集群的硬件和软件支持,稀疏度为 3500 TOPS。借助硬件和软件中的高级带宽功能以及内存层次结构(每个内核中包含 L1 内存和用于访问公共 L2 内存的高性能、低延迟连接),可以扩展到较大的 MAC 数量。对于受益于神经网络内部 BF16 或 FP16 的应用程序,提供了一个可选的张量浮点单元。

1.png

图片来源:新思科技

MetaWare MX 开发工具包为应用软件开发提供了一个软件编程环境,包括神经网络软件开发工具包 (NN SDK) 和虚拟模型支持。NN SDK 会自动将使用流行框架(如 Pytorch、Tensorflow 或 ONNX)训练的神经网络转换为 NPX 优化的可执行代码。

这个概念是,NPX6 NPU处理器IP随后可用于制造各种产品,从几个TOP到数千个TOPS,所有这些都可以使用单个工具链编写。

NPX6 NPU IP 的主要特性:

  • 可扩展的实时 AI/神经处理器 IP,性能高达 3,500 TOPS,支持 CNN、RNN/LSTM、变压器、推荐器网络和其他神经网络。

  • 电源效率(高达 30 TOPS/W),在业内无与伦比。

  • 卷积加速器的 1-24 个内核,具有增加的 4K MAC/内核

  • 支持张量算子集架构并允许变量激活 (TOSA) 的张量加速器

  • 软件开发工具包

   o 用于自动混合模式量化的工具

  • 减少带宽的架构和软件工具特性

  • 通过并行处理各个层来减少延迟。

  • DesignWare ARC VPX 矢量 DSP 无缝集成。

  • 生产力很高。Tensorflow和Pytorch框架以及ONNX交换标准由MetaWare MX Development Toolkit支持。

此外,ARC NPX6FS NPU IP 符合 ISO 26262 ASIL D 标准,用于随机硬件故障检测和系统功能安全开发流程。这些处理器具有符合 ISO 26262 的特定安全机制,可处理下一代区域设计的混合关键性和虚拟化需求,以及全面的安全文档。

ARC MetaWare MX 开发工具包包括神经网络软件开发工具包 (SDK)、编译器和调试器、虚拟平台 SDK、运行时和库以及高级仿真模型。它提供统一的工具链环境以加快应用程序开发,并在MAC资源之间智能划分算法以实现最佳处理。MetaWare MX 安全开发工具包包含安全手册和安全指南,可帮助开发人员满足 ISO 26262 标准,并为安全关键型汽车应用的 ISO 26262 一致性测试做好准备。

通过 NPU 集群加速边缘 AI 应用

为了满足人工智能应用日益增长的性能和复杂需求,恩智浦NPU IP内核提供高性能、可扩展的实时人工智能和神经处理IP,具有高达3500个TOPS,支持各种神经网络,如CNN、RNN/LSTM、变压器和推荐器网络。

此外,它通过并行处理各个层来减少延迟。此外,高生产力的MetaWare MX Development Toolkit支持Tensorflow和Pytorch框架以及ONNX交换格式。

分享到:
  点赞
  收藏
  打印
评论(0
已输入0
最新文章
 2022-06-08