FPGA实现AI加速有两大关键因素
发布时间:2020/5/21 20:29:04 访问次数:712
RD8.2FM-T1高性能I/O——智能视觉系统中使用的许多组件(图像传感器、应用处理器等)都需要支持MIPI I/O标准。sensAI的目标应用之一是智能视觉,而CrossLink-NX器件是目前仅有的能提供高达2.5 Gbps速率MIPI I/O的低功耗FPGA。对于需要支持MIPI的sensAI应用而言,CrossLink-NX FPGA无疑是理想的硬件平台。CrossLink-NX FPGA的I/O提供瞬时启动的性能,能在不到3 ms的时间内完成自我配置,而整个器件的配置也只需8 ms。
支持更多神经网络架构——之前版本的sensAI支持VGG和MobileNet v1神经网络模型。最新版本则在莱迪思ECP5系列通用FPGA上新增支持MobileNet v2、SSD和ResNet模型。
FPGA实现AI加速有两大关键因素,一是FPGA内部资源,二是内存访问带宽。FPGA内部资源主要包括LUT,FF,RAM以及DSP等,FPGA本质上是可编程逻辑电路,可用逻辑电路的多少取决于芯片内部资源,这也就决定了芯片的峰值算力和可容纳的算子种类数。
在深度学习中,90%以上的计算都集中在conv、dw-conv和pooling等少数的几个算子上。所以,并不是FPGA中添加的加速算子数量越多越好,而是要注重算子的加速质量:一是用更少的资源实现更多的功能;二是提高耗时占比大的算子性能。
在实践中,添加新算子前需要平衡该算子在网络中所耗时间的占比以及其在FPGA中所消耗的资源。当然可以通过选取更大规模的片子来突破这种限制,但是端上设备受限于成本、功耗等因素,只能平衡多种因素选择一个合适规模的芯片,然后通过多种设计方法和技巧来提高加速性能。本文接下来就将介绍在EdgeBoard中如何优化设计DSP资源提升算力,以及如何通过算子复用和融合技术实现对多算子的支持。
Mi-V RISC-V生态系统是由Microchip和众多第三方合作伙伴开发的一套全面的工具和设计资源,完全支持RISC-V设计,同时支持包括Linux在内的多种实时操作系统。目前,多家RISC-V生态系统合作伙伴已表示将支持PolarFire SoC,包括WindRiver、Mentor Graphics、WolfSSL、ExpressLogic、Veridify、Hex - Five和FreeRTOS,此外,IAR systems和AdaCore的开发工具也将支持PolarFire SoC。
致力于集成人工智能等技术的开发人员,他们同时也要应对构建行为可预测实时系统的挑战,VxWorks对PolarFire SoC的支持对于推动行业发展至关重要。鉴于PolarFire的目标应用具有确定性和安全至上的特性以及对RISC-V的支持,我们预计Microchip的全新SoC FPGA将获得我们广大客户群的热烈欢迎。
(素材来源:ttic和eechina.如涉版权请联系删除。特别感谢)
深圳市永拓丰科技有限公司http://ytf01.51dzw.com/
RD8.2FM-T1高性能I/O——智能视觉系统中使用的许多组件(图像传感器、应用处理器等)都需要支持MIPI I/O标准。sensAI的目标应用之一是智能视觉,而CrossLink-NX器件是目前仅有的能提供高达2.5 Gbps速率MIPI I/O的低功耗FPGA。对于需要支持MIPI的sensAI应用而言,CrossLink-NX FPGA无疑是理想的硬件平台。CrossLink-NX FPGA的I/O提供瞬时启动的性能,能在不到3 ms的时间内完成自我配置,而整个器件的配置也只需8 ms。
支持更多神经网络架构——之前版本的sensAI支持VGG和MobileNet v1神经网络模型。最新版本则在莱迪思ECP5系列通用FPGA上新增支持MobileNet v2、SSD和ResNet模型。
FPGA实现AI加速有两大关键因素,一是FPGA内部资源,二是内存访问带宽。FPGA内部资源主要包括LUT,FF,RAM以及DSP等,FPGA本质上是可编程逻辑电路,可用逻辑电路的多少取决于芯片内部资源,这也就决定了芯片的峰值算力和可容纳的算子种类数。
在深度学习中,90%以上的计算都集中在conv、dw-conv和pooling等少数的几个算子上。所以,并不是FPGA中添加的加速算子数量越多越好,而是要注重算子的加速质量:一是用更少的资源实现更多的功能;二是提高耗时占比大的算子性能。
在实践中,添加新算子前需要平衡该算子在网络中所耗时间的占比以及其在FPGA中所消耗的资源。当然可以通过选取更大规模的片子来突破这种限制,但是端上设备受限于成本、功耗等因素,只能平衡多种因素选择一个合适规模的芯片,然后通过多种设计方法和技巧来提高加速性能。本文接下来就将介绍在EdgeBoard中如何优化设计DSP资源提升算力,以及如何通过算子复用和融合技术实现对多算子的支持。
Mi-V RISC-V生态系统是由Microchip和众多第三方合作伙伴开发的一套全面的工具和设计资源,完全支持RISC-V设计,同时支持包括Linux在内的多种实时操作系统。目前,多家RISC-V生态系统合作伙伴已表示将支持PolarFire SoC,包括WindRiver、Mentor Graphics、WolfSSL、ExpressLogic、Veridify、Hex - Five和FreeRTOS,此外,IAR systems和AdaCore的开发工具也将支持PolarFire SoC。
致力于集成人工智能等技术的开发人员,他们同时也要应对构建行为可预测实时系统的挑战,VxWorks对PolarFire SoC的支持对于推动行业发展至关重要。鉴于PolarFire的目标应用具有确定性和安全至上的特性以及对RISC-V的支持,我们预计Microchip的全新SoC FPGA将获得我们广大客户群的热烈欢迎。
(素材来源:ttic和eechina.如涉版权请联系删除。特别感谢)
深圳市永拓丰科技有限公司http://ytf01.51dzw.com/
上一篇:抗共模瞬态干扰度隔离耐压
上一篇:精密微型微机电系统惯性测量单元
热门点击
- 线性调整率和负载调整率
- 测量并报告设置的电位计电阻
- 单电源方程式高压效率高
- 双节锂电池的升压充电管理 IC
- 锂电池超级快充互连器件
- 分立式变压器的传统方法
- 处理器和IP模块共享总线的方式
- 母线电压调整率和负载调整率
- 低压线性稳压器限流和热关闭功能
- 高精度电池电压采样的计算
推荐技术资料
- Seeed Studio
- Seeed Studio绐我们的印象总是和绘画脱离不了... [详细]