位置:51电子网 » 技术资料 » 测试测量

单电源电压主流的CNN模型优化方法

发布时间:2020/10/31 8:53:36 访问次数:648

智能手机作为移动互联网时代生态系统和技术发展最成熟最完善的移动计算设备,如果能够在手机和AR眼镜间通过一种高速低功耗的无线连接技术实现连接,将智能手机作为移动计算平台,而AR眼镜被定义为提供内容显示和环境感知的衍生设备,就可以使得AR眼镜充分利用智能手机的生态和内容。例如用户可以用AR眼镜来看电影、玩3D游戏,与亲友实现远距离第一视角的场景共享等。

并没有完全适合该应用场景的近距离的无线技术标准,2.4 GHz和5 GHz WiFi技术虽然成本较低,应用很广,但其在延时、抗干扰性、功耗等方面的内生技术缺陷,使得该方案无法满足前述场景的核心技术需求。另一个新兴的无线技术802.11ad使用了60 GHz的超高频段,功耗大幅度提升,无法满足可穿戴设备对低功耗的严苛要求,加上60 GHz无线电波在路径损耗和穿透损耗方面的弱点,其传输性能极不稳定,传输距离基本上在厘米的量级。

标准包装 3,000包装 标准卷带零件状态有源类别产品族系列其它名称296-9110-2

规格类型总线开关电路1 x 1:1独立电路1电流 - 输出高,低-电压源单电源电压 - 电源2.3V ~ 3.6V工作温度-40°C ~ 85°C安装类型表面贴装型封装/外壳5-TSSOP,SC-70-5,SOT-353供应商器件封装SC-70-5

制造商:Freescale Semiconductor产品种类:微处理器 - MPURoHS: 详细信息系列:MPC8306核心:e300c3内核数量:1 Core数据总线宽度:32 bit最大时钟频率:266 MHzL1缓存指令存储器:16 kBL1缓存数据存储器:16 kB工作电源电压:1 V最大工作温度:+ 105 C安装风格:SMD/SMT封装 / 箱体:MAPBGA-369商标:Freescale SemiconductorI/O 电压:1.8 V, 3.3 V说明书类型:Floating Point接口类型:CAN, Ethernet, I2C, PCI, SPI, UART, USB存储类型:L1 Cache最小工作温度:- 40 C计时器/计数器数量:8 x 32 bit封装:Tray处理器系列:PowerQUICC II Pro工厂包装数量:420商标名:PowerQUICC看门狗计时器:Watchdog Timer单位重量:1.035 g

CNN权值量化是目前一种主流的CNN模型优化方法,而三值量化其中一种能够将权值由32位量化到2位(0,±α)从而达到16倍压缩比的低位量化方法。自从2016年三值化网络被LI F等人提出以来,其方法不断改进,性能不断提高。

其中MELLEMPUDI N等人于2017年提出的细粒度三值化网络,将激活函数量化到8或4位,将权重量化至2位,将每N个权值分为一个组,分组量化,两组之间相互独立,其中N=2,4,8,16,…。该方法主要通过尝试不同的分组和暴力搜索解空间以及二次训练的方式得到最优解,但相比原精度的32位卷积网络仍有较大性能差距。

三值量化网络性能不佳的其中一个问题在于都使用对称均匀量化操作,只考虑了单个权值的量化,忽视了相邻权值量化之间的相互关系,量化噪音直接相互累加,导致每一层网络的噪声积累过高,使得量化模型的预测准确率有极大的下降。


(素材来源:chinaaet和ttic.如涉版权请联系删除。特别感谢)

智能手机作为移动互联网时代生态系统和技术发展最成熟最完善的移动计算设备,如果能够在手机和AR眼镜间通过一种高速低功耗的无线连接技术实现连接,将智能手机作为移动计算平台,而AR眼镜被定义为提供内容显示和环境感知的衍生设备,就可以使得AR眼镜充分利用智能手机的生态和内容。例如用户可以用AR眼镜来看电影、玩3D游戏,与亲友实现远距离第一视角的场景共享等。

并没有完全适合该应用场景的近距离的无线技术标准,2.4 GHz和5 GHz WiFi技术虽然成本较低,应用很广,但其在延时、抗干扰性、功耗等方面的内生技术缺陷,使得该方案无法满足前述场景的核心技术需求。另一个新兴的无线技术802.11ad使用了60 GHz的超高频段,功耗大幅度提升,无法满足可穿戴设备对低功耗的严苛要求,加上60 GHz无线电波在路径损耗和穿透损耗方面的弱点,其传输性能极不稳定,传输距离基本上在厘米的量级。

标准包装 3,000包装 标准卷带零件状态有源类别产品族系列其它名称296-9110-2

规格类型总线开关电路1 x 1:1独立电路1电流 - 输出高,低-电压源单电源电压 - 电源2.3V ~ 3.6V工作温度-40°C ~ 85°C安装类型表面贴装型封装/外壳5-TSSOP,SC-70-5,SOT-353供应商器件封装SC-70-5

制造商:Freescale Semiconductor产品种类:微处理器 - MPURoHS: 详细信息系列:MPC8306核心:e300c3内核数量:1 Core数据总线宽度:32 bit最大时钟频率:266 MHzL1缓存指令存储器:16 kBL1缓存数据存储器:16 kB工作电源电压:1 V最大工作温度:+ 105 C安装风格:SMD/SMT封装 / 箱体:MAPBGA-369商标:Freescale SemiconductorI/O 电压:1.8 V, 3.3 V说明书类型:Floating Point接口类型:CAN, Ethernet, I2C, PCI, SPI, UART, USB存储类型:L1 Cache最小工作温度:- 40 C计时器/计数器数量:8 x 32 bit封装:Tray处理器系列:PowerQUICC II Pro工厂包装数量:420商标名:PowerQUICC看门狗计时器:Watchdog Timer单位重量:1.035 g

CNN权值量化是目前一种主流的CNN模型优化方法,而三值量化其中一种能够将权值由32位量化到2位(0,±α)从而达到16倍压缩比的低位量化方法。自从2016年三值化网络被LI F等人提出以来,其方法不断改进,性能不断提高。

其中MELLEMPUDI N等人于2017年提出的细粒度三值化网络,将激活函数量化到8或4位,将权重量化至2位,将每N个权值分为一个组,分组量化,两组之间相互独立,其中N=2,4,8,16,…。该方法主要通过尝试不同的分组和暴力搜索解空间以及二次训练的方式得到最优解,但相比原精度的32位卷积网络仍有较大性能差距。

三值量化网络性能不佳的其中一个问题在于都使用对称均匀量化操作,只考虑了单个权值的量化,忽视了相邻权值量化之间的相互关系,量化噪音直接相互累加,导致每一层网络的噪声积累过高,使得量化模型的预测准确率有极大的下降。


(素材来源:chinaaet和ttic.如涉版权请联系删除。特别感谢)

热门点击

 

推荐技术资料

音频变压器DIY
    笔者在本刊今年第六期上着重介绍了“四夹三”音频变压器的... [详细]
版权所有:51dzw.COM
深圳服务热线:13751165337  13692101218
粤ICP备09112631号-6(miitbeian.gov.cn)
公网安备44030402000607
深圳市碧威特网络技术有限公司
付款方式


 复制成功!