基于Blackfin媒体处理器的视频应用
发布时间:2008/6/5 0:00:00 访问次数:382
视频处理算法的不断改进使得人们可以在越来越低码率的情况下获得更高的处理质量。 这些好处也造就了更多的基于视频处理的应用需求, 包括基于流媒体的机顶盒,数字视频录像机(dvr),数字视频广播(dvb),网络监控摄像头以及可视电话(videophone)等等。 这些应用共同之处在于它们都要求对视频的处理,处理的方式包括对视频数据的编码和解码,例如mjpeg, mpeg4,h.263以及目前相当受关注的h.264;或者实现对不同压缩制式之间的转码(transcode)。这些应用都要求主处理芯片有非常强的视频处理功能。在对视频质量要求不断提高的同时,还要求整个设计实现保持很低的成本和功耗水平。
基于blackfin?的视频应用系统
对于设计工程师们来说选择一款合适的处理器来满足视频应用中日益提高的要求绝对是一件挑战性的任务。为满足当前视频应用的需求,处理器首先必须有足够强大的视频处理能力,尤其在实现基于mpeg4 及 h.264 这样的复杂视频处理算法的应用时。在这些高性能视频应用中,通常数据运算量极大。pal和ntsc电视信号分别为25帧/秒和30帧/秒,编解码器需要每秒处理162000个宏块(macro block)。在h.264的编解码处理中要对每个宏块进行整型变化和反整型变化,运动搜索,宏块重构1。没有经过深入优化的h.264 cif大小编码大约需要50,000万到1000,000万指令周期。
此外,随之而来的困难还包括如何将丰富的系统应用层和复杂的音视处理模块高度集成来实现低成本的解决方案。 传统的方法是在系统中同时加入一个mcu和一个数字信号处理器。mcu用于实现系统控制及应用层,包括象网络tcp\ip协议等各种协议栈。而dsp用来完成一些大数据量的运算,象h.264编解码之类的视频处理。在这种结构下,工程师在系统实现时不得不面对两种不同的处理器,这使得系统的设计和调试都显得不太容易。 并且一个多个处理器并存的系统很难满足低成本和低功耗的苛刻要求。
不过让工程师们觉得兴奋的是,过去因为带宽和处理能力的限制,只能在简单音频处理领域发挥作用的数字信号处理器,由于性能的不断提高,也开始在复杂视频应用领域大显身手。如今,工程师们可以在一个单一的结构中,这里指的是一个单一的处理器,来实现包括系统应用层和视频编解码处理。例如analog devices inc 最新推出的blackfin?系列媒体处理器。
blackfin 处理器是一类专为满足当今嵌入式音频、视频和通信应用的计算要求和功耗约束条件而设计的新型 16~32 位嵌入式处理器,如图1。blackfin 处理器基于由 adi 和 intel 公司联合开发的微信号架构(msa),它将一个 32 位 risc 型指令集和双 16 位乘法累加(mac)信号处理功能与通用型微控制器所具有的易用性组合在了一起。 这种处理特征的组合使得 blackfin 处理器能够在信号处理和控制处理应用中均能发挥出色的作用 -- 在许多场合中免除了增设单独的微控制器(mcu)的需要。该能力极大地简化了硬件和软件设计和实现难度。
目前,blackfin 处理器在产品中可提供高达 756mhz 的性能,还提供了低至 0.8v 的业界领先的功耗性能。
下面我们以ip视频可视电话为例来看看采用blackfin来设计实现基于ip的复杂视频应用。
ip视频电话产品应该不算是一个新的产品概念了。目前市面上有的ip视频电话多采用h.263和h.264编解码格式。对于一般的用户,大多要求cif(352x288)的分辨率,实时帧率为25或30帧每秒。但随着视频处理技术的不断发展,在确保高质量实时视频的同时,对网络带宽的需求可以大幅减少。h.264/avc是itu-t视频编码专家组和iso/iec运动图像专家组联合提出的最新一代的视频编码标准。在采用h.264格式时,在低码率下,甚至64kbps 的码率时也可以获得高质量的音视频。 h.264格式的视频电话可以比h.263格式的视频电话节省近一半的带宽。所以新的ip视频电话都将以h.264为标准格式。
作为单芯片方案,我们采用adsp-bf561媒体处理器作为系统的核心处理器。 adsp-bf561处理器是blackfin 处理器系列中的新型对称多处理器成员。adsp-bf561内部有两个高性能的msa架构的blackfin内核,提供有专用的高级视频处理指令。此外还有多达328kbytes的片上高速内存。既可以很好的支持丰富的应用功能如gui,sip或h.323协议栈,还能够完成复杂的音视频编解码处理,例如h.264单通道cif的编解码。硬件平台的设计如图2所示。系统中视频数据的输入输出由两个独立的ppi承担,blackfin的ppi 端口能够支持bt656兼容的视频数据。音频的输入输出由blackfin?的sport完成,sport能够支持标准的i2s和tdm传输模式。此外,可以通过外频高至133mhz的异步总线接口上扩展以太网驱动芯片来提供高速的网络传输。一些辅助的控制外设象红外接口,可
基于blackfin?的视频应用系统
对于设计工程师们来说选择一款合适的处理器来满足视频应用中日益提高的要求绝对是一件挑战性的任务。为满足当前视频应用的需求,处理器首先必须有足够强大的视频处理能力,尤其在实现基于mpeg4 及 h.264 这样的复杂视频处理算法的应用时。在这些高性能视频应用中,通常数据运算量极大。pal和ntsc电视信号分别为25帧/秒和30帧/秒,编解码器需要每秒处理162000个宏块(macro block)。在h.264的编解码处理中要对每个宏块进行整型变化和反整型变化,运动搜索,宏块重构1。没有经过深入优化的h.264 cif大小编码大约需要50,000万到1000,000万指令周期。
此外,随之而来的困难还包括如何将丰富的系统应用层和复杂的音视处理模块高度集成来实现低成本的解决方案。 传统的方法是在系统中同时加入一个mcu和一个数字信号处理器。mcu用于实现系统控制及应用层,包括象网络tcp\ip协议等各种协议栈。而dsp用来完成一些大数据量的运算,象h.264编解码之类的视频处理。在这种结构下,工程师在系统实现时不得不面对两种不同的处理器,这使得系统的设计和调试都显得不太容易。 并且一个多个处理器并存的系统很难满足低成本和低功耗的苛刻要求。
不过让工程师们觉得兴奋的是,过去因为带宽和处理能力的限制,只能在简单音频处理领域发挥作用的数字信号处理器,由于性能的不断提高,也开始在复杂视频应用领域大显身手。如今,工程师们可以在一个单一的结构中,这里指的是一个单一的处理器,来实现包括系统应用层和视频编解码处理。例如analog devices inc 最新推出的blackfin?系列媒体处理器。
blackfin 处理器是一类专为满足当今嵌入式音频、视频和通信应用的计算要求和功耗约束条件而设计的新型 16~32 位嵌入式处理器,如图1。blackfin 处理器基于由 adi 和 intel 公司联合开发的微信号架构(msa),它将一个 32 位 risc 型指令集和双 16 位乘法累加(mac)信号处理功能与通用型微控制器所具有的易用性组合在了一起。 这种处理特征的组合使得 blackfin 处理器能够在信号处理和控制处理应用中均能发挥出色的作用 -- 在许多场合中免除了增设单独的微控制器(mcu)的需要。该能力极大地简化了硬件和软件设计和实现难度。
图1 adsp-bf561系统结构示意图 |
下面我们以ip视频可视电话为例来看看采用blackfin来设计实现基于ip的复杂视频应用。
ip视频电话产品应该不算是一个新的产品概念了。目前市面上有的ip视频电话多采用h.263和h.264编解码格式。对于一般的用户,大多要求cif(352x288)的分辨率,实时帧率为25或30帧每秒。但随着视频处理技术的不断发展,在确保高质量实时视频的同时,对网络带宽的需求可以大幅减少。h.264/avc是itu-t视频编码专家组和iso/iec运动图像专家组联合提出的最新一代的视频编码标准。在采用h.264格式时,在低码率下,甚至64kbps 的码率时也可以获得高质量的音视频。 h.264格式的视频电话可以比h.263格式的视频电话节省近一半的带宽。所以新的ip视频电话都将以h.264为标准格式。
作为单芯片方案,我们采用adsp-bf561媒体处理器作为系统的核心处理器。 adsp-bf561处理器是blackfin 处理器系列中的新型对称多处理器成员。adsp-bf561内部有两个高性能的msa架构的blackfin内核,提供有专用的高级视频处理指令。此外还有多达328kbytes的片上高速内存。既可以很好的支持丰富的应用功能如gui,sip或h.323协议栈,还能够完成复杂的音视频编解码处理,例如h.264单通道cif的编解码。硬件平台的设计如图2所示。系统中视频数据的输入输出由两个独立的ppi承担,blackfin的ppi 端口能够支持bt656兼容的视频数据。音频的输入输出由blackfin?的sport完成,sport能够支持标准的i2s和tdm传输模式。此外,可以通过外频高至133mhz的异步总线接口上扩展以太网驱动芯片来提供高速的网络传输。一些辅助的控制外设象红外接口,可
视频处理算法的不断改进使得人们可以在越来越低码率的情况下获得更高的处理质量。 这些好处也造就了更多的基于视频处理的应用需求, 包括基于流媒体的机顶盒,数字视频录像机(dvr),数字视频广播(dvb),网络监控摄像头以及可视电话(videophone)等等。 这些应用共同之处在于它们都要求对视频的处理,处理的方式包括对视频数据的编码和解码,例如mjpeg, mpeg4,h.263以及目前相当受关注的h.264;或者实现对不同压缩制式之间的转码(transcode)。这些应用都要求主处理芯片有非常强的视频处理功能。在对视频质量要求不断提高的同时,还要求整个设计实现保持很低的成本和功耗水平。
基于blackfin?的视频应用系统
对于设计工程师们来说选择一款合适的处理器来满足视频应用中日益提高的要求绝对是一件挑战性的任务。为满足当前视频应用的需求,处理器首先必须有足够强大的视频处理能力,尤其在实现基于mpeg4 及 h.264 这样的复杂视频处理算法的应用时。在这些高性能视频应用中,通常数据运算量极大。pal和ntsc电视信号分别为25帧/秒和30帧/秒,编解码器需要每秒处理162000个宏块(macro block)。在h.264的编解码处理中要对每个宏块进行整型变化和反整型变化,运动搜索,宏块重构1。没有经过深入优化的h.264 cif大小编码大约需要50,000万到1000,000万指令周期。
此外,随之而来的困难还包括如何将丰富的系统应用层和复杂的音视处理模块高度集成来实现低成本的解决方案。 传统的方法是在系统中同时加入一个mcu和一个数字信号处理器。mcu用于实现系统控制及应用层,包括象网络tcp\ip协议等各种协议栈。而dsp用来完成一些大数据量的运算,象h.264编解码之类的视频处理。在这种结构下,工程师在系统实现时不得不面对两种不同的处理器,这使得系统的设计和调试都显得不太容易。 并且一个多个处理器并存的系统很难满足低成本和低功耗的苛刻要求。
不过让工程师们觉得兴奋的是,过去因为带宽和处理能力的限制,只能在简单音频处理领域发挥作用的数字信号处理器,由于性能的不断提高,也开始在复杂视频应用领域大显身手。如今,工程师们可以在一个单一的结构中,这里指的是一个单一的处理器,来实现包括系统应用层和视频编解码处理。例如analog devices inc 最新推出的blackfin?系列媒体处理器。
blackfin 处理器是一类专为满足当今嵌入式音频、视频和通信应用的计算要求和功耗约束条件而设计的新型 16~32 位嵌入式处理器,如图1。blackfin 处理器基于由 adi 和 intel 公司联合开发的微信号架构(msa),它将一个 32 位 risc 型指令集和双 16 位乘法累加(mac)信号处理功能与通用型微控制器所具有的易用性组合在了一起。 这种处理特征的组合使得 blackfin 处理器能够在信号处理和控制处理应用中均能发挥出色的作用 -- 在许多场合中免除了增设单独的微控制器(mcu)的需要。该能力极大地简化了硬件和软件设计和实现难度。
目前,blackfin 处理器在产品中可提供高达 756mhz 的性能,还提供了低至 0.8v 的业界领先的功耗性能。
下面我们以ip视频可视电话为例来看看采用blackfin来设计实现基于ip的复杂视频应用。
ip视频电话产品应该不算是一个新的产品概念了。目前市面上有的ip视频电话多采用h.263和h.264编解码格式。对于一般的用户,大多要求cif(352x288)的分辨率,实时帧率为25或30帧每秒。但随着视频处理技术的不断发展,在确保高质量实时视频的同时,对网络带宽的需求可以大幅减少。h.264/avc是itu-t视频编码专家组和iso/iec运动图像专家组联合提出的最新一代的视频编码标准。在采用h.264格式时,在低码率下,甚至64kbps 的码率时也可以获得高质量的音视频。 h.264格式的视频电话可以比h.263格式的视频电话节省近一半的带宽。所以新的ip视频电话都将以h.264为标准格式。
作为单芯片方案,我们采用adsp-bf561媒体处理器作为系统的核心处理器。 adsp-bf561处理器是blackfin 处理器系列中的新型对称多处理器成员。adsp-bf561内部有两个高性能的msa架构的blackfin内核,提供有专用的高级视频处理指令。此外还有多达328kbytes的片上高速内存。既可以很好的支持丰富的应用功能如gui,sip或h.323协议栈,还能够完成复杂的音视频编解码处理,例如h.264单通道cif的编解码。硬件平台的设计如图2所示。系统中视频数据的输入输出由两个独立的ppi承担,blackfin的ppi 端口能够支持bt656兼容的视频数据。音频的输入输出由blackfin?的sport完成,sport能够支持标准的i2s和tdm传输模式。此外,可以通过外频高至133mhz的异步总线接口上扩展以太网驱动芯片来提供高速的网络传输。一些辅助的控制外设象红外接口,可
基于blackfin?的视频应用系统
对于设计工程师们来说选择一款合适的处理器来满足视频应用中日益提高的要求绝对是一件挑战性的任务。为满足当前视频应用的需求,处理器首先必须有足够强大的视频处理能力,尤其在实现基于mpeg4 及 h.264 这样的复杂视频处理算法的应用时。在这些高性能视频应用中,通常数据运算量极大。pal和ntsc电视信号分别为25帧/秒和30帧/秒,编解码器需要每秒处理162000个宏块(macro block)。在h.264的编解码处理中要对每个宏块进行整型变化和反整型变化,运动搜索,宏块重构1。没有经过深入优化的h.264 cif大小编码大约需要50,000万到1000,000万指令周期。
此外,随之而来的困难还包括如何将丰富的系统应用层和复杂的音视处理模块高度集成来实现低成本的解决方案。 传统的方法是在系统中同时加入一个mcu和一个数字信号处理器。mcu用于实现系统控制及应用层,包括象网络tcp\ip协议等各种协议栈。而dsp用来完成一些大数据量的运算,象h.264编解码之类的视频处理。在这种结构下,工程师在系统实现时不得不面对两种不同的处理器,这使得系统的设计和调试都显得不太容易。 并且一个多个处理器并存的系统很难满足低成本和低功耗的苛刻要求。
不过让工程师们觉得兴奋的是,过去因为带宽和处理能力的限制,只能在简单音频处理领域发挥作用的数字信号处理器,由于性能的不断提高,也开始在复杂视频应用领域大显身手。如今,工程师们可以在一个单一的结构中,这里指的是一个单一的处理器,来实现包括系统应用层和视频编解码处理。例如analog devices inc 最新推出的blackfin?系列媒体处理器。
blackfin 处理器是一类专为满足当今嵌入式音频、视频和通信应用的计算要求和功耗约束条件而设计的新型 16~32 位嵌入式处理器,如图1。blackfin 处理器基于由 adi 和 intel 公司联合开发的微信号架构(msa),它将一个 32 位 risc 型指令集和双 16 位乘法累加(mac)信号处理功能与通用型微控制器所具有的易用性组合在了一起。 这种处理特征的组合使得 blackfin 处理器能够在信号处理和控制处理应用中均能发挥出色的作用 -- 在许多场合中免除了增设单独的微控制器(mcu)的需要。该能力极大地简化了硬件和软件设计和实现难度。
图1 adsp-bf561系统结构示意图 |
下面我们以ip视频可视电话为例来看看采用blackfin来设计实现基于ip的复杂视频应用。
ip视频电话产品应该不算是一个新的产品概念了。目前市面上有的ip视频电话多采用h.263和h.264编解码格式。对于一般的用户,大多要求cif(352x288)的分辨率,实时帧率为25或30帧每秒。但随着视频处理技术的不断发展,在确保高质量实时视频的同时,对网络带宽的需求可以大幅减少。h.264/avc是itu-t视频编码专家组和iso/iec运动图像专家组联合提出的最新一代的视频编码标准。在采用h.264格式时,在低码率下,甚至64kbps 的码率时也可以获得高质量的音视频。 h.264格式的视频电话可以比h.263格式的视频电话节省近一半的带宽。所以新的ip视频电话都将以h.264为标准格式。
作为单芯片方案,我们采用adsp-bf561媒体处理器作为系统的核心处理器。 adsp-bf561处理器是blackfin 处理器系列中的新型对称多处理器成员。adsp-bf561内部有两个高性能的msa架构的blackfin内核,提供有专用的高级视频处理指令。此外还有多达328kbytes的片上高速内存。既可以很好的支持丰富的应用功能如gui,sip或h.323协议栈,还能够完成复杂的音视频编解码处理,例如h.264单通道cif的编解码。硬件平台的设计如图2所示。系统中视频数据的输入输出由两个独立的ppi承担,blackfin的ppi 端口能够支持bt656兼容的视频数据。音频的输入输出由blackfin?的sport完成,sport能够支持标准的i2s和tdm传输模式。此外,可以通过外频高至133mhz的异步总线接口上扩展以太网驱动芯片来提供高速的网络传输。一些辅助的控制外设象红外接口,可