在DSP平臺(tái)上移植音視頻編解碼算法通常分為3個(gè)階段： 第1個(gè)階段產(chǎn)生并評(píng)估C代碼；第2個(gè)階段優(yōu)化C代碼；第3個(gè)階段進(jìn)行匯編優(yōu)化[1]。整個(gè)過程比較耗時(shí)，工作量巨大。為減小移植工作量，可引入ffmpeg音視頻開發(fā)包，在開發(fā)包基礎(chǔ)上進(jìn)行開發(fā)可以免去第一階段工作，并減少部分第二階段的工作。ffmpeg是一個(gè)優(yōu)秀的音視頻解決方案，在此框架下可以方便、快速地進(jìn)行進(jìn)一步的開發(fā)。在嵌入式硬件平臺(tái)和嵌入Linux環(huán)境下，本文搭建了一種基于ffmpeg框架的音視頻編解碼軟件開發(fā)平臺(tái)，可供算法改進(jìn)、性能測(cè)試，使得視頻編解碼算法的優(yōu)化改進(jìn)得以在一個(gè)高起點(diǎn)上快速進(jìn)行。本文分別介紹了平臺(tái)搭建步驟（包括UBoot、Linux、ffmpeg的移植）和基于ffmpeg開發(fā)的要點(diǎn)。
1 ffmpeg簡(jiǎn)介
ffmpeg是一個(gè)集錄制、轉(zhuǎn)換、音/視頻編解碼功能為一體的、完整的開源解決方案。ffmpeg的開發(fā)基于Linux操作系統(tǒng)，也可在大多數(shù)操作系統(tǒng)中編譯和使用。ffmpeg支持MPEG、DivX、MPEG4、AC3、DV、FLV等40多種編碼，AVI、MPEG、OGG、Matroska、ASF等90多種解碼；TCPMP、VLC、MPlayer等開源播放器都用到了ffmpeg。它能夠快速實(shí)現(xiàn)音視頻格式轉(zhuǎn)換,也能從音視頻源獲取數(shù)據(jù)并將其保存。在捕獲視頻數(shù)據(jù)時(shí)可以設(shè)置捕獲設(shè)備和視頻輸入標(biāo)準(zhǔn)（包括NTSC、PAL 及SECAM）,對(duì)于DV1394還可設(shè)置視頻捕獲通道。ffmpeg 使用video4linux 架構(gòu)的視頻源，以及其他任何開源系統(tǒng)的音頻源。
2 建立嵌入式Linux開發(fā)平臺(tái)
2.1 bootloader移植
UBoot是一個(gè)著名的開放源碼項(xiàng)目，支持ARM、PowerPC等多種架構(gòu)的處理器，也支持Linux、NetBSD 和VxWorks 等多種操作系統(tǒng)。UBoot是用于初始化目標(biāo)板硬件，為嵌入式操作系統(tǒng)提供目標(biāo)板硬件配置信息，完成嵌入式操作系統(tǒng)裝載、引導(dǎo)和運(yùn)行的固件程序。
本嵌入式平臺(tái)硬件環(huán)境的CPU為S3C2410,板上用來啟動(dòng)的NOR Flash為Intel公司的E28F320J3。移植工作的板極配置主要是配置好NOR Flash的驅(qū)動(dòng)，用于存放UBoot鏡像文件，配置網(wǎng)卡芯片是為了可以使用網(wǎng)絡(luò)加載Linux內(nèi)核鏡像文件。
本平臺(tái)使用uboot1.1.5版本，使用cross3.2交叉編譯工具[2]。UBoot的移植詳見參考文獻(xiàn)[3]。在其基礎(chǔ)上，筆者做了以下修改：新建開發(fā)板目錄，名稱為myboard,拷貝driver/cfi_flash.c代替 board/myboard/flash.c,并改名為flash.c。修改include/configs/myboard.h文件，添加（或者修改為）如下宏定義：
#define CFG_FLASH_CFI1
#define CFG_FLASH_DRIVER1
#define CFG_FLSH_USE BUFFER_WRITE 1
#define CFG_FLASH_PROTECTION1
#define CFG_ENV_IS_IN_FLASH1
#define CFG_ENV_ADDR (PHYS_FLASH_1 + 0x40000)
#define CFG_ENV_SECT_SIZE(0x20000)
#define CFG_INIT_CRITICAL1
UBoot編譯好之后下載到開發(fā)板，設(shè)置網(wǎng)卡物理地址、IP地址、服務(wù)器地址和啟動(dòng)參數(shù)，并把系統(tǒng)控制權(quán)交給Linux操作系統(tǒng)。其中，啟動(dòng)參數(shù)用來自動(dòng)從服務(wù)器下載編譯好的Linux內(nèi)核。設(shè)置UBoot的命令如下：
#setenv bootcmd tftp 32000000 uImage\\;bootm 32000000
#saveenv
2.2 Linux移植
本文移植Linux2.6內(nèi)核。2.6內(nèi)核比2.4內(nèi)核在調(diào)度器性能、實(shí)時(shí)性、內(nèi)核可搶占性等方面都有大幅提高。參照參考文獻(xiàn)[3]進(jìn)行移植，在文件系統(tǒng)方面，為方便開發(fā)調(diào)試，采用NFS網(wǎng)絡(luò)文件系統(tǒng)。在裁減配置內(nèi)核時(shí)，選擇NFS配置。內(nèi)核配置的kernel command line如下：
root=/dev/nfs rw nfsroot=192.168.0.1:/home/arm/rootfs noinitrd init=/linuxrc console=ttySAC0,115200 ip=192.168.0.2
2.3 USB攝像頭驅(qū)動(dòng)配置
USB攝像頭使用網(wǎng)眼V2000。這款攝像頭使用ov511芯片，它的驅(qū)動(dòng)在配置Linux內(nèi)核時(shí)可以選擇加載。
3 建立ffmpeg的嵌入式運(yùn)行環(huán)境
3.1 ffmpeg的移植及編譯
下載最新的ffmpeg包解壓縮，在嵌入式平臺(tái)上使用開發(fā)包需要交叉編譯，手工修改配置文件如下：
#vi configure
prefix="/home/arm/files/video/libffmpge"
cross_prefix="usr/local/arm/3.4.1/bin/"
cc="armlinuxgcc"
ar="armlinuxar"
ranlib="armlinuxranlib"
strip="armlinuxstrip"
然后運(yùn)行命令
./configure cpu=armv4l enable shared enable pthreads
參考文獻(xiàn)[4]直接使用ffmpeg編譯后產(chǎn)生的可執(zhí)行文件來采集視頻。本文中應(yīng)用程序開發(fā)需要用到ffmpeg的動(dòng)態(tài)庫(kù)，加上enableshared即可。配置完成后，運(yùn)行make、make install 命令，可在路徑/home/arm/files/video/libffmpge下生成可供嵌入式平臺(tái)程序動(dòng)態(tài)調(diào)用的庫(kù)libavformat.so和libavcodec.so。
3.2 視頻處理應(yīng)用程序開發(fā)
基于ffmpeg開發(fā)的文檔資料不多，因此，本文對(duì)ffmpeg的使用進(jìn)行詳細(xì)說明。本文基于ffmpeg庫(kù)的應(yīng)用是低幀率視頻采集編碼與網(wǎng)絡(luò)傳輸。這里以H.263編碼格式為例。
應(yīng)用程序要用到幾個(gè)主要的結(jié)構(gòu)：
AVFormatContext *m_pFormatCtx_dec;
AVCodecContext *m_pCodecCtx_dec;
AVCodec*m_pCodec_dec;
AVFrame*m_pFrame_dec;
AVCodecContext *m_pCodecCtx_cd;
AVCodec*m_pCodec_cd;
應(yīng)用程序主要流程如圖1所示。
圖1 應(yīng)用程序主要流程
下面具體介紹核心函數(shù)和主要數(shù)據(jù)結(jié)構(gòu)的使用。
初始化部分：
//指定設(shè)備"/dev/v4l/video0"及視頻分辨率等參數(shù)
AVFormatParameters formatParams;
AVInputFormat* pInputFormat;
char *filename = "";
pInputFormat = av_find_input_format("video4linux");
（1） 找到視頻流
//注冊(cè)庫(kù)中含有的所有可用的文件格式和編碼器
av_register_all()；//打開視頻攝像頭文件
av_open_input_file(&m_pFormatCtx_dec,filename,pInputFormat,0,&formatParams)；//取出包含在文件中的流信息，用有效的信息把AVFormatContext的流域（streams field）填滿
av_find_stream_info(m_pFormatCtx_dec)；
if(m_pFormatCtx_dec>streams[i]>codec.codec_type == CODEC_TYPE_VIDEO)
m_videostream = i; //尋找第一個(gè)視頻流
（2） 得到視頻流編碼上下文的指針
m_pCodecCtx_dec = &(m_pFormatCtx_dec>streams[m_videostream]>codec);//尋找視頻流的解碼器并打開它
m_pCodec_dec = avcodec_find_decoder(m_pCodecCtx_dec>codec_id);
avcodec_open(pCodecCtx, pCodec);
（3） 分配空間用來存儲(chǔ)解碼后的圖片
m_pFrame_dec = avcodec_alloc_frame();
（4） 設(shè)置編碼器
編碼器參數(shù)需在m_pCodec_cd中初始化。
m_pCodec_cd = avcodec_find_encoder(CODEC_ID_H263P);//H.263格式
avcodec_open(m_pCodecCtx_cd,m_pCodec_cd);
（5） 開始編碼
初始化完畢之后，就可以對(duì)攝像頭取得的視頻幀進(jìn)行解碼，解碼完成之后再對(duì)其編碼。
avcodec_decode_video(pCodecCtx_dec,pFrame_dec,&frameFinished, packet.data,packet.size);
avcodec_encode_video(pCodecCtx_cd,pOutBuf,pVideoCap>m_out_buf_size,pFrame_dec);
每幀編完碼之后，可以調(diào)用網(wǎng)絡(luò)接口發(fā)送視頻數(shù)據(jù)到網(wǎng)絡(luò)終端，實(shí)現(xiàn)遠(yuǎn)程監(jiān)控或者測(cè)試。
4 視頻編解碼算法改進(jìn)與開發(fā)方法
應(yīng)用程序編寫時(shí)調(diào)用ffmpeg庫(kù)函數(shù)，方法簡(jiǎn)單易行。調(diào)用原始的未進(jìn)行算法改進(jìn)的庫(kù)函數(shù)并不能得到理想的編解碼速度，因此需要對(duì)原來的開發(fā)包源代碼進(jìn)行算法級(jí)改進(jìn)。核心的運(yùn)行量大的算法需要改用匯編代碼，以充分挖掘硬件潛力。對(duì)源碼修改之后重新編譯，得到可供應(yīng)用程序調(diào)用的動(dòng)態(tài)庫(kù)，而應(yīng)用程序本身不必進(jìn)行修改，因此非常方便。
結(jié)語(yǔ)
本文介紹的視頻開發(fā)方法可以省去開發(fā)過程中第一階段和部分第二階段的工作量，從而快速地對(duì)現(xiàn)有算法進(jìn)行改進(jìn)、優(yōu)化、測(cè)試。另外，本平臺(tái)搭建方法也可以用于其他硬件平臺(tái)（如ADSPBF561平臺(tái)）上，以滿足更高的實(shí)時(shí)性需求。
參考文獻(xiàn)
[1] 安向陽(yáng)，沈庭芝.基于DSP TMS320DM642的H.264視頻編碼的實(shí)現(xiàn)和優(yōu)化[J]. 微計(jì)算機(jī)信息，2005，21(72): 128130.
[2] http://ftp.arm.linux.org.uk/pub/ armlinux/toolchain/.
[3] 吳張順,張珣. 基于ffmpeg的視頻編碼存儲(chǔ)研究與實(shí)現(xiàn)[J]. 杭州電子科技大學(xué)學(xué)報(bào)，2006,26(3): 3034.
蔣志峰((碩士研究生)，主要研究方向?yàn)榍度胧较到y(tǒng)、視頻信號(hào)處理。
