在分析視頻監(jiān)控系統(tǒng)網(wǎng)絡(luò)化趨勢(shì)和實(shí)時(shí)性要求的基礎(chǔ)上，采用DSP TMS320C6416和ARM微控制器，設(shè)計(jì)并實(shí)現(xiàn)了支持煤礦井下工業(yè)以太網(wǎng)傳輸?shù)那度胧紿.264視頻編碼器。
給出了系統(tǒng)結(jié)構(gòu)原理及硬件設(shè)計(jì)，實(shí)現(xiàn)了DSP編碼算法和面向RTP/UDP/IP的NAL接口。測(cè)試表明，系統(tǒng)能夠進(jìn)行高質(zhì)量的視頻網(wǎng)絡(luò)化傳輸。
目前，在煤礦使用模擬視頻信號(hào)的煤礦工業(yè)電視監(jiān)控系統(tǒng)已經(jīng)不能滿足煤礦綜合自動(dòng)化的技術(shù)發(fā)展，新型的視頻監(jiān)控系統(tǒng)應(yīng)在確保視頻采集和壓縮的實(shí)時(shí)性的同時(shí)，支持視頻流在工業(yè)以太網(wǎng)上的IP傳輸，實(shí)現(xiàn)全礦信息化的數(shù)字化和網(wǎng)絡(luò)化。
H.264/AVC作為最新的視頻編碼標(biāo)準(zhǔn)，定義了視頻編碼層(VCL)和網(wǎng)絡(luò)提取層(NAL)。從框架結(jié)構(gòu)上將NAL與VCL分離，主要實(shí)現(xiàn)兩個(gè)目的：(1)可以定義VCL視頻壓縮處理與NAL網(wǎng)絡(luò)傳輸機(jī)制的接口，這樣允許視頻編碼層VCL的設(shè)計(jì)可以在不同的處理器平臺(tái)進(jìn)行移植，而與NAL層的數(shù)據(jù)封裝格式無(wú)關(guān)；(2)VCL和NAL都被設(shè)計(jì)成工作于不同的傳輸環(huán)境，異構(gòu)的網(wǎng)絡(luò)環(huán)境并不需要對(duì)VCL比特流進(jìn)行重構(gòu)和重編碼。從H.264在VCL和NAL上優(yōu)點(diǎn)來(lái)說(shuō)，它對(duì)于復(fù)雜多樣的嵌入式應(yīng)用環(huán)境是非常適用的，提高了網(wǎng)絡(luò)適應(yīng)性，從而保證了視頻傳輸?shù)腝oS。
基于以上分析，本文提出了一種綜合運(yùn)用DSP和嵌入式ARM微控制器的嵌入式實(shí)時(shí)網(wǎng)絡(luò)化視頻方案。該方案采用全嵌入式設(shè)計(jì)，具有可靠性高、體積小、環(huán)境適應(yīng)性強(qiáng)的優(yōu)點(diǎn)，符合IEEE802.3u規(guī)范，在保證圖像質(zhì)量的同時(shí)支持?jǐn)?shù)字化視頻流在煤礦工業(yè)以太網(wǎng)上直接傳輸。
基于工業(yè)以太網(wǎng)的視頻監(jiān)控系統(tǒng)
如圖1，使用自行開(kāi)發(fā)的KJJ系列隔爆型工業(yè)以太網(wǎng)交換機(jī)1、2、3，構(gòu)成基于光纖傳輸介質(zhì)的100Mbps單環(huán)冗余工業(yè)以太網(wǎng)，H.264編碼器設(shè)備使用RJ45雙絞線連接到交換機(jī)，速率10/100Mbps自適應(yīng)。環(huán)網(wǎng)通過(guò)交換機(jī)4連接至礦區(qū)Intranet或地面監(jiān)控主機(jī)。因此，嵌入式視頻編碼器是視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)的關(guān)鍵。
圖1 基于工業(yè)以太網(wǎng)的視頻監(jiān)控系統(tǒng)
H.264編碼器系統(tǒng)設(shè)計(jì)
結(jié)合煤礦應(yīng)用環(huán)境的特點(diǎn)，其系統(tǒng)結(jié)構(gòu)設(shè)計(jì)摒棄了傳統(tǒng)的計(jì)算機(jī)擴(kuò)展插卡的設(shè)計(jì)形式，采用全嵌入式網(wǎng)絡(luò)化設(shè)計(jì)。如圖2所示，以TI公司的高性能C6416系列定點(diǎn)DSP芯片和Samsung公司的嵌入式ARM-S3C4510B芯片為基礎(chǔ)，構(gòu)建嵌入式視頻編碼器系統(tǒng)硬件平臺(tái)，支持通過(guò)嵌入式文件系統(tǒng)實(shí)現(xiàn)系統(tǒng)軟件的在線升級(jí)。
系統(tǒng)主要由視頻采集、視頻緩沖、視頻處理和視頻傳輸4部分組成。CCD攝像頭獲得的模擬視頻信號(hào)經(jīng)A/D轉(zhuǎn)換為數(shù)字視頻信號(hào)后，視頻信號(hào)通過(guò)高速DSP壓縮成所需的數(shù)據(jù)碼流。視頻壓縮后的數(shù)據(jù)流由S3C4510B從DSP的數(shù)據(jù)接口HPI32讀出，在嵌入式操作系統(tǒng)的UDP/IP協(xié)議棧，將數(shù)據(jù)打包，并運(yùn)行WebServer服務(wù)器，等待客戶服務(wù)端通過(guò)網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)流，從而實(shí)現(xiàn)基于Web的嵌入式視頻壓縮編碼系統(tǒng)。
圖2 系統(tǒng)結(jié)構(gòu)原理
C6416與S3C4510B接口模塊
DSP與微控制器的接口是通過(guò)C6416的主機(jī)接口HPI32實(shí)現(xiàn)的，為了確保數(shù)據(jù)吞吐量，使用32位總線，C6416的主機(jī)接口和PCI總線引腳共用，設(shè)置PCI_EN=0，配置為HPI模式。這樣做的優(yōu)點(diǎn)是充分利用DSP的帶寬資源，減少總線上的沖突，減輕EMIF總線壓力。因?yàn)镈SP為高速器件，S3C4510B為低速器件，接口DSP采用異步從模式，即DSP(slave)，S3C4510B(master)，這樣DSP工作在從模式下，無(wú)須加入共享存儲(chǔ)器模塊，節(jié)省了開(kāi)發(fā)的成本，同時(shí)也降低了開(kāi)發(fā)的難度，其他相關(guān)控制信號(hào)線連接如圖3。
因?yàn)镾3C4510B有自己的地址和數(shù)據(jù)總線，所以地址選通信號(hào)/HAS接高電平，S3C4510B通過(guò)內(nèi)存分區(qū)(BANK)RCS5訪問(wèn)C6416來(lái)傳遞數(shù)據(jù)。S3C4510B配置了64MSDRAM在RAM分區(qū)0，引導(dǎo)BootROM2MB和文件系統(tǒng)IntelFlashROM8MB分別放在ROM分區(qū)0和1。在S3C4510B上運(yùn)行VxWorks實(shí)時(shí)操作系統(tǒng)，包括TrueFFS文件系統(tǒng)和嵌入式Web服務(wù)器。
圖3 C6416和S3C4510接口
視頻采集
該模塊的主要功能是將從CCD攝像頭輸入的模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。如圖4所示，普通CCD攝像頭的輸出是NTSC制式(或PAL制式)的復(fù)合全電視信號(hào)CVBS或是S-Video信號(hào)，二者均為模擬信號(hào)。通過(guò)Philips公司的TV解碼芯片SAA7114H將模擬TV信號(hào)解碼并且模數(shù)轉(zhuǎn)換為符合CCIR.601標(biāo)準(zhǔn)的數(shù)字視頻信號(hào)，并且存儲(chǔ)到AVERLOGIC(凌泰)專用的視頻幀F(xiàn)IFO芯片AL4V8M440(8Mb)中，等待DSP處理。幀F(xiàn)IFO配置在C6416的CE2空間，CPLD通過(guò)SAA7114H的輸出狀態(tài)信號(hào)以及C6416DSP的相應(yīng)輸出控制信號(hào)生成FIFOAL4V8M440的控制信號(hào)。通過(guò)檢測(cè)SAA7114H輸出的同步信號(hào)來(lái)生成DSP中斷，通知DSP讀取視頻FIFO中已滿的一場(chǎng)圖像數(shù)據(jù)。
圖4 視頻采集模塊
由于H.264的視頻格式主要為QCIF和CIF，QCIF的Y信號(hào)規(guī)定為176點(diǎn)/行、144行/幀，其色度信號(hào)Cb和Cr的規(guī)定為88點(diǎn)/行、72行/幀，每個(gè)像素用12位表示；CIF的Y信號(hào)的規(guī)定為352點(diǎn)/行、288行/幀，其色度信號(hào)Cb和Cr的規(guī)定為176點(diǎn)/行、144行/幀，每個(gè)像素用12位表示。H.264標(biāo)準(zhǔn)中默認(rèn)的輸入位流為4:2:0形式，所以要對(duì)采集來(lái)的視頻數(shù)據(jù)進(jìn)行存儲(chǔ)格式轉(zhuǎn)換，即通過(guò)存儲(chǔ)轉(zhuǎn)換使視頻流在FIFO中以4:2:0的QCIF或者CIF格式進(jìn)行存放，這里稱之為視頻格式轉(zhuǎn)換。
主處理器模塊
TMS320C6416是德州儀器(TI)公司最新推出的高性能定點(diǎn)DSP，其時(shí)鐘頻率可達(dá)600MHz，最高處理能力為4800MIPS，該DSP具有Viterbi譯碼協(xié)處理器(VCP)和Turbo譯碼協(xié)處理器(TCP)。采用兩級(jí)緩存結(jié)構(gòu)：一級(jí)緩存(L1)由128kb的程序緩存和128kb的數(shù)據(jù)緩存組成，二級(jí)緩存(L2)為8Mb。有2個(gè)擴(kuò)展存儲(chǔ)器接口(EMIF)，可以與異步(SRAM，EPROM)/同步存儲(chǔ)器(SDRAM、SBSRAM、ZBTSRAM、FIFO)無(wú)縫連接，最大可尋址范圍為1280MB；主機(jī)接口(HPI)總線寬度可由用戶配置(32/16b)。由于需要處理的圖像數(shù)據(jù)量非常大(對(duì)于720*576的圖像需要829440B)，而且系統(tǒng)頻繁的轉(zhuǎn)移數(shù)據(jù)，采用64位數(shù)據(jù)寬度的SDRAM對(duì)提高整體效率非常有用，所以配置64位寬128MB的SDRAM在A總線EMIFA上，使用分區(qū)CE0。FLASHROM用于存放程序，連接在分區(qū)CE1，使用16位寬B總線EMIFB，共8MB。幀F(xiàn)IFO配置在分區(qū)CE2，用于存放A/D采集的像素，由CPLD控制寫入，DSP讀出數(shù)據(jù)進(jìn)行壓縮處理，具體流程如圖5所示。
圖5 系統(tǒng)工作流程
實(shí)現(xiàn)的主要功能：
(1)采用H.264/AVC標(biāo)準(zhǔn)，能夠?qū)?shù)字視頻數(shù)據(jù)進(jìn)行壓縮和編碼處理；
(2)完成對(duì)整個(gè)硬件系統(tǒng)各模塊的控制功能，實(shí)現(xiàn)數(shù)字視頻流的傳輸控制；
(3)通過(guò)C6416的HPI32總線將壓縮后的視頻流傳送到微控制器上；
(4)通過(guò)C6416的McBSP1模擬I2C總線，對(duì)視頻A/DSAA7114H和視頻FIFO進(jìn)行配置；
(5)帶有音頻擴(kuò)展接口，可以很方便的構(gòu)成音頻視頻同步的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。
面向RTP的NAL接口
H．264首先對(duì)視頻編碼流的相關(guān)信息進(jìn)行語(yǔ)法優(yōu)先級(jí)上的數(shù)據(jù)分類，根據(jù)具體的網(wǎng)絡(luò)傳輸環(huán)境，在保證視頻抗誤碼能力的前提下選擇大小合適的數(shù)據(jù)分類整合打包策略。在此基礎(chǔ)上，H.264提供了面向RTP/UDP/IP和H.223信道傳輸?shù)腘AL接口，本系統(tǒng)使用面向RTP/UDP/IP的NAL接口。
H.264將每個(gè)編碼幀或者分片Slice在MTU容量的限制下分成傳輸優(yōu)先級(jí)不同的兩個(gè)輸出包：
(1)編碼信息包(優(yōu)先級(jí)高)
TYPE_HEADER，TYPE_MBHEADER；
TYPE_MVD，TYPE_EOS；
(2)紋理信息包(優(yōu)先級(jí)低)
TYPE_CBP，TYPE_2x2DC；
TYPE_COEFE_Y，TYPE_COEFE_C；
H.264/AVC編碼及關(guān)鍵技術(shù)
為了滿足不同速率、解析度以及網(wǎng)絡(luò)傳輸?shù)囊�，H.264提供了多種檔次(Profile)和等級(jí)(level)。根據(jù)H.264/AVC規(guī)范，結(jié)合礦山監(jiān)控系統(tǒng)信息流的特點(diǎn)，經(jīng)過(guò)測(cè)試分析，采用如圖6所示的編碼結(jié)構(gòu)。H.264編碼主要由幀間預(yù)測(cè)(Inter-Prediction)，幀內(nèi)預(yù)測(cè)(Intra-Prediction)，整數(shù)變換(Transition)、量化(Q)、環(huán)路濾波(filter)和熵編碼(EntropyEncoding)等幾部分組成，編碼器生成的碼流提交給NAL層。
圖6 H.264編碼器
輸入幀F(xiàn)n經(jīng)過(guò)宏塊(MC)處理后，根據(jù)是在幀間還是幀內(nèi)預(yù)測(cè)編碼模式，分別確定預(yù)測(cè)值(P)：在幀內(nèi)模式，P值由前面經(jīng)過(guò)編碼、譯碼和重建的分片uF'n決定；在幀間模式，P值由幀間的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)決定。
另外，H.264使用以下幾項(xiàng)關(guān)鍵技術(shù)：
(1)H.264除了支持P幀、B幀外，還包括流間傳送幀—SP幀，能在有類似內(nèi)容但有不同碼率的碼流之間快速切換，使用多參考幀進(jìn)行幀間預(yù)測(cè)編碼，其中參考幀的個(gè)數(shù)為1~5個(gè)，這樣比單參考幀節(jié)省了5%～10%的碼子空間；
(2)幀間預(yù)測(cè)可以基于7種不同大小的塊來(lái)進(jìn)行，這比單獨(dú)的16×16塊預(yù)測(cè)方法提高大于15%的編碼率；
(3)H.264的運(yùn)動(dòng)估計(jì)采用高精度的亞像素運(yùn)動(dòng)補(bǔ)償，支持1/4或者1/8像素精度的運(yùn)動(dòng)估值。對(duì)于QCIF的視頻格式使用1/4像素精度預(yù)測(cè)方式；對(duì)CIF的視頻格式使用1/8像素精度預(yù)測(cè)方式。
(4)H.264中可選32種不同的量化步長(zhǎng)，這與H.263中有31個(gè)量化步長(zhǎng)很相似，但是在H.264中，步長(zhǎng)是以12.5%的復(fù)合率遞進(jìn)的，而不是一個(gè)固定常數(shù)；
(5)H.264使用基于4×4塊的整數(shù)殘差變換編碼方式，反變換過(guò)程中沒(méi)有匹配錯(cuò)誤問(wèn)題；
(6)采用基于4×4塊邊界的去塊濾波器來(lái)消除塊效應(yīng)，從而極大地改善了圖像的主觀質(zhì)量；
(7)H.264采用兩種可選擇熵編碼CAVLC(基于內(nèi)容的自適應(yīng)變長(zhǎng)編碼)和CABAC(自適應(yīng)二進(jìn)制算術(shù)編碼)。后者可以提高大約10%
的編碼率。
H.264算法的DSP實(shí)現(xiàn)和優(yōu)化
代碼實(shí)現(xiàn)
ITU-T官方提供的H.264的核心算法不僅在代碼結(jié)構(gòu)上需要改進(jìn)，而且在具體的核心算法上也需要做大的改動(dòng)，才能達(dá)到實(shí)時(shí)的要求。
需要做的具體工作包括：去除冗余代碼，規(guī)范程序結(jié)構(gòu)，全局和局部變量的調(diào)整和重新定義，結(jié)構(gòu)體的調(diào)整等。開(kāi)發(fā)工具CCS有自己的ANSIC編譯器和優(yōu)化器，并有自己的語(yǔ)法規(guī)則和定義，所以在DSP上實(shí)現(xiàn)H.264的算法要把PC機(jī)上C語(yǔ)言編寫的H.264代碼進(jìn)行改動(dòng)，使其完全符合DSP中C的規(guī)則。相關(guān)的改動(dòng)包括：去除所有的文件操作；去除可視化界面的操作；合理安排內(nèi)存空間的預(yù)留和分配；規(guī)范數(shù)據(jù)類型——因?yàn)镃6416是定點(diǎn)DSP芯片，只支持4種數(shù)據(jù)類型：short型(16b)、int(32b)、long型(40b)和double型(64b)，因此必須對(duì)數(shù)據(jù)進(jìn)行重新規(guī)范，把浮點(diǎn)數(shù)的運(yùn)算部分近似用定點(diǎn)表示，或用定點(diǎn)實(shí)現(xiàn)浮點(diǎn)運(yùn)算；根據(jù)內(nèi)存的分配定義遠(yuǎn)近程常量和變量；把常用的數(shù)據(jù)在數(shù)據(jù)結(jié)構(gòu)中提取出來(lái)，以near型數(shù)據(jù)定義在DSP內(nèi)部存儲(chǔ)空間，以減少對(duì)EMIF端口的讀取，從而提高速度。
H.264的DSP算法優(yōu)化
結(jié)合DSP本身的特點(diǎn)，對(duì)算法進(jìn)一步優(yōu)化，實(shí)現(xiàn)H.264算法對(duì)視頻圖像的實(shí)時(shí)處理。采取了以下措施：
(1)通過(guò)選擇CCS提供的編譯優(yōu)化參數(shù)-mw、-pm、-o3和-mt等，根據(jù)H.264系統(tǒng)的要求進(jìn)行優(yōu)化，通過(guò)不斷地對(duì)各個(gè)參數(shù)的選擇、搭配、調(diào)整，改善循環(huán)、多重循環(huán)體的性能，從而提高軟件的并行性。
(2)對(duì)反復(fù)調(diào)用和影響編碼速度的關(guān)鍵C代碼進(jìn)行線性匯編重寫。結(jié)合CCS代碼剖析工具，利用線性匯編重寫了反整數(shù)變換、1/4像素內(nèi)插和去塊效應(yīng)等關(guān)鍵函數(shù)，函數(shù)運(yùn)行時(shí)鐘周期只是C語(yǔ)言的1/2~1/3。
(3)對(duì)原測(cè)試模型進(jìn)行裁減，定制H.264的編碼代碼，通過(guò)實(shí)際測(cè)試盒性能分析，刪除了對(duì)性能影響不大的算法，如峰值信噪比計(jì)算等部分。
(4)使用intrinsics內(nèi)聯(lián)函數(shù)優(yōu)化C程序，內(nèi)聯(lián)函數(shù)直接替代復(fù)雜的C代碼，有助于減少指令周期，提高代碼性能。
(5)利用EDMA實(shí)現(xiàn)大容量數(shù)據(jù)傳輸，以DMA的方式加快數(shù)據(jù)處理速度，從而減少CPU接入，減輕處理器的負(fù)擔(dān)。
(6)在網(wǎng)絡(luò)軟件實(shí)現(xiàn)、EDMA數(shù)據(jù)傳輸和定時(shí)器使用上，充分利用TI提供的庫(kù)函數(shù)，有助于提高性能，降低代碼長(zhǎng)度。
H.264編碼器防爆設(shè)計(jì)和性能評(píng)價(jià)
由于煤礦井下環(huán)境極其惡劣，因此除了在進(jìn)行硬件設(shè)計(jì)時(shí)需考慮電路板的電氣特性以外，基于編碼器功耗和現(xiàn)場(chǎng)安全要求，對(duì)其采用防爆外殼。外殼的設(shè)計(jì)參照《煤礦安全規(guī)范》、《煤礦設(shè)計(jì)規(guī)范》、《爆炸性環(huán)境用防爆電氣通用設(shè)備要求》、《煤礦通信、檢測(cè)、控制用電工電子產(chǎn)品通用技術(shù)要求》、《爆炸性環(huán)境用防爆電氣設(shè)備本質(zhì)安全型電路和電氣設(shè)備要求》等技術(shù)標(biāo)準(zhǔn)，要求產(chǎn)品能夠通過(guò)振動(dòng)、沖擊、淋水、濕熱、高低溫工作、電壓波動(dòng)等10多項(xiàng)安全檢測(cè)，并能安全運(yùn)行在井下有爆炸性氣體的環(huán)境中。
對(duì)H.264與MPEG-4、H.263++編碼性能在10/100Mbps工業(yè)以太網(wǎng)試驗(yàn)環(huán)境進(jìn)行比較，結(jié)果表明：H.264具有比MPEG和H.263++更優(yōu)秀的PSNR性能。H.264的PSNR比MPEG-4平均要高2dB，比H.263++平均要高3dB。而且在同樣的編碼速率下，基于H.264的編碼系統(tǒng)視頻更清晰、流暢，能滿足現(xiàn)場(chǎng)的需求。
結(jié)束語(yǔ)
本文提出了使用數(shù)字信號(hào)處理器和嵌入式網(wǎng)絡(luò)微控制器，設(shè)計(jì)面向煤礦工業(yè)以太網(wǎng)應(yīng)用的H.264編碼器，從而構(gòu)建基于工業(yè)以太網(wǎng)的網(wǎng)絡(luò)化視頻監(jiān)控系統(tǒng)，對(duì)煤礦視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化關(guān)鍵技術(shù)進(jìn)行研究。有利于促進(jìn)煤礦企業(yè)信息化和網(wǎng)絡(luò)化，構(gòu)建基于IP的管控一體化網(wǎng)絡(luò)。
