視頻交通車輛信息檢測(cè)器的設(shè)計(jì)與實(shí)現(xiàn)

摘要：針對(duì)近年來城市交通的擁擠現(xiàn)象，特別是駕駛員違章嚴(yán)重、交通事故頻發(fā)等問題，介紹了在現(xiàn)代交通控制和管理系統(tǒng)中占有十分重要地位的傳感器—視頻車輛檢測(cè)器。主要利用CCD攝像機(jī)與圖像處理技術(shù)，完成了視頻交通車輛信息檢測(cè)器，給出了系統(tǒng)的軟件和硬件構(gòu)架，并詳細(xì)分析了關(guān)鍵計(jì)算手段與方法。
關(guān)鍵詞：交通信息；視頻檢測(cè)；目標(biāo)識(shí)別；目標(biāo)跟蹤
0 引 言
智能交通系統(tǒng)是集計(jì)算機(jī)、信息、電子及通信等眾多高新科技手段于一體的交通控制和管理系統(tǒng)，是21世紀(jì)交通的重要發(fā)展方向。它通過對(duì)道路交通車輛的信息進(jìn)行實(shí)時(shí)檢測(cè)，利用各種智能尋優(yōu)算法及時(shí)確定出相應(yīng)的控制策略，從而對(duì)交通流進(jìn)行調(diào)節(jié)、警告和誘導(dǎo)。它的應(yīng)用大大減少了道路交通違法、交通事故的發(fā)生，有效地提高了交通效率和安全性，從而使交通設(shè)施得以充分利用，實(shí)現(xiàn)交通運(yùn)輸?shù)募s式發(fā)展。而智能交通系統(tǒng)中的交通車輛信息檢測(cè)技術(shù)是實(shí)現(xiàn)動(dòng)態(tài)智能交通控制的基礎(chǔ)，在現(xiàn)代交通控制管理和道路規(guī)劃中占有十分重要的地位。
早期的智能交通系統(tǒng)大量采用環(huán)形線圈車輛檢測(cè)器，其檢測(cè)精度高、成本低廉，但其工程安裝難度大，施工時(shí)要破壞路面，所能夠檢測(cè)的交通信息種類少。隨著計(jì)算機(jī)圖像處理與機(jī)器視覺理論的日趨完善、計(jì)算機(jī)硬件技術(shù)地迅猛發(fā)展、高速處理芯片和高速大容量存儲(chǔ)芯片的出現(xiàn)與普及，使得從圖像序列中檢測(cè)出運(yùn)動(dòng)信息、識(shí)別與跟蹤運(yùn)動(dòng)目標(biāo)成為計(jì)算機(jī)視覺領(lǐng)域中一個(gè)非常活躍的分支，從而使視頻交通車輛檢測(cè)技術(shù)得到了較快發(fā)展。利用該項(xiàng)技術(shù)開發(fā)的視頻交通車輛信息檢測(cè)器，其安裝和維護(hù)簡便、所采集的信息量大、信息種類多、檢測(cè)區(qū)域?qū)挘究朔松鲜霏h(huán)形線圈車輛檢測(cè)器的不足，代表了未來交通信息檢測(cè)領(lǐng)域的發(fā)展方向。
1 系統(tǒng)組成
1．1 硬件結(jié)構(gòu)
視頻交通車輛信息檢測(cè)器硬件結(jié)構(gòu)如圖1所示。它由工業(yè)CCD攝像機(jī)、PCI總線四路實(shí)時(shí)視頻采集卡、單板工業(yè)控制機(jī)（帶PCI總線接口）、DOM電子盤、I/O擴(kuò)展卡和視頻交通信息疊加模塊構(gòu)成。

工業(yè)CCD攝像機(jī)的視頻信號(hào)通過視頻采集卡實(shí)時(shí)采集和數(shù)字化形成連續(xù)的數(shù)字圖像序列。單板工業(yè)控制機(jī)經(jīng)過對(duì)連續(xù)數(shù)字圖像序列的預(yù)處理、特征提取，在圖像序列中進(jìn)行特征匹配，進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)物體的搜索，并從圖像序列中獲取目標(biāo)動(dòng)態(tài)信息，以達(dá)到識(shí)別和跟蹤目標(biāo)的目的。I/O擴(kuò)展卡用于向其他設(shè)備（如，交通信號(hào)機(jī)、交通違章抓拍設(shè)備）實(shí)時(shí)傳送車輛有無的觸發(fā)信號(hào)。視頻交通信息疊加模塊用于對(duì)視頻信號(hào)進(jìn)行交通信息字符疊加，經(jīng)視頻交通信息疊加后的視頻信號(hào)通過光纖傳至交通指揮中心。
1．2 軟件主要構(gòu)架及數(shù)學(xué)模型
視頻交通車輛信息檢測(cè)器的軟件主要構(gòu)架包括：觀察區(qū)域視頻獲取、觀察區(qū)域背景估計(jì)、目標(biāo)區(qū)域分割、目標(biāo)區(qū)域特征描述、目標(biāo)的確定及模式識(shí)別、目標(biāo)位置的具體描述、目標(biāo)特征空間跟蹤、交通信息計(jì)算八部分。
設(shè)k（x，y，k）為第K幀序列圖像[1]，01[ ]為目標(biāo)區(qū)域分割算子，02[ ]為目標(biāo)識(shí)別特征提取算子，03[ ]為目標(biāo)識(shí)別算子，04[ ]為目標(biāo)具體位置求取算子，05[ ]為目標(biāo)關(guān)聯(lián)、預(yù)測(cè)、跟蹤算子。
觀察區(qū)域視頻獲取和觀察區(qū)域背景估計(jì)的目的是為后面的目標(biāo)區(qū)域分割作準(zhǔn)備。
（1）目標(biāo)區(qū)域分割：通過目標(biāo)區(qū)域分割獲得目標(biāo)可能的存在區(qū)域T（x，y，k）。則有
T(x，y，k)=01[f(x，y，k)，…，f（x，y，k-1)，…,f（x，y，k-M)]． (1)
（2）目標(biāo)區(qū)域特征描述：對(duì)處理得到的可能目標(biāo)區(qū)域T（x，y，k）進(jìn)行特征描述。例如：02[ ]為幾何形狀特征提取算子、邊緣二值化圖像求取算子
S（k）=02[T（x，y，k）]， （2）
式中S（k）為識(shí)別特征向量。識(shí)別特征有許多種，如，統(tǒng)計(jì)距特征、幾何形狀特征等，還可以是歸一化的點(diǎn)陣邊緣二值圖像，在實(shí)際系統(tǒng)中，識(shí)別特征向量表示為
S（k）=[P（k），Q（k），D（k）]， （3）
式中P（k）為目標(biāo)的重心位置；Q（k）為目標(biāo)區(qū)域T（x，y，k）包圍矩形的參數(shù)；D（k）是歸一化為64×64的邊緣二值圖像。
（3）目標(biāo)的確定及模式識(shí)別：目標(biāo)確定是通過對(duì)相鄰幾幀的S（k）分量P（k）和Q（k）進(jìn)行匹配，從而確認(rèn)待識(shí)目標(biāo)的過程；目標(biāo)模式識(shí)別算子03[ ]是在識(shí)別特征向量空間的運(yùn)算，其具體的形式取決于具體的識(shí)別特征向量S（k），這實(shí)際上也是一個(gè)特征空間聚類的問題。將03[ ]選為神經(jīng)元網(wǎng)絡(luò)識(shí)別算子，通過03[ ]對(duì)S（k）的分量D（k）識(shí)別，判定區(qū)域T（x，y，k）是否為目標(biāo)，該目標(biāo)為哪一種類型（既車型分類）。
（4）目標(biāo)具體位置的描述：目標(biāo)具體位置指假定路面為z=0平面的三維坐標(biāo)系中，目標(biāo)的若干特殊點(diǎn)在該坐標(biāo)系下的具體位置（XT，YT，0），它通過目標(biāo)具體位置檢測(cè)算子04[ ]計(jì)算得到。在實(shí)際系統(tǒng)中04[ ]選為利用針孔模型求取目標(biāo)區(qū)域T（x，y，k）包圍矩形的4個(gè)端點(diǎn)具體位置的算子（這需要預(yù)先進(jìn)行攝相機(jī)標(biāo)定），則有
（XT，YT，0）=04[Q（k）]． （4）
（5）目標(biāo)特征空間跟蹤：使用05[ ]來對(duì)目標(biāo)的特征進(jìn)行關(guān)聯(lián)、預(yù)測(cè)和跟蹤，通過以前的目標(biāo)具體位置數(shù)據(jù)，對(duì)下一幀圖像中目標(biāo)所在位置預(yù)測(cè)后，利用該具體位置數(shù)據(jù)和其他特征與下一幀圖像中實(shí)際目標(biāo)位置和其他特征進(jìn)行關(guān)聯(lián)，從而實(shí)現(xiàn)空間跟蹤。
最后，進(jìn)行交通信息計(jì)算。所計(jì)算的交通信息包括：交通流量、空間平均車速、時(shí)間平均車速、交通密度、空間占有率、時(shí)間占有率、平均車頭空距、平均車頭時(shí)距等。
實(shí)踐表明：對(duì)算子01[ ]，02[ ]，03[ ]，04[ ]，05[ ]的具體形式和計(jì)算方法的選取是決定視頻交通車輛信息檢測(cè)器性能的關(guān)鍵，其順序圖如圖2所示。

1．3 背景估計(jì)與目標(biāo)的分割、識(shí)別
對(duì)數(shù)字圖像中的目標(biāo)區(qū)域進(jìn)行分割，首先，要進(jìn)行背景估計(jì)。采用長時(shí)間邊緣圖像背景估計(jì)方法，即在每單位時(shí)段抽取一幀圖像，利用柯西邊緣算子對(duì)此圖像進(jìn)行邊緣檢測(cè)，最后，利用該邊緣圖像和前面一些時(shí)刻所對(duì)應(yīng)的單位時(shí)段邊緣圖像進(jìn)行背景估計(jì)。背景估計(jì)公式為

式中i=n-M到n-1；B（x，y，n）為第n時(shí)段邊緣圖像的背景估計(jì)；F（x，y，i）為第i時(shí)段邊緣圖像；W（i）為第i時(shí)段邊緣圖像的估計(jì)系數(shù)。
在實(shí)際應(yīng)用中，取單位時(shí)段為30s，M取值為7，W（n）=W（n-1）=5，W（n-2）=W（n-3)=W（n-4)=W（n-5）=4，W（n-6)=W（n-7）=3，Wa=32。
背景估計(jì)圖像得到后，就可以利用幀差法將當(dāng)前圖像的邊緣圖與背景估計(jì)圖像做差，再進(jìn)行二值化獲得邊緣幀差二值圖。對(duì)該邊緣幀差二值圖再進(jìn)行膨脹、腐蝕、陰影濾除等一系列計(jì)算后，才可以進(jìn)入目標(biāo)分割階段。
采用4連通區(qū)域標(biāo)記方法對(duì)連通區(qū)域進(jìn)行檢測(cè)，從而分割出目標(biāo)。在進(jìn)行連通區(qū)域檢測(cè)的過程中，記錄下每個(gè)目標(biāo)區(qū)域包圍矩形的4個(gè)端點(diǎn)坐標(biāo)。對(duì)于面積較小的目標(biāo)區(qū)域包圍矩形予以刪除。既認(rèn)為是行人等非交通車輛目標(biāo)干擾。
在目標(biāo)識(shí)別方面，采用了神經(jīng)元網(wǎng)絡(luò)識(shí)別方法。首先，對(duì)預(yù)先建立的樣本庫中的邊緣二值圖像進(jìn)行歸一化（樣本庫中不但有機(jī)動(dòng)車輛圖像，還有非機(jī)動(dòng)車、行人等圖像），歸一化后的圖像寬高均為64像素，然后，將這些圖像以矢量形式送入輸入節(jié)點(diǎn)為4096個(gè)、4層的MLP神經(jīng)元網(wǎng)絡(luò)利用BP算法進(jìn)行訓(xùn)練，該網(wǎng)絡(luò)只有4個(gè)輸出節(jié)點(diǎn)，即將樣本庫的歸一化邊緣二值圖像分為四類：小型車、中型車、大型車、拒識(shí)。
由于使用上述訓(xùn)練后的神經(jīng)元網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別計(jì)算量較大，不可能每幀都對(duì)目標(biāo)區(qū)域進(jìn)行識(shí)別，因此，在目標(biāo)識(shí)別前還要進(jìn)行目標(biāo)確定的工作。所謂目標(biāo)確定，指在獲得特征向量S（k）分量P（k），Q（k）的基礎(chǔ)上，對(duì)目標(biāo)進(jìn)行簡單的二維平面跟蹤，通過相鄰幾幀的P（k），Q（k）歐式距離匹配來確定目標(biāo)。這種簡單的匹配實(shí)際上就是利用2個(gè)假設(shè)：即同一個(gè)目標(biāo)相鄰幾幀內(nèi)目標(biāo)重心變化不大；同一個(gè)目標(biāo)在相鄰幾幀內(nèi)目標(biāo)區(qū)域包圍矩形的4個(gè)端點(diǎn)及區(qū)域面積變化不大。如果通過目標(biāo)分割得到的目標(biāo)區(qū)域在鄰近時(shí)間內(nèi)連續(xù)多次滿足上述2個(gè)假設(shè)，則認(rèn)為該目標(biāo)是可靠的，這樣，便可以將該區(qū)域確認(rèn)為待識(shí)目標(biāo)再進(jìn)行目標(biāo)識(shí)別。識(shí)別完成后，若網(wǎng)絡(luò)不為拒識(shí)，則將二維平面目標(biāo)跟蹤鏈中該目標(biāo)的可信度屬性置為最高級(jí)別（置為最高級(jí)別可信度的目標(biāo)將不再進(jìn)行神經(jīng)元網(wǎng)絡(luò)目標(biāo)識(shí)別），同時(shí)，車輛計(jì)數(shù)值加一。
1．4 攝像機(jī)標(biāo)定和目標(biāo)跟蹤
由于所采集的視頻圖像為二維圖像，因此，上述目標(biāo)分割、確定和目標(biāo)識(shí)別，均為二維運(yùn)動(dòng)估計(jì)的內(nèi)容。由于實(shí)際應(yīng)用中攝像機(jī)安裝固定且水平方向與地面平行，完全可以通過針孔模型攝像機(jī)標(biāo)定方法，以地面為z=0的平面，再利用給定的一組三維空間點(diǎn)坐標(biāo)和這些點(diǎn)在圖像中對(duì)應(yīng)的二維坐標(biāo)，求解線性方程組，計(jì)算透視投影矩陣中的各個(gè)元素，從而從二維圖像序列中恢復(fù)出所跟蹤目標(biāo)的三維信息。這樣跟蹤目標(biāo)的一個(gè)重要特征，即運(yùn)動(dòng)速度也可以很容易計(jì)算出來。
本文采用機(jī)器視覺中的針孔模型，利用標(biāo)定后求解得到的透視投影變換矩陣中的參數(shù)以及預(yù)先測(cè)得的攝像機(jī)鏡頭安裝的水平傾角和垂直傾角，就可以計(jì)算出數(shù)字圖像中目標(biāo)包圍矩形的4個(gè)端點(diǎn)對(duì)應(yīng)以路面為Z=0的三維坐標(biāo)系中的坐標(biāo)。這樣，就可以檢測(cè)出交通車輛的實(shí)際位置和行駛速度。然后，再利用交通車輛的實(shí)際位置和行駛速度等信息進(jìn)行目標(biāo)特征空間跟蹤。
目標(biāo)特征空間跟蹤采用基于數(shù)據(jù)關(guān)聯(lián)、點(diǎn)跡預(yù)測(cè)的跟蹤方法。其中，數(shù)據(jù)關(guān)聯(lián)采用最近鄰數(shù)據(jù)關(guān)聯(lián)法（NNDA）。
數(shù)據(jù)關(guān)聯(lián)中采用的特征不僅包括目標(biāo)實(shí)際位置和行駛速度這樣的信息，還包括數(shù)字圖像中目標(biāo)重心、目標(biāo)面積等二維信息。
點(diǎn)跡預(yù)測(cè)方面考慮到在實(shí)際應(yīng)用中當(dāng)噪聲統(tǒng)計(jì)特性獲取不準(zhǔn)或目標(biāo)出現(xiàn)隨機(jī)時(shí)卡爾曼預(yù)測(cè)器性能會(huì)迅速下降，甚至丟失目標(biāo)，因此，沒有采用卡爾曼預(yù)測(cè)器而采用了比較穩(wěn)定、計(jì)算量小，且易于實(shí)現(xiàn)α-β-γ預(yù)測(cè)器。
另外，定義了目標(biāo)的6種狀態(tài)[4]，它們是目標(biāo)產(chǎn)生、目標(biāo)被正常跟蹤、目標(biāo)合并、目標(biāo)分裂、目標(biāo)暫時(shí)消失，目標(biāo)真正消失。其中，目標(biāo)合并、目標(biāo)分裂、目標(biāo)暫時(shí)消失是為了解決目標(biāo)遮擋問題而引入的。
（1）目標(biāo)合并：當(dāng)一個(gè)被正常跟蹤的目標(biāo)在觀察區(qū)域內(nèi)突然丟失，并且，此目標(biāo)占據(jù)的空間被另一較大目標(biāo)覆蓋，則將目標(biāo)鏈中此目標(biāo)的合并分裂屬性加一，同時(shí)，將此目標(biāo)置為目標(biāo)暫時(shí)消失狀態(tài)。下一幀此目標(biāo)若仍無法檢出，則將此目標(biāo)合并分裂屬性繼續(xù)加一，當(dāng)此目標(biāo)合并分裂屬性超過一定閥值且其運(yùn)動(dòng)速度與較大目標(biāo)的運(yùn)動(dòng)速度相近時(shí)，則將此目標(biāo)與較大目標(biāo)合并形成一個(gè)新的目標(biāo)，同時(shí)，繼承原有目標(biāo)的動(dòng)態(tài)特征，這個(gè)新目標(biāo)被置為目標(biāo)合并狀態(tài)。當(dāng)此目標(biāo)合并分裂屬性沒有達(dá)到一定閥值時(shí)又被檢出，則要將此目標(biāo)從目標(biāo)暫時(shí)消失狀態(tài)置回目標(biāo)被正常跟蹤狀態(tài)。
（2）目標(biāo)分裂：當(dāng)一個(gè)處于目標(biāo)合并狀態(tài)的目標(biāo)突然丟失，并且，此目標(biāo)占據(jù)的空間被一些較小的目標(biāo)共同占據(jù)，則將目標(biāo)鏈中此目標(biāo)的合并分裂屬性減一，下一幀此目標(biāo)若仍無法檢出，則將此目標(biāo)合并分裂屬性繼續(xù)減一，當(dāng)此目標(biāo)合并分裂屬性低于一定閥值且其運(yùn)動(dòng)速度與其分裂出來的那些較小目標(biāo)的運(yùn)動(dòng)速度相近時(shí)，則對(duì)這些小目標(biāo)依次建立新的目標(biāo)鏈且將它們的狀態(tài)置為目標(biāo)產(chǎn)生狀態(tài)，而較大的前景目標(biāo)則置為目標(biāo)真正消失狀態(tài)，從而便于后續(xù)的目標(biāo)鏈清理和刪除操作。當(dāng)此目標(biāo)合并分裂屬性沒有低于一定閥值時(shí)，仍然要將這些較小的目標(biāo)合并為一個(gè)較大的前景目標(biāo)，并將這個(gè)較大的前景目標(biāo)置為目標(biāo)分裂狀態(tài)。
2 實(shí)驗(yàn)結(jié)果
檢測(cè)器的某日實(shí)際測(cè)試數(shù)據(jù)如表1所示。