智能視頻監控屬于第四代視頻安防監控技術，它是新技術發展推動下的必然結果。在這一歷史性的技術演進中，計算機視覺技術扮演著核心的角色。從內涵上看，現代計算機視覺技術已經不再僅僅停留在光學幾何(如2D和3D建模)和基于數字圖像處理學的特征提取方面，它更建立在連同傳統人工智能在內的建模、學習和推理等機器學習理論之上。從外延上看，傳統的計算機視覺技術被稱為機器視覺，主要應用在需要精密光學測量定位的自動化生產線等工業領域，而現代計算機視覺技術則已拓展到了更加廣闊的應用領域，智能視頻監控就是一個典型的實例。

　　視頻監控智能化的核心問題

　　2013年3月中國國內報道了吉林省長春市嬰兒被偷車賊殘害的案例，有媒體質疑：“平安城市”這樣的大范圍安防監控項目為什么沒有發揮應有的聯動預警作用?類似的反思也針對同年4月在美國馬薩諸塞州波士頓馬拉松比賽中發生的爆炸案，犯罪嫌疑人不是被通過視頻監控系統主動發現其異常行為鎖定的，而是警方基于犯罪現場物證的反向推演在監控錄像中圈定的。這些例證都說明了一個核心問題，即在提升智能視頻監控的有效性方面，如何讓系統在廣域范圍內產生針對同一個視頻場景事件或特定行為的主動感知，并建立起一條高度關聯的邏輯推理鏈條。

　　基于計算機網絡技術和人工智能技術的最新成果，我們認為完全可以從技術上考慮實現一種有效的信息處理系統，用以滿足上述來自實際應用領域對智能視頻監控系統的需求。系統總體的架構是：分區域設立分布式的視頻監控中心，采用智能前端設備和監控中心聯合對本地化的視頻數據進行存儲及智能分析，這一層的功能主要是面向實時過程，發現局部和區域分布范圍內整體的視頻場景事件;在更廣域的范圍內(如市縣級“智慧城市”工程的監控范圍)，由更高層的數據管理中心對來自分布式監控的視頻數據進行存儲、分析和集中管理，這一層主要是面向信息服務，同時非實時地兼顧個別沒有智能視覺分析功能部署的區域過程，統籌全局的視頻場景事件。

　　從單點到區域范圍的智能化

　　智能視覺監控系統的“單點智能化”指的是使監控點的前端設備(也可能包括高清一體化攝像機)具備智能視覺分析和識別的能力。各個前端設備(包括前端的智能終端，如DVR、NVR、IPC等)的智能化功能根據監控業務的不同可能會有差別，但總的歸納起來應該包括：移動目標的檢測和跟蹤、目標的分類、人臉檢測、跟蹤和識別、車牌檢測和牌號識別、場景事件檢測、目標的特定行為識別。智能前端設備分析輸出的結果是以元數據的形式存儲和傳遞的。

　　當監控場景內的目標從一個視場中移出并進入另外一個部分重疊的視場時，為了實現連續的目標跟蹤，通常需要在攝像機之間進行接力。對于一個完整意義上的智能視覺監控系統來說，能夠通過前端設備的單點智能化分析單一場景內發生的事件和目標的行為是基本的要求，此外還必須在監控中心依靠攝像機傳感網絡內鄰近的其他攝像機，從多通道、多區域中獲取連續的視頻序列，并對其進行視覺綜合分析，這就是“區域范圍的智能化”的含義。這是一種把單點智能通過元數據連接在一起構成的系統智能的能力。

　　分布式智能視覺監控系統基于大規模攝像機傳感網絡，為了提高系統在整體性能上對事件檢測和行為識別的準確率，有必要把部署在監控中心的智能分析系統與各個監控現場獨立通道上的智能分析結果進行集成，以構成一個自底向上和頂向下結構的反饋系統。系統在收集和記錄海量視頻數據的同時，也在時刻傳遞著、計算著描述場景內容特征的元數據。這種以元數據為中心的網絡計算環境被稱為“上下文環境”，簡稱上下文。

　　智能視覺監控系統中的元數據

　　元數據是一種特殊的二次信息，用來描述原始信息本身的內容、質量、狀況和其它特性，通常用對于數據的自動檢索和數據挖掘。分布式智能視覺監控系統中的元數據由兩個層次組成，即基本屬性信息，以及描述場景內容的信息。分布式智能視覺監控系統追求的目標就是構造一個完整的W6(發生了什么事?發生在哪里?發生在什么時間?發生時場景內都有誰?為什么會發生?怎么發生的?)系統，其中“時間和地點”是在非智能化系統中就固有的功能。對這些問題的回答就蘊藏在描述場景內容特征的元數據當中。元數據在系統中傳遞和進一步深層利用的過程就是所謂“上下文感知”的過程。其目的是：通過對元數據進行分層融合的處理，實現一個有效的分布式智能視覺分析系統。

　　元數據——基本的屬性信息。基本層次的元數據無需經過智能視覺分析算法的輸出即可得到。為了對場景事件和目標的行為有一個完備的屬性記錄，主要包括基本的屬性信息，如：錄像時間、地點信息、攝像機的參數、設備制造商、安裝者、用戶信息。

　　元數據——描述場景內容的信息。這部分元數據來自于對場景視頻進行實時分析的結果，按照其描述的范圍分類，主要有局部場景內的元數據(來自于智能前端設備的分析輸出)和全局場景內的元數據(由分布式視頻監控中心的上下文感知算法產生)。

　　上下文感知環境的建立

　　為了實現分布式智能視覺分析系統的“上下文感知”功能，首先需要構建一個強大的視覺信息傳感網絡，此外還需要一個支持元數據分層融合的邏輯路由。

　　視覺信息傳感網絡

　　在基于視覺信息傳感網絡的分布式視頻監控系統中，監控攝像機獲取足夠清晰的視頻輸入可以提高監控系統對智能事件檢測和行為識別的可靠性。視頻數據(圖像)的質量體現在如下三個方面的技術指標：圖像的品質和高清效果;對視場環境中干擾因素的抑制;對攝像機視覺功能異常的檢測和緊急處理。

　　攝像機成像的品質和高清效果一般通過攝像機前端鏡頭和傳感器部分保證。對視場內干擾因素的抑制也是衡量攝像機性能高低的重要條件，這些因素主要包括：低照度條件、寬動態響應、景物色彩溫度的改變和大氣中的霧霾等。在這些因素條件下都需要攝像機對場景的視頻質量進行增強。

　　在視覺監控系統中，攝像機的視覺功能異常通常意味著整個系統的原始視頻輸入受到嚴重干擾。無論是人為蓄意還是由設備或環境因素所致，視覺功能異常對系統的效能都有很大的影響，甚至隱含著對攝像機設備的安全威脅。產生所謂“攝像機視覺功能異常”的可能原因有：人用手至于攝像機前、在攝像機上噴漆或移動攝像機使其指向其他方向。這些行為一定會超過數秒，因此如何判斷真正的攝影機異常而不是因為人群移動或是車輛震動或其他正常的原因是真正技術所在。圖1所示是為一種因人為惡意遮擋導致的攝像機視覺功能異常。

　　對攝像機視覺功能異常的檢測一旦實現，便可立即在視覺信息傳感網絡內部觸發“傳感器安全威脅”緊急事件管理，在監控中心端重新優化分布式系統的視覺跟蹤進程圖。

　　元數據的邏輯路由

　　在圖2所示的分布式智能視頻監控系統拓撲圖中，黑色箭頭表示元數據在系統網絡上的流動情況。流動方向可以是雙向的，即智能前端設備的元數據為監控中心提供全局場景分析所用的局部描述特征，而監控中心根據自己的計算結果補充前端智能結點在觀測信息上的局限性。

　　描述本地場景特征的元數據在分布式智能視頻監控系統的前端設備上計算生成后，需要先在視覺信息傳感網絡內部傳遞，然后在監控中心端被深度利用以生成描述廣域監控范圍場景的元數據。元數據的邏輯路由通常采用與海量視頻數據相對獨立的信息層，按照 “數據的分層傳輸方法”，在TCP/IP協議集中實現。

　　作為傳輸和利用元數據的另一種方案，在新一代面向智能視頻監控的視頻編碼標準中，描述場景特征的元數據被封裝在兩個新型的信息層(對象層和分析層)中，不僅進一步在編碼標準的基本層實現基于感興趣區域的空域分辨率可調整編碼，也為智能視覺分析算法提供了一個完整的元數據邏輯路由。

　　上下文感知算法

　　分布式智能視頻監控系統的有效性是以具備上下文感知能力的視覺分析系統為前提的。上下文感知算法在分布式智能視頻監控系統中扮演著重要角色，它關注的是對智能前端設備內產生的元數據的深度利用，而不關心局部場景的元數據在前端設備上如何產生。

　　傳感網絡環境下的攝像機定標

　　攝像機所處理的原始視頻(圖像)數據都可看作是3D世界坐標系下的真實數據在以該攝像機焦點為中心的2D圖像坐標系中的投影。由于每臺攝像機都有各自的2D圖像坐標系，因此要正確地關聯和融合來自傳感網絡中不同攝像機的元數據，必須先對各個攝像機進行定標。由于不同的攝像機之間可能存在色彩敏感度和空間分辨率上的差異，或者工作在不同的光照條件下，因此定標工作應不僅僅針對空域進行，還應當包括時域和顏色空間。嚴格地說，攝像機的定標不屬于上下文感知算法的一部分，但是它是非常必要的，可為上下文感知算法提供前置的預處理。

　　對攝像機進行空域定標后，將會導出兩個變換矩陣和，分別用于把不同視場內的元數據變換到統一的世界坐標系中以及把世界坐標系下的數據投影到2D圖像坐標系中，這實際上為元數據在更廣監控范圍內的深度利用提供了可能。對攝像機進行時域定標時，需要針對不同攝像機觀測到的同一個運動目標進行軌跡的匹配，以求出針對不同攝像機時鐘的時間彎折曲線，在實際應用中比較復雜。對攝像機進行顏色空間上的定標還要考慮不同光照條件下的實驗數據收集，應用操作起來更加繁瑣。

　　在實際工程項目中，如果定標不準確或是略去對攝像機在時域和顏色空間的定標，必然會降低不同的視覺信息通道向監控中心提供元數據的可靠性，比如對場景內同一個目標的特征描述出現不一致甚至沖突的問題。這時為了得到可靠的元數據以描述全局監控場景的實時狀態，可對元數據進行融合。有兩種方法可以采用：其一，通過網絡，在監控中心對元數據進行狀態估計;其二，選擇合適的場景事件模型，在監控中心對由元數據組成的事件進行推理。

　　全局場景的視覺跟蹤

　　在基于攝像機傳感網絡的分布式視頻監控系統中，監控中心收到來自各個前端設備的視頻流及相關的元數據通常描述的是有限時空范圍的視覺信息，由于攝像機定標不準確(詳見前述內容)、場景的噪聲和目標被遮擋等原因，分析得出的元數據存在不確定性的特點。為了實現在監控中心對全局區域內感興趣目標可靠的視覺跟蹤，可以采用一種分層式點對點的多攝像機元數據融合算法。

　　該數據融合算法基于一種策略，以監控中心的世界坐標系為參考，把來自不同智能攝像機或是智能視頻分析通道的元數據合并為一個大的向量，使用分層Kalman預測器對場景內被智能前端設備鎖定的多個視覺目標進行可靠跟蹤，并從這個大向量的分量重發現場景中的異常事件。算法的底層指的是各個智能前端設備的監控層，上層指的是監控中心層。

　　全局場景的事件融合

　　在不同領域知識的背景下，元數據的組合可以構成事件;另一方面，事件具備多種由元數據表征的屬性。元數據本身只是屬性或特征的度量，而事件才能表達場景內的語義，事件具備原子性，由它可進一步構造對場景語義的句法描述。

　　多種原因，如：攝像機定標不準確(詳見前述內容)、視頻場景的噪聲和目標被遮擋等，常會降低各個智能前端通道分析得出的元數據可靠性，這時為了依然保證監控中心對全局場景事件檢測的準確性，可以在事件模型中對其屬性(元數據)進行融合，然后得出優化的推理結果。圖3 所示為在基于多攝像機傳感網絡的環境下，全局場景事件的檢測和識別可以通過對多臺攝像機傳遞的本地元數據進行融合而得到。

　　結語

　　本文提出了一種具備上下文感知功能的分布式智能視覺分析系統。對上下文和上下文感知給出了具體的物理意義和實現手段。

　　以元數據為中心設計的分布式系統，能夠保證場景異常事件或特定行為發生時，在多臺攝像機構成的多通道傳感器網絡內實現元數據的傳遞和數據融合，從而提高在監控中心全局意義上對場景事件識別的準確率。元數據的融合在監控中心進行，因而可在全局意義上得到所監控區域的場景視圖。

　　一個典型的上下文感知智能視覺分析系統能夠在場景內事件觸發時，把元數據送入監控中心的事件隊列，然后依據上下文感知算法對元數據進行融合，使事件隊列優化，最終得出高可靠性的對全局事件的識別。