傳統針對海量圖片的檢索系統中，由于采用單節點架構，面對海量圖片數據檢索時存在檢索速度慢、并發性差等諸多問題。本文提出了一種海量圖片檢索方法，將圖片檢索技術與并行計算框架相結合，在分布式文件系統里存儲人臉圖像模型，計算節點采用分布式存儲調度算法，增強對多數據的并發處理能力，同時對計算后的數據進行壓縮處理。首先采用海康威視自主開發的人臉識別算法從人臉圖片里提取出人臉特征形成模型數據，然后采用多線程運算方式與海量圖片庫進行模型的逐一對比，采用統一排序節點接收各并行計算函數任務的計算結果，并按相似度大小進行排序，最后根據排序結果找到最優檢索結果。實驗結果表明，該方法在處理大數據圖像檢索時，與單節點檢索系統相比，能夠有效降低檢索時間，提高檢索速度。同時，由于存儲在分布式文件系統內，能夠保證人臉圖片文件的高冗余性，避免丟失數據。

　　海量人臉圖片檢索技術簡介

　　圖片檢索是直接根據初始查詢圖片的視覺特征，在海量圖片庫找出與之相似的圖像，類似的應用叫做“以圖搜圖”。利用圖片自身去檢索圖片，快速有效地提高了圖片檢索的性能，但在圖片檢索的過程中需要消耗大量的機器硬件資源，尤其是CPU資源。隨著計算機科學技術和數字圖像采集技術的迅速發展以及互聯網的普及應用，每天從各行各業都產生出大量的多媒體數據，這些數據大部分是以圖片和視頻等形式表現的，傳統基于單節點架構的圖片檢索系統存在檢索速度慢、并發性差，實時性和穩定性無法保障等諸多問題，不能滿足人們對于檢索性能的要求。因此一種基于內容的實現圖片快速檢索、并行處理、及時響應方法成為了研究熱點。云計算可以將任務分配到各個工作節點共同完成任務，具有分布式、并行處理能力，為海量人臉圖片檢索提供了一種新的研究思路。

　　海康威視采用分布式架構構建的海量圖片檢索系統依賴于自主開發的分布式計算平臺。該平臺擁有高容錯性、高可靠性、高效性、可擴展的軟件體系，適合將各種資源、數據部署在廉價的機器上，進行分布式存儲和分布式管理，讓用戶輕松支持上千個節點以及PB級數據量的運算。

　　系統總體設計

　　本文所介紹的系統的設計目標是實現海量、異構、分布的圖片資源的快速檢索和及時響應。系統采用分布式構架，由上而下分別由表現層、業務邏輯層以及數據及數據處理層組成，整體框架如下圖所示。

　　圖1 整體架構圖

　　前端用戶通過Internet獲取服務，用來上傳示例圖片和接收Web服務器的處理結果。在服務器端，業務邏輯層主要根據用戶檢索請求執行相應業務處理。數據及數據處理層包括分布式文件系統的存儲和管理模塊，海量圖片數據導入、請求模塊。數據處理層是系統最核心的部分，負責人臉圖片數據的分塊、人臉特征的提取、匹配以及結果的返回等。

　　本系統所采用的分布式文件系統采用Master/Slave這樣的管理者/工作者模式的架構，即一個管理者和多個工作者方式。當用戶通過客戶端發出請求對文件進行讀寫操作時，集群通過管理者和工作者的交互實現讀寫操作。管理者是整個分布式文件系統的核心，用于管理數據節點和客戶端對文件的訪問，管理文件系統的命名空間，維護整個文件系統的數據結構，記錄和保存系統中所有的文件和元數據。這些信息以備份文件的形式保存在管理者節點計算機上，該管理者計算機又有多臺備份節點，一旦管理者節點計算機出現異常，備份計算機立即將所有的元數據信息讀入內存，承擔起管理者角色。當集群中的某一節點數據丟失造成任務失敗后，管理者節點會自動重新部署計算任務。工作者是文件系統的工作節點，根絕需要負責存儲或檢索數據庫，各數據快的存儲位置隨系統的調整而改變。管理者節點會自動搜集分布式文件系統內的目錄信息、磁盤空間信息、備份因子、空閑的節點數目等信息。

　　對于大數據量的計算，通常采用的處理手法就是并行計算。首先要將一個邏輯上完整的大任務分解城若干個子任務，系統根據任務的信息采用適當的策略把不同的任務分配帶不同資源節點上去運行，當所有子任務處理結束，則完成整個大任務的一次處理，最后將處理結果傳給用戶。

　　系統實現關鍵技術

　　海量人臉圖片檢索系統處理的數據可以支持PB級以上的數據，這是傳統的單節點計算無法達到的。通過對較大的圖片進行分塊處理，采用分布式存儲調度算法，將系統提升到支持多數據的并發處理，同時采用壓縮存儲對多數據進行處理。

　　本系統在處理大塊人臉圖片文件時采用的是分塊存儲的方法，即將一大塊文件分塊處理成若干塊小的數據分塊，并將這些屬于同一大文件的數據分塊以一個文件的形式存儲，利用分布式存儲調度算法，將分塊后的所有數據存儲在不同的存儲節點上，并實施相應的備份機制。圖片存儲是人臉圖片檢索的基礎，是一個數據密集型計算過程。經過算法建模生成的模型值最終被存儲在基于列式的分布式數據庫中，當數據庫內的數據集非常大時，掃描搜索整個表要花費比較長的時間，為了減少檢索圖片的時間和提高檢索效率，可以將所有的數據讀入內存，這樣可以在檢索時減少磁盤的I/O操作，進而提高檢索速度。

　　并行計算框架參照MPI計算模型，實現了并行計算函數和統一排序函數。并行計算函數的功能是負責將數據分散處理，統一排序函數的功能是負責將處理后的中間結果進行聚集。在整個并行計算過程中，通過調用一個并行計算函數方法對每一個鍵值對進行處理，并將處理后的中間結果寫入到內存，最后保存到本地文件系統里。統一排序函數實現了對所有節點處理信息的匯總、排序、輸出。本系統采用的并行計算框架負責在圖片檢索過程中對圖片匹配及人臉相似度的計算，人臉相似度計算依賴海康威視自主開發的人臉識別算法。通過調用算法庫匹配模型值，將匹配處理結果按照相似度從高到低的順序返回給用戶。通過算法庫獲取圖片中出現的人臉圖片并對該人臉進行建模，然后由工作者節點將該模型傳送至各任務計算節點進行運行，接著每個節點分別返回計算結果并匯總到某一節點，最后由該計算節點匯總數據后按照相似度從高到低的順序返回用戶設定的若干條匹配人臉圖片及相關信息。　　實驗結果及分析

　　本系統搭建了一個實驗集群，該實驗集群由四臺普通的2U服務器組成，1個Master節點，3個Slave節點。每臺機器的配置如下：CPU Intel E5，內存DDR3 32GB，以太網卡100Mb/s，操作系統是Centos 6.2。

　　為了測試集群系統的性能，我們使用了不同數據級別的人臉圖片數據對系統進行測試，實驗結果如下圖所示。

　　圖2 集群測試數據圖

　　測試數據樣本數量級分別為10萬、50萬、100萬、500萬、1000萬、5000萬、1億、2億，這8個級別的人臉圖片、基本信息及模型數據。

　　4臺機器的總內存數量是128GB，其中操作系統需要占用大約4GB/臺，Master節點上分布式框架服務需要占用4GB，Slave節點上分布式框架協同管理服務需要占用2GB/臺，4臺機器剩余的可用內存一共有102GB，每張人臉圖片的大小為10K，模型值為6K，其余人臉描述信息是4K，一共每條人臉信息需要20K，加上三份備份原則，所以102GB一共可以讀取800萬數據到內存。從上面數據圖可以看出，當所有數據都在內存中時讀取速度非常的快，每次檢索都能控制在3秒鐘以內。隨著數據量的增大，到1000萬時檢索耗時上升到10秒左右，原因是需要從分布式數據庫里讀取數據用于檢索，這樣增加了磁盤I/O消耗。當數據量達到2億的頂峰時，檢索耗時也達到了頂峰的2分鐘，雖然看起來耗時增長很多，但是與傳統架構相比還是具有相當大的速度優勢。

　　從實驗可以得出，當集群內存足夠大時，可以把所有的數據讀入內存，這樣可以保證快速檢索、快速結果呈現，同時也能做到數據的動態容災備份。

　　本文總結

　　本文介紹的海量人臉圖片檢索系統將大數據集圖像檢索任務進行分解，通過與分布式文件系統和并行計算框架相結合的應用模式，實現各節點協同完成圖片檢索任務。通過基于若干個不同數量級別的圖片數據測試，將實驗結果進行對比驗證，表明隨著數據量的快速增長本系統不會受到太大的性能沖擊，沒有出現單節點擊器的速度慢、并發性差等問題，有效提高了圖片檢索速度、并發性以及處理海量數據的能力。

　　未來的工作重點將放在如何快速地從海量視頻文件中搜索出指定的人臉圖片，并對搜索出來的圖片進行相關性數據挖掘，通過對海量數據分析為公安機關等特定部門提供更豐富的技術手段，減少人工過濾視頻的苦惱。