行人道路檢測與跟蹤系統綜述

 行人道路檢測與跟蹤
 Nils T Siebel
摘要：本論文敘述了我用攝像頭來檢測跟蹤道路行人系統的細節信息。

簡介
  在瑞丁大學的一個研究項目中我開始研究用攝像頭來檢測跟蹤行人的自動視覺監控系統。這項研究是在歐洲框架下的V項目ADVISOR基礎上進行的，我們研發出了一個集成的視覺監控的行為分析系統。在這個項目的基礎上研發的行人跟蹤器基于Adam Baumberg開發出的Leeds People Tracker.

目錄
1簡介
2主要研究成果
3跟蹤算法
  3.1 4個檢測模塊綜述
  3.2 跟蹤算法詳述
  3.3 跟蹤的行人圖像示例
4軟件工程方面應用介紹
5本系統的特征
6相關出版物
7致函
8行人檢測跟蹤系統源代碼

主要研究成果
  行人檢測跟蹤器是一個新型的模塊系統，用來跟蹤在連續鏡頭中出現的行人和其他物體。它的主要貢獻是擁有一個強大且可擴展的結構，在現存的Leeds People Tracker基礎上進行了完整的重新設計和大量重構，并添加了新的功能，達到了以下成果：
    跟蹤器的高可靠性使之能通過運用多重不同類型的并行運行的跟蹤器和多重跟蹤推理方法來檢測到噪聲和阻塞（可到ECCV 2002論文或我的博士論文查詢細節）。
    在任意數量的攝像頭中能檢測多重物體，并用XML格式輸出跟蹤信息。
    可擴展性及大幅提升的可維護性（可到ICSM 2002論文查詢細節）。
    新文檔用語維護行人跟蹤器，包括一個完好定義和記錄的軟件維護程序（可到JSME/SMR論文查詢程序實例）。
  新的跟蹤系統能實現跟蹤行人和車輛的可行性（可查看PETS 2001論文了解之前版本跟蹤器的可行性）。
  該系統的集成系統是ADSIVOR的一個子系統，與其他子系統通過以太網接口。
  能檢驗出顏色過濾方法是否能并在多大程度上能幫助提高動態偵測和邊緣搜索。
  跟蹤器已經從SGI平臺傳輸到個人電腦能運行的GNU/Linux環境以使之能成為實用系統。而且，系統的源代碼現在已經大體符合ISO/IEC 14882-1998 C++標準和IEEE POSIX 1003.1c-1995 多線程擴展標準，因此它可便攜。雖然代碼保存在GNU/Linux環境下，它之前也可以在Windows XP/20002環境下進行匯編。
跟蹤算法
3.1四個檢測模塊綜述
模塊1-移動探測器
一個移動探測器能探測圖像中的移動像素點。它能模擬沒有人在的背景圖像。僅僅是把現有圖像中的大像素點刪去并用閾值轉換法輸出二進制移動圖像結果。探測到的移動斑點的邊界（邊界框）之后被抽取出并作為該模塊的輸出。
主要特征：
簡單的背景圖像刪除
圖像過濾（空間中值濾波，擴張）基于可用的CPU時間
短暫地包含背景中的靜態物體
用速度優化的中值濾波器來模擬背景
將靜態區域融合進背景中（多層背景）

示例：
 -=
 這個例子展示了大像素區分圖像和背景圖像導致的不同圖像，這些圖像之后被閾值轉換成二進制移動圖像。這個例子也展示了區域和背景的低對比度（此例中是白色外套和淺黃色背景）能導致區域在移動圖像中無法被探測到。
 
 
 模塊2-區域跟蹤器
 一個區域跟蹤器能隨時間跟蹤這些移動的區域。這當中包括從之前框架中預測到的區域分裂和融合。
主要特征：
用預測分析區域分裂和融合
從動態的形狀跟蹤結果中調整邊界框
找出用于背景融合的靜態區域

示例：

 
模塊3-頭部檢測器
一個頭部檢測器能在全部探測到的移動區域中迅速做出頭部位置的假設。
主要特征：
在二進制圖像中工作
在檢測到的移動區域中找極點
用低通濾波做出垂直直方圖
速度優化，但準確度不高

示例：
 

模塊4-動態外形跟蹤器
一個動態外型跟蹤器運用可變形的模型來描繪出2D的行走人群的外形輪廓并跟蹤。輪廓外型的初始化是在區域檢測器和頭部檢測器的輸出中完成的。
主要特征：
輪廓適合的邊緣檢測
來自區域檢測器，頭部檢測器和行人的輪廓初始化
閉塞推理

示例：

 左邊的圖像顯示了怎樣從區域檢測器（紫色，綠色和白色邊框）和在頭部檢測器中從它們中預測到的頭部位置（涂成紅色/粉色）的輸出來提供初始化假設輪廓圖（外型線條，涂成白色）給動態外形跟蹤器。每一個假設，還有動態外形跟蹤器的從先前輪廓中的預判，之后由動態外形跟蹤器運用圖像測定來檢測。正確的圖像信息包括輪廓的局部邊緣搜索是怎樣在一個重復優化的環路中用來判斷合適外形的。

綜合各個模塊
  用多個模塊的主要目的是彌補單一模塊的缺陷，從而達到比每個模塊能提供的更好的全面跟蹤效果。當然，當綜合不同模型提供的信息時，明確了解不同模塊的錯誤源是很重要的。如果兩個模塊產生同一類型的錯誤，那么綜合的結果就毫無意義了。新的行人檢測器被設計成能將這點很好的運用，從講多模塊的冗余性能最大化利用。
以下是整個系統的主要特征：
模塊間的交融以避免無探測或錯探測
兩個跟蹤模塊間的獨立預判以達到更大健壯性
多假設跟蹤來彌補無跟蹤和混合跟蹤
所有模塊都有攝像校正以提供可用數據
遵循軟件工程原理來設計的軟件，可伸縮和拓展(新的模塊。。。)并能保持高穩定性和便攜性。

3.2具體跟蹤原理
  完整的行人跟蹤機理如下。

3.3跟蹤的行人圖像示例
  下示圖像是假設強化后的行人跟蹤圖。跟蹤區域（方形框）和簡像（外形輪廓）在圖像中展示了。

軟件工程方面信息
  行人檢測器是完全重設計的，能輸出一個新的設計�，F在，這個軟件系統具有高穩定性和便攜性，一個能面向所有維修工程的軟件程序被完好的定義和記錄。我們在設計新的跟蹤器時也注重了可拓展性和伸縮性。
  源代碼大體符合ISO/IEC 14882-1998 C++標準，和IEEE POSIX 1003.1c-1995多線程標準，使之能容易攜帶。雖然代碼被保存在GNU/Linux環境下，它也能在Windows2000環境下運行。
  瑞丁大學的行人檢測軟件工程小組的成員們和我檢測了我們的行人跟蹤軟件過程和它對代碼穩定性的影響（可參見JSME/SMR論文）。再另一個研究中我們也檢測了重設計部件和它對代碼穩定性的影響（可參見ICSM2002論文）。

我們系統的特殊特征
貼近市場，集成產品
多原理的綜合保證健壯性
冗余性幫助消除低質量圖像
可伸縮，可拓展的設計
高穩定性和便攜性的實現
其他跟蹤器（例如UMD的W4）用不同方法實現了相同的跟蹤效果

相關文獻
 可參考我的檢測文獻查看細節。

 
致函
這篇文獻得到歐盟認可，ADVISOR授權（IST-1999-11287）
感謝Sergio Velastin（金士頓大學）和倫敦地鐵局為我們提供視頻數據。
行人檢測跟蹤器源代碼
  行人檢測跟蹤器項目由德國克里斯丁大學的Nils T Siebel組織。源代碼可在下載頁面下載。