在此次抗擊新型冠狀病毒肺炎中，AI技術(shù)在各個(gè)領(lǐng)域展露實(shí)力。在落地較為成熟的計(jì)算機(jī)視覺(jué)方向，對(duì)居民身份識(shí)別、個(gè)人軌跡追蹤、病理圖像識(shí)別方面都有不錯(cuò)的應(yīng)用。今天我們要介紹一個(gè)值得關(guān)注的技術(shù)方向——行人重識(shí)別。
行人重識(shí)別技術(shù)簡(jiǎn)介
行人重識(shí)別（Person Re-Identification，文中簡(jiǎn)稱Re-ID，與Object Re-ID區(qū)分）也稱行人再識(shí)別、跨境追蹤，是利用計(jì)算機(jī)視覺(jué)技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù)，主要解決跨攝像頭跨場(chǎng)景下行人的識(shí)別與檢索。它能夠根據(jù)行人的穿著、體態(tài)、發(fā)型等信息認(rèn)知行人，可以對(duì)無(wú)法獲取清晰拍攝人臉的行人進(jìn)行跨攝像頭連續(xù)跟蹤，從而增強(qiáng)數(shù)據(jù)的時(shí)空連續(xù)性。首先從監(jiān)控視頻里獲得原始圖片，基于原始圖片檢測(cè)出行人位置，然后將圖片特征分別從檢索圖和數(shù)據(jù)庫(kù)圖像中抽取出來(lái)并計(jì)算距離，最后根據(jù)距離進(jìn)行排序，排序越靠前表明相似度越高。
傳統(tǒng)的人臉識(shí)別技術(shù)經(jīng)歷了近幾年的快速發(fā)展后，已較為成熟，并在眾多領(lǐng)域有相關(guān)應(yīng)用和產(chǎn)品。在國(guó)際權(quán)威人臉識(shí)別數(shù)據(jù)庫(kù)LFW (Labeled Faces in the Wild) 的識(shí)別精度超越人以后，就少有重大突破了，CV頂級(jí)國(guó)際會(huì)議的接受論文量也逐漸出現(xiàn)了平穩(wěn)的趨勢(shì)。人臉識(shí)別技術(shù)僅使用人臉特征值判斷個(gè)人身份，放棄了其他人體重要信息，例如衣著、發(fā)型、體型、姿態(tài)、行為特征等，具有局限性。另外，人臉識(shí)別必須有較為完整的人臉照片，然而在實(shí)際應(yīng)用中，由于相機(jī)分辨率和拍攝角度的緣故，經(jīng)常會(huì)遇到低頭、面部被部分遮擋、僅拍到背影、模糊身形等情況，通常無(wú)法得到滿足要求的高質(zhì)量人臉圖片。而Re-ID技術(shù)正好能夠彌補(bǔ)人臉識(shí)別應(yīng)用的不足，將現(xiàn)有的認(rèn)知識(shí)別水平提高到一個(gè)新階段。
Re-ID技術(shù)在學(xué)術(shù)界熱度上漲
由于不同攝像設(shè)備之間的差異，同時(shí)行人兼具剛性和柔性，外觀易受穿著、尺度、遮擋、姿態(tài)和視角等影響，Re-ID技術(shù)成為CV領(lǐng)域中一個(gè)既有研究?jī)r(jià)值又極具挑戰(zhàn)性的研究方向。國(guó)內(nèi)主要研究機(jī)構(gòu)為清華大學(xué)、北京大學(xué)、復(fù)旦大學(xué)、中山大學(xué)、香港中文大學(xué)、華中科技大學(xué)、西安交通大學(xué)、中科院和廈門大學(xué)等，國(guó)外主要為悉尼科技大學(xué)、倫敦瑪麗女王大學(xué)和德克薩斯大學(xué)圣安東尼奧分校等。CV頂級(jí)國(guó)際會(huì)議在Re-ID方向上的接受論文量正逐步提升，國(guó)內(nèi)科研團(tuán)隊(duì)是其中的主力軍。2016以來(lái)，谷歌學(xué)術(shù)上有約2500篇相關(guān)論文，其中2019年及以后發(fā)表的占1050篇。在計(jì)算機(jī)視覺(jué)的兩大頂會(huì)ICCV與CVPR上，近年來(lái)接受的論文中行人重識(shí)別技術(shù)相關(guān)論文數(shù)不斷上升。這些都表明了Re-ID技術(shù)在學(xué)術(shù)界的熱度正不斷攀升。
（數(shù)據(jù)來(lái)源：ICCV,CVPR）
注：人臉識(shí)別按關(guān)鍵字檢索 "face recognition", "face verification", 行人重識(shí)別按關(guān)鍵字檢索 "person re-identification", "person search", "person retrieval", "pedestrian retrieval"
Re-ID技術(shù)將有廣闊應(yīng)用前景
除學(xué)術(shù)界外，Re-ID技術(shù)在產(chǎn)業(yè)界的熱度也居高不下。智能安防是Re-ID技術(shù)應(yīng)用廣泛的場(chǎng)景，其中視頻偵查可以幫助公安高效辦案。Re-ID技術(shù)可以從嫌疑犯照片中采集特征，然后從監(jiān)控視頻庫(kù)里找出嫌疑犯出現(xiàn)的視頻段，并能夠把嫌疑犯在各個(gè)攝像頭中的軌跡串連起來(lái)，實(shí)現(xiàn)空間的延續(xù)性。Re-ID技術(shù)還能用于智能尋人系統(tǒng)，根據(jù)走失兒童的衣服、書包等特征，在所有監(jiān)控?cái)z像頭中進(jìn)行實(shí)時(shí)搜尋，尤其是在超市、火車站、展覽館等人流量大的公共場(chǎng)所，疫情下也可用于尋找感染者和與其接觸過(guò)的人。配備Re-ID技術(shù)的智慧商場(chǎng)旨在通過(guò)顧客在商場(chǎng)里的行動(dòng)軌跡，了解顧客的興趣與習(xí)慣，從而優(yōu)化顧客體驗(yàn)，無(wú)人超市也有類似的需求。手機(jī)相冊(cè)中普遍都有人像分類功能，但很多非正面照片無(wú)法被歸入某一類別，而Re-ID技術(shù)可以把同一個(gè)人不同場(chǎng)景不同身影的照片聚在一起，方便用戶管理。未來(lái)每個(gè)家庭可能都會(huì)有家庭機(jī)器人，機(jī)器人很難實(shí)時(shí)看到主人面部情況，利用Re-ID技術(shù)通過(guò)觀察人體特征，跟蹤主人的行為動(dòng)態(tài)，可以進(jìn)行更豐富的互動(dòng)與及時(shí)反饋。
中國(guó)安防行業(yè)目前在產(chǎn)業(yè)鏈中呈現(xiàn)出上下游界限模糊的態(tài)勢(shì)，產(chǎn)業(yè)生態(tài)變得更加開(kāi)放但競(jìng)爭(zhēng)也異常激烈。激烈的競(jìng)爭(zhēng)同時(shí)也是迅速發(fā)展的助燃器，中國(guó)安防行業(yè)以超過(guò)10％的復(fù)合年均增長(zhǎng)率和接近萬(wàn)億的市場(chǎng)規(guī)模成為世界龍頭，其中有一半以上的訂單由政府提供?！吨袊?guó)安防行業(yè)“十三五”（2016-2020）發(fā)展規(guī)劃》、《關(guān)于加快安全產(chǎn)業(yè)發(fā)展的指導(dǎo)意見(jiàn)》等相關(guān)政策的支持成為了發(fā)展主要?jiǎng)恿?。同時(shí)，中國(guó)政府開(kāi)展了“平安城市”、“天網(wǎng)工程”、“雪亮工程”三個(gè)項(xiàng)目來(lái)擴(kuò)大從城市到村鎮(zhèn)的人工智能安防應(yīng)用市場(chǎng)，為安防市場(chǎng)建立了穩(wěn)定基礎(chǔ)。據(jù)預(yù)測(cè)，未來(lái)“平安城市”和“雪亮工程”中帶有人工智能技術(shù)的AI攝像機(jī)覆蓋率將超過(guò)80％，包括人臉識(shí)別相機(jī)、車牌識(shí)別相機(jī)和視頻結(jié)構(gòu)相機(jī)（主要用于Re-ID技術(shù)或特征識(shí)別）?？紤]到隱私保護(hù)，Re-ID結(jié)合以圖搜圖、輔助標(biāo)識(shí)應(yīng)用將逐漸流行。
各大公司與高校紛紛提升Re-ID技術(shù)能力
在國(guó)內(nèi)專注于Re-ID技術(shù)研究的公司中，云從科技、曠視科技和商湯科技等已取得顯著成就。云從科技于2019年3月在Market-1501，DukeMTMC-reID和CUHK03數(shù)據(jù)集上打破了世界紀(jì)錄，在Market-1501數(shù)據(jù)集上的平均精度均值為91.14％，首位命中率達(dá)到了96.6％。云從科技將核心算法的速度提高了10倍，并開(kāi)發(fā)出一系列用于行人檢測(cè)、跟蹤和結(jié)構(gòu)化的模塊。曠視科技在CVPR 2019上發(fā)表了14篇論文，其中一篇提出了Visibility-aware Part Model (VPM)，可以在局部Re-ID場(chǎng)景下通過(guò)自我監(jiān)督來(lái)感知區(qū)域的可見(jiàn)性。商湯科技提出了一個(gè)基于Siamese結(jié)構(gòu)的框架Feature Distilling GAN (FD-GAN)，包含多個(gè)關(guān)于人的姿勢(shì)和身份的識(shí)別符，能夠?qū)W習(xí)與身份相關(guān)而與姿勢(shì)無(wú)關(guān)的表現(xiàn)形式。國(guó)內(nèi)企業(yè)在Market-1501，DukeMTMC-reID和CUHK03三大權(quán)威數(shù)據(jù)集上普遍呈現(xiàn)出較高的準(zhǔn)確率，其中中興在三大數(shù)據(jù)集中都占據(jù)榜首。
Re-ID技術(shù)的新突破
早期的Re-ID技術(shù)通常在全局圖像中進(jìn)行特征提取，并將這些特征作為與數(shù)據(jù)庫(kù)圖像匹配的視覺(jué)表達(dá)。為實(shí)現(xiàn)表達(dá)的有效性，早期技術(shù)或者直接使用全局人物特征，或者將身體部位的局部特征組合起來(lái)。但這些方法忽略了目標(biāo)人物被各種障礙物如車輛、樹(shù)木、其他行人遮擋的情況。當(dāng)目標(biāo)人物被部分遮擋時(shí)，從全局圖像中提取的特征可能會(huì)包含擾亂信息。如果模型無(wú)法分辨遮擋區(qū)域和人物區(qū)域，可能會(huì)導(dǎo)致錯(cuò)誤的檢索結(jié)果。例如，在給定檢索圖像是一個(gè)被白色汽車遮擋的人時(shí)，錯(cuò)誤的方法可能得到被相似白色車輛遮擋的不同的人。為解決遮擋問(wèn)題，一些研究團(tuán)隊(duì)采用局部重識(shí)別的方式，假定檢索圖像被障礙物遮擋而數(shù)據(jù)庫(kù)中人物圖像是完整的。為減少不必要信息的引入，檢索圖像中遮擋區(qū)域被人工去掉，然后使用未被遮擋的部分作為新的檢索目標(biāo)。這種局部重識(shí)別的方式存在兩個(gè)局限性：一是需要一個(gè)強(qiáng)假設(shè)即數(shù)據(jù)庫(kù)中所有人物圖像都是完整的；二是如果數(shù)據(jù)庫(kù)圖像也包含被遮擋的部分，考慮到圖像的龐大數(shù)量，人工裁剪效率十分低下。而且，這一過(guò)程可能引入人為偏差。
為進(jìn)一步提升重識(shí)別技術(shù)，在2019年10月舉辦的ICCV會(huì)議上百度與悉尼科技大學(xué)聯(lián)合團(tuán)隊(duì)[1]發(fā)表了研究，團(tuán)隊(duì)在數(shù)據(jù)庫(kù)圖像中加入了被遮擋圖像，確保檢索圖像和數(shù)據(jù)庫(kù)中都同時(shí)包含完整人物圖像和被遮擋圖像，與真實(shí)情況一致。此外，考慮到效率和人為偏差問(wèn)題，重識(shí)別過(guò)程中不涉及人工剪裁。
團(tuán)隊(duì)采用兩種策略區(qū)分遮擋區(qū)域和可見(jiàn)區(qū)域信息：一是在特征構(gòu)造階段，模型應(yīng)更關(guān)注非遮擋區(qū)域；二是在匹配階段需要明確地將全局特征分開(kāi)并且只考慮檢索圖像和數(shù)據(jù)庫(kù)圖像共有的可視區(qū)域。因此，團(tuán)隊(duì)采用姿勢(shì)標(biāo)志來(lái)匹配檢索圖像和數(shù)據(jù)庫(kù)圖像間的提取特征(Pose-Guided Feature Alignment)。與局部重識(shí)別相比，這種方法的兩個(gè)優(yōu)勢(shì)是無(wú)需人工剪裁，效率得到提升；被檢測(cè)標(biāo)志的元信息能夠清晰地指導(dǎo)模型關(guān)注非遮擋人物區(qū)域，并在特征構(gòu)造和匹配過(guò)程中過(guò)濾掉遮擋區(qū)域。團(tuán)隊(duì)還建造了關(guān)于遮擋重識(shí)別問(wèn)題目前的數(shù)據(jù)庫(kù)Occluded-DukeMTMC。在這一數(shù)據(jù)庫(kù)實(shí)驗(yàn)中，因?yàn)镻GFA方法能夠清晰地使用姿勢(shì)信息減弱來(lái)自遮擋區(qū)域的干擾信息，它的首位命中率和平均精度均值分別達(dá)到了51.4%和37.3%，超過(guò)現(xiàn)有的所有方法。實(shí)驗(yàn)還表明，將姿勢(shì)指導(dǎo)下的全局特征和局部特征結(jié)合能夠?qū)崿F(xiàn)更好的效果。同樣地，PGFA方法在Partial-REID和Partial-iLIDS實(shí)驗(yàn)中的表現(xiàn)均超過(guò)了現(xiàn)有的幾種局部重識(shí)別技術(shù)，而且在全局行人重識(shí)別數(shù)據(jù)庫(kù)Market-1501和DukeMTMC-reID上也取得了比肩先進(jìn)方法的成績(jī)，體現(xiàn)了PGFA的通用性。
除Re-ID技術(shù)以外，我們還搜集到一些新的計(jì)算機(jī)視覺(jué)技術(shù)，可以有效運(yùn)用于疫情防控。
百度與西北大學(xué)聯(lián)合團(tuán)隊(duì)[2]提出的Concept Sharing Network (CSN)局部特征識(shí)別方法解決了訓(xùn)練數(shù)據(jù)缺乏的問(wèn)題，還能擺脫對(duì)局部標(biāo)注的依賴。它的優(yōu)點(diǎn)是能夠通過(guò)學(xué)習(xí)在單一標(biāo)記里混合局部位置和外表模式的訓(xùn)練數(shù)據(jù)，對(duì)訓(xùn)練數(shù)據(jù)不足或者零訓(xùn)練數(shù)據(jù)的局部特征進(jìn)行識(shí)別。在行人特征識(shí)別測(cè)試中，CSN方法的平均精度均值達(dá)到51.2%，而基準(zhǔn)值只有30.3%。實(shí)驗(yàn)涉及在安防領(lǐng)域常用的十個(gè)特征，包括衣袖長(zhǎng)度、褲子長(zhǎng)度、是否使用手機(jī)、是否攜帶物品、是否拉著行李、是否抽煙、是否戴手套、是否抱著小孩、是否戴口罩，以及是否撐著雨傘。實(shí)驗(yàn)結(jié)果表明，隨著訓(xùn)練樣本的減少，CSN方法取得的結(jié)果與基準(zhǔn)值間的差異持續(xù)擴(kuò)大。
騰訊與清華大學(xué)聯(lián)合團(tuán)隊(duì)[3]針對(duì)臉部遮擋問(wèn)題提出了一種遮擋學(xué)習(xí)策略來(lái)尋找并剔除損壞特征部分。通過(guò)使用創(chuàng)新性設(shè)計(jì)的Pairwise Differential Siamese Network (PDSN)方法探索被遮擋和無(wú)遮擋臉部圖片的頂層卷積特征差異，團(tuán)隊(duì)創(chuàng)建了一個(gè)“遮擋詞典”。詞典中的每一個(gè)詞條都包含被遮擋臉部區(qū)域和對(duì)應(yīng)的損壞特征部分，即Feature Discarding Mask (FDM)。在處理新的隨機(jī)局部遮擋臉部圖像時(shí)，首先將相關(guān)的詞條組合在一起，然后乘以原有特征來(lái)消除損壞特征部分，從而生成它的FDM。為了在局部遮擋的條件下對(duì)方法進(jìn)行測(cè)試，團(tuán)隊(duì)合成了被遮擋數(shù)據(jù)庫(kù)，遮擋物有太陽(yáng)鏡、口罩、手、圍巾、頭發(fā)等多種物體。在MegaFace Challenge中，與基準(zhǔn)模型相比，PDSN方法在被遮擋探測(cè)集和普通探測(cè)集中的表現(xiàn)都更加出色。在合成和真實(shí)臉部圖像數(shù)據(jù)庫(kù)上的大量實(shí)驗(yàn)表明，這種算法能夠顯著地提升現(xiàn)有系統(tǒng)的表現(xiàn)。
在疫情肆虐的當(dāng)下，為更好地幫助防控人員開(kāi)展工作，布局在車站、機(jī)場(chǎng)等有龐大人流量區(qū)域的檢測(cè)機(jī)器人，不僅需要識(shí)別行人是否佩戴口罩，還需要在戴口罩的情況下，對(duì)體溫高于正常值的特定行人進(jìn)行識(shí)別和定位追蹤。因此，對(duì)有障礙物情況下行人再識(shí)別技術(shù)的提升，有助于更準(zhǔn)確高效地處理異常情況，降低防控人員被感染風(fēng)險(xiǎn)，遏制疫情的蔓延。
Reference
[1] Jiaxu Miao, Yu Wu, Ping Liu, Yuhang Ding, and Yi Yang. Pose-guided feature alignment for occluded person re-identification. In ICCV, 2019.
論文下載：https://yu-wu.net/pdf/ICCV2019_Occluded-reID.pdf
[2] Xiangyun Zhao, Yi Yang, Feng Zhou, Xiao Tan, Yingze Bao, and Ying Wu. Recognizing part attributes with insufficient data. In ICCV, 2019.
論文下載： https://arxiv.org/abs/1908.03335
[3] Lingxue Song, Dihong Gong, Zhifeng Li, Changsong Liu, and Wei Liu. Occlusion robust face recognition based on mask learning with pairwise differential Siamese network. In ICCV, 2019.
論文下載： https://arxiv.org/abs/1908.06290
滬公網(wǎng)安備 31011002003093號(hào)