深蘭科技|目標(biāo)檢測(cè)二十年間的那些事兒
(3) Fast RCNN
2015年,R. Girshick提出了Fast RCNN檢測(cè)器[19],這是對(duì)R-CNN和SPPNet的進(jìn)一步改進(jìn)。Fast RCNN使我們能夠在相同的網(wǎng)絡(luò)配置下同時(shí)訓(xùn)練檢測(cè)器和邊界框回歸器。在VOC07數(shù)據(jù)集上,F(xiàn)ast RCNN將mAP從58.5%( RCNN)提高到70.0%,檢測(cè)速度是R-CNN的200多倍。
雖然Fast-RCNN成功地融合了R-CNN和SPPNet的優(yōu)點(diǎn),但其檢測(cè)速度仍然受到提案檢測(cè)的限制。然后,一個(gè)問(wèn)題自然而然地出現(xiàn)了:“ 我們能用CNN模型生成對(duì)象提案嗎? ” 之后的Faster R-CNN解決了這個(gè)問(wèn)題。
(4) Faster RCNN
2015年,S. Ren等人提出了Faster RCNN檢測(cè)器[20],在Fast RCNN之后不久。Faster RCNN 是第一個(gè)端到端的,也是第一個(gè)接近實(shí)時(shí)的深度學(xué)習(xí)檢測(cè)器(COCO mAP@.5=42.7%,COCO mAP@[.5,.95]=21.9%, VOC07 mAP=73.2%,VOC12 mAP=70.4%)。Faster RCNN的主要貢獻(xiàn)是引入了區(qū)域提案網(wǎng)絡(luò) (RPN)從而允許幾乎所有的cost-free的區(qū)域提案。從RCNN到Faster RCNN,一個(gè)目標(biāo)檢測(cè)系統(tǒng)中的大部分獨(dú)立塊,如提案檢測(cè)、特征提取、邊界框回歸等,都已經(jīng)逐漸集成到一個(gè)統(tǒng)一的端到端學(xué)習(xí)框架中。
雖然Faster RCNN突破了Fast RCNN的速度瓶頸,但是在后續(xù)的檢測(cè)階段仍然存在計(jì)算冗余。后來(lái)提出了多種改進(jìn)方案,包括RFCN和 Light head RCNN。
(5) Feature Pyramid Networks(FPN)
2017年,T.-Y.Lin等人基于Faster RCNN提出了特征金字塔網(wǎng)絡(luò)(FPN)[21]。在FPN之前,大多數(shù)基于深度學(xué)習(xí)的檢測(cè)器只在網(wǎng)絡(luò)的頂層進(jìn)行檢測(cè)。雖然CNN較深層的特征有利于分類識(shí)別,但不利于對(duì)象的定位。為此,開(kāi)發(fā)了具有橫向連接的自頂向下體系結(jié)構(gòu),用于在所有級(jí)別構(gòu)建高級(jí)語(yǔ)義。由于CNN通過(guò)它的正向傳播,自然形成了一個(gè)特征金字塔,F(xiàn)PN在檢測(cè)各種尺度的目標(biāo)方面顯示出了巨大的進(jìn)步。在基礎(chǔ)的Faster RCNN系統(tǒng)中使用FPN骨架可在無(wú)任何修飾的條件下在MS-COCO數(shù)據(jù)集上以單模型實(shí)現(xiàn)state-of-the-art 的效果(COCO mAP@.5=59.1%,COCO mAP@[.5,.95]= 36.2%)。FPN現(xiàn)在已經(jīng)成為許多最新探測(cè)器的基本組成部分。
基于卷積神經(jīng)網(wǎng)絡(luò)的單級(jí)檢測(cè)器
單階段檢測(cè)的發(fā)展及各類檢測(cè)器的結(jié)構(gòu)[2]
(1) You Only Look Once (YOLO)
YOLO由R. Joseph等人于2015年提出[22]。它是深度學(xué)習(xí)時(shí)代的第一個(gè)單級(jí)檢測(cè)器。YOLO非?欤篩OLO的一個(gè)快速版本運(yùn)行速度為155fps, VOC07 mAP=52.7%,而它的增強(qiáng)版本運(yùn)行速度為45fps, VOC07 mAP=63.4%, VOC12 mAP=57.9%。YOLO是“ You Only Look Once ” 的縮寫。從它的名字可以看出,作者完全拋棄了之前的“提案檢測(cè)+驗(yàn)證”的檢測(cè)范式。相反,它遵循一個(gè)完全不同的設(shè)計(jì)思路:將單個(gè)神經(jīng)網(wǎng)絡(luò)應(yīng)用于整個(gè)圖像。該網(wǎng)絡(luò)將圖像分割成多個(gè)區(qū)域,同時(shí)預(yù)測(cè)每個(gè)區(qū)域的邊界框和概率。后來(lái)R. Joseph在 YOLO 的基礎(chǔ)上進(jìn)行了一系列改進(jìn),其中包括以路徑聚合網(wǎng)絡(luò)(Path aggregation Network, PAN)取代FPN,定義新的損失函數(shù)等,陸續(xù)提出了其 v2、v3及v4版本(截止本文的2020年7月,Ultralytics發(fā)布了“YOLO v5”,但并沒(méi)有得到官方承認(rèn)),在保持高檢測(cè)速度的同時(shí)進(jìn)一步提高了檢測(cè)精度。
必須指出的是,盡管與雙級(jí)探測(cè)器相比YOLO的探測(cè)速度有了很大的提高,但它的定位精度有所下降,特別是對(duì)于一些小目標(biāo)而言。YOLO的后續(xù)版本及在它之后提出的SSD更關(guān)注這個(gè)問(wèn)題。
(2) Single Shot MultiBox Detector (SSD)
SSD由W. Liu等人于2015年提出[23]。這是深度學(xué)習(xí)時(shí)代的第二款單級(jí)探測(cè)器。SSD的主要貢獻(xiàn)是引入了多參考和多分辨率檢測(cè)技術(shù),這大大提高了單級(jí)檢測(cè)器的檢測(cè)精度,特別是對(duì)于一些小目標(biāo)。SSD在檢測(cè)速度和準(zhǔn)確度上都有優(yōu)勢(shì)(VOC07 mAP=76.8%,VOC12 mAP=74.9%, COCO mAP@.5=46.5%,mAP@[.5,.95]=26.8%,快速版本運(yùn)行速度為59fps) 。SSD與其他的檢測(cè)器的主要區(qū)別在于,前者在網(wǎng)絡(luò)的不同層檢測(cè)不同尺度的對(duì)象,而后者僅在其頂層運(yùn)行檢測(cè)。
(3) RetinaNet
單級(jí)檢測(cè)器有速度快、結(jié)構(gòu)簡(jiǎn)單的優(yōu)點(diǎn),但在精度上多年來(lái)一直落后于雙級(jí)檢測(cè)器。T.-Y.Lin等人發(fā)現(xiàn)了背后的原因,并在2017年提出了RetinaNet[24]。他們的觀點(diǎn)為精度不高的原因是在密集探測(cè)器訓(xùn)練過(guò)程中極端的前景-背景階層不平衡(the extreme foreground-background class imbalance)現(xiàn)象。為此,他們?cè)赗etinaNet中引入了一個(gè)新的損失函數(shù) “ 焦點(diǎn)損失(focal loss)”,通過(guò)對(duì)標(biāo)準(zhǔn)交叉熵?fù)p失的重構(gòu),使檢測(cè)器在訓(xùn)練過(guò)程中更加關(guān)注難分類的樣本。焦損耗使得單級(jí)檢測(cè)器在保持很高的檢測(cè)速度的同時(shí),可以達(dá)到與雙級(jí)檢測(cè)器相當(dāng)?shù)木。(COCO mAP@.5=59.1%,mAP@[.5, .95]=39.1% )。
參考文獻(xiàn):
[1]Zhengxia Zou, Zhenwei Shi, Member, IEEE, Yuhong Guo, and Jieping Ye, Object Detection in 20 Years: A Survey Senior Member, IEEE
[2]Xiongwei Wu, Doyen Sahoo, Steven C.H. Hoi, Recent Advances in Deep Learning for Object Detection, arXiv:1908.03673v1
[3]K. He, X. Zhang, S. Ren, J. Sun, Deep residual learning for image recognition, in: CVPR, 2016.
[4]R. Girshick, J. Donahue, T. Darrell, J. Malik, Rich feature hierarchies for accurate object detection and semantic segmentation, in: CVPR, 2014.
[5]K. He, G. Gkioxari, P. Dollar, R. Girshick, Mask r-cnn, in: ICCV, 2017.
[6]L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, A. L. Yuille, Semantic image segmentation with deep convolutional nets and fully connected crfs, in: arXiv preprint arXiv:1412.7062, 2014.
[7]Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” nature, vol. 521, no. 7553, p. 436, 2015.
[8]P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on, vol. 1. IEEE, 2001, pp. I–I.
[9]P. Viola and M. J. Jones, “Robust real-time face detection,” International journal of computer vision, vol. 57, no. 2, pp. 137–154, 2004.
[10]C. Papageorgiou and T. Poggio, “A trainable system for object detection,” International journal of computer vision, vol. 38, no. 1, pp. 15–33, 2000.
[11]N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” in Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on, vol. 1. IEEE, 2005, pp. 886–893.
[12]P. Felzenszwalb, D. McAllester, and D. Ramanan, “A discriminatively trained, multiscale, deformable part model,” in Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. IEEE, 2008, pp. 1–8.
[13]P. F. Felzenszwalb, R. B. Girshick, and D. McAllester, “Cascade object detection with deformable part models,” in Computer vision and pattern recognition (CVPR), 2010 IEEE conference on. IEEE, 2010, pp. 2241–2248.
[14]P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan, “Object detection with discriminatively trained part-based models,” IEEE transactions on pattern analysis and machine intelligence, vol. 32, no. 9, pp. 1627– 1645, 2010.
[15]A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Advances in neural information processing systems, 2012, pp. 1097–1105.
[16]R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Regionbased convolutional networks for accurate object detection and segmentation,” IEEE transactions on pattern analysis and machine intelligence, vol. 38, no. 1, pp. 142– 158, 2016.
[17]K. E. Van de Sande, J. R. Uijlings, T. Gevers, and A. W. Smeulders, “Segmentation as selective search for object recognition,” in Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011, pp. 1879–1886.
[18]K. He, X. Zhang, S. Ren, and J. Sun, “Spatial pyramid pooling in deep convolutional networks for visualrecognition,” in European conference on computer vision. Springer, 2014, pp. 346–361.
[19]R. Girshick, “Fast r-cnn,” in Proceedings of the IEEE international conference on computer vision, 2015, pp. 1440–1448.
[20]S. Ren, K. He, R. Girshick, and J. Sun, “Faster r-cnn: Towards real-time object detection with region proposal networks,” in Advances in neural information processing systems, 2015, pp. 91–99.
[21]T.-Y. Lin, P. Dollar, R. B. Girshick, K. He, B. Hariharan, and S. J. Belongie, “Feature pyramid networks for object detection.” in CVPR, vol. 1, no. 2, 2017, p. 4.
[22]J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 779–788.
[23]W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, and A. C. Berg, “Ssd: Single shot multibox detector,” in European conference on computer vision. Springer, 2016, pp. 21–37.
[24]T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, “Focal loss for dense object detection,” IEEE transactions on pattern analysis and machine intelligence, 2018.

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
7月8日立即報(bào)名>> 【在線會(huì)議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI的夏天:第四范式VS云從科技VS地平線機(jī)器人