CVPR2020 Oral: 一張照片三維重建你的房間
總 結(jié)
我們提出了一種基于單張圖像的端到端室內(nèi)場景重建方法。此方法對場景理解和網(wǎng)格重建進行聯(lián)合訓練,自動生成房間布局、攝像機姿態(tài)、物體包圍盒和三維網(wǎng)格,以完全恢復房間和室內(nèi)物體的幾何信息。實驗表明,本文的聯(lián)合學習方法顯著地提高了每個子任務的性能,且每個階段的場景解析過程都對其他階段有著潛在的影響。這說明了對所有階段進行聯(lián)合訓練的必要性。本文方法的一個局限是,學習物體的三維網(wǎng)格形狀時,需要用稠密點云進行全監(jiān)督訓練。而在真實場景中獲取較精確的稠密點云需要耗費大量的人力。為了解決這個問題,我們計劃在未來的工作中嘗試自監(jiān)督或弱監(jiān)督的學習方式。
關(guān)于團隊:香港中文大學(深圳)GAP實驗室
該工作由香港中文大學(深圳)GAP實驗室主導完成。GAP實驗室取名于Generation and Analysis of Pixels, Points and Polygons;谏钲谑写髷(shù)據(jù)研究院與香港中文大學(深圳),該實驗室在韓曉光博士的帶領(lǐng)下,致力于探索和解決圖片、視頻及三維內(nèi)容的生成與分析方面的難題,其主要研究方向涵蓋計算機視覺、計算機圖形學和機器學習。
該工作主要由伯恩茅斯大學博士生聶隱愚在GAP實驗室交換期間完成。團隊成員還包括香港中文大學(深圳)研究助理教授韓曉光博士、廈門大學副教授郭詩輝博士、香港中文大學(深圳)博士生鄭玉健及伯恩茅斯大學常建教授與張建軍教授。
References:
[1] Gkioxari, G., Malik, J. and Johnson, J., 2019. Mesh r-cnn. In Proceedings of the IEEE International Conference on Computer Vision (pp. 9785-9795).
[2] Pan, J., Han, X., Chen, W., Tang, J. and Jia, K., 2019. Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks. In Proceedings of the IEEE International Conference on Computer Vision (pp. 9964-9973).
[3] Hu, H., Gu, J., Zhang, Z., Dai, J. and Wei, Y., 2018. Relation networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3588-3597).
[4] Groueix, T., Fisher, M., Kim, V.G., Russell, B.C. and Aubry, M., 2018. A papier-m?ché approach to learning 3d surface generation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 216-224).
[5] Huang, S., Qi, S., Xiao, Y., Zhu, Y., Wu, Y.N. and Zhu, S.C., 2018. Cooperative holistic scene understanding: Unifying 3d object, layout, and camera pose estimation. In Advances in Neural Information Processing Systems (pp. 207-218).

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術(shù)創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
推薦專題