酷家乐室内结构化数据集Structured3D入选ECCV 2020

摘要：酷家乐室内结构化数据集Structured3D入选ECCV 2020

近日，欧洲计算机视觉会议ECCV 2020公布了论文录取结果，由酷家乐KooLab团队投稿的室内结构化数据集Structured3D成功入选。ECCV与ICCV、CVPR共称为计算机视觉领域三大国际顶级学术会议，今年ECCV共收到5025篇有效投稿，是ECCV 2018的两倍多，而接受率仅为27%。

《Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling》由酷家乐与上海科技大学、宾州州立大学共同提出。研究者基于酷家乐海量的室内设计解决方案，并结合程序自动提取的房间结构，构建了富有三维结构标注的数据集。基于此数据集，人工智能可以自动从二维图像中提取房间的三维布局结构。

在计算机视觉领域，全局、结构化的3D重建在近些年受到越来越多的关注，它能对场景提供更简洁而鲁棒的恢复与理解，在不同行业有许多潜在应用。然而由于标注成本高昂，之前的工作大多只标注自己感兴趣的结构，并且数据集的规模都比较小；另外，人工标注的质量也良莠不齐。以全景图的房间布局任务为例，目前常用的真实场景数据集都只有如几百张图片，并且均假设房间结构为立方体模型（即房间由六面墙构成，且墙与墙之间相互垂直）。这些因素都极大地限制了机器学习算法的性能。

为了解决以上问题，研究者基于酷家乐专业的室内设计解决方案，如上图所示，同时利用机器从自动提取房间结构，包括: 线段（line segment）、交点（junction）、平面（plane）等这些型元（primitive），和他们之间的关系（relationship），满足立方体（cuboid）和曼哈顿世界假设（Manhattan-world assumption）的平面集合，如下图所示。

随后，研究者选取了3500个不同场景，共计20k房间，并利用酷家乐真实的渲染引擎，得到近两百万图像，以及相应的3D结构化标注，包括不同的装修配置，不同的光照，深度图，语义图。研究者通过实验验证了利用这些合成的具有真实感、结构化的大规模数据能够提升算法在真实场景的预测结果。

众所周知，家居板块是个复杂、繁琐、重人工的行业，亟需科技和互联网的助力降本增效。这篇论文主要基于酷家乐的核心技术研究室内结构化数据集，将为酷家乐人工智能技术在家居行业的应用落地带来实际应用价值。

为了推动该领域的发展，酷家乐在ECCV 2020还参与组织Holistic Scene Structures for 3D Vision Workshop与Holistic 3D Vision Challenge。组织者基于Structured3D数据集提出了室内布局估计竞赛，不同于现有方法，竞赛中的算法需要能够不依赖于房间布局的假设从而预测更一般化的房间布局结构。该研讨会和竞赛由宾州州立大学的周子寒教授、西蒙弗雷泽大学的Yasutaka Furukawa、加州大学伯克利分校的马毅教授、上海科技大学的高盛华教授，联合酷家乐和字节跳动AI Lab等机构举办。

竞赛结果提交截止日期为7月31日，获奖团队名单将于8月7日公布，挑战赛获奖的团队将邀请至8月份线上召开的ECCV 2020 Holistic 3D Vision Workshop上汇报展示。

无论是本次入选的论文，还是组织Holistic 3D Workshop和Holistic 3D Vision Challenge，酷家乐的宗旨是希望与顶尖业界和学术界研究者深入交流，共同探讨当前人工智能技术的边界，关注并解决室内、室外场景几何布局理解问题，进而引领该研究方向，同时推动学术研究成果在实际业务中的应用。

标签：