用于三维形状识别的多视点卷积神经网络

用于三维形状识别的多视点卷积神经网络(中文10000字,英文PDF)
摘要
计算机视觉中一个长期存在的问题是关于识别的三维形状的表示:是否应该使用以原生3D格式运行的描述符来表示3D形状，例如立体像素网格或多边形网络？它们能用基于视图的描述符有效地表示吗?我们在学习如何从二维图像上呈现的视图集合中识别三维形状的背景下解决这个问题。我们首先展示了一个经过训练的标准CNN架构，该架构能够识别形状各自呈现的视图，并展示了三维形状可以被识别，甚至从一个单一的视图，其精度远远高于使用最先进的三维形状描述符。当提供形状的多个视图时，识别率进一步提高。此外，我们提出了一种新颖的CNN架构，它将来自三维形状的多个视图的信息组合成一个单一和紧凑的形状设计程序，提供了更好的识别性能。可以应用相同的架构来准确地识别人形手绘的形状草图。 我们得出结论，2D视图的集合可以为3D形状识别提供高度信息，并且适用于新兴的CNN架构及其衍生产品。