Multi to Single PPR: Unsupervised generation of PPR data from image collections for learning single-image PPR

Abstract

Automatic dense 3D reconstructions has long been a challenge in computer vision, being fundamental for a wide variety of applications, e.g. robotics, object recognition, etc. However, developed algorithms have difficulties in handling poorly textured or specular surfaces slant, etc. To overcome these issues, many authors employ the planarity assumption, since most of these challenges occur in man-made environments which are predominantly composed by planar surfaces. The resulting models have a better accuracy and a lower complexity, which is important for real-time applications rendering. With the advances in deep learning (DL), recovering depth from a single image (SIDE) has become a major research topic in computer vision, achieving recently high performance indicator. Though, these algorithms still have important limitations in terms of accuracy and generalization. Very recently, DL based approaches were proposed for single-image piece-wise planar reconstruction (SI-PPR), requiring a single RGB image and the camera intrinsic parameters for computing a piece-wise planar segmentation and the respective planar equations. These algorithms improve over the performances obtained with the traditional approaches based in geometric reasoning, which usually require multiple-views. However, these approaches require large training datasets and the existing ones are relatively small. For this purpose, we aim to create a new pipeline for PPR data generation that is completely automatic, allowing to generate training data for SI-PPR in an unsupervised manner. The generated data was evaluated and experimentally compared with Ralho’s dataset Ralho, created with a semi-automatic pipeline that requires manual labeling of key frames. At last we re-trained a DL-based SI-PPR approach (PlaneRCNN) and evaluated its performance, proving that it is possible to obtain similar accuracy performance as approaches that require time-consuming manual labeling.

A reconstrução densa 3D tem sido um grande desafio na área de visão por computador, tendo um papel fundamental numa grande variedade de aplicações, e.g. robótica, deteção de objetos, etc. No entanto, os algoritmos desenvolvidos têm algumas dificuldades em lidar com superficies com pouca textura, espelhadas, etc. Para ultrapassar estes problemas, muitos autores têm assumido a geometria planar, sendo que a maior parte destes desafios se encontram em ambientes construídos pelo ser humano, predominantemente compostos por superfícies planares. Os modelos resultantes têm uma maior precisão e são menos complexos, um aspecto importante para a renderização em aplicações de tempo real. Com os avanços em deep learning (DL), a estimativa de profundidade a partir de uma única imagem (SIDE) tem sido um tópico importante na investigação em visão por computador, atingindo mais recentemente, uma alta performance. Contudo, estes algorímtos ainda têm algumas limitações em termos de precisão e generalização. Foram propostas recentemente abordagens para a estimativa de reconstrução planar, a partir de uma única imagem (SI-PPR), sendo que a rede apenas necessita de uma única imagem RGB e dos parâmetros intrínsecos da câmara, processando a segmentação planar e as respetivas equações dos planos. Estes algorítmos superam as abordagens tradicionais baseadas em métodos geométricos que, geralmente necessitam de múltiplas frames. No entanto, estes algorítmos requerem muitos dados de treino, sendo que os mesmos ainda são bastante limitados. Posto isto, pretendemos criar um novo pipeline para geração de dados PPR de uma forma totalmente automática, possibilitando a geração de dados de treino de uma forma não supervisada. Os dados gerados foram analisados experimentalmente comparados com com o dataset do Ralho, criado com um algorítmo semi-automático que requer labeling manual de imagens-chave. Por último, treinámos um algorítmo baseado em DL para a estimativa de PPR a partir de uma única imagem e avaliámos a sua performance, comprovando que é possível obter uma precisão parecida com os resultados obtidos usando métodos que requerem labeling manual, sendo o mesmo demorado.