POINT NET 리뷰

※ 아이디어를 위주로 논문을 겉핥은 글입니다 오류가 있으면 댓글로 알려주세요※

#1 POINT NET 논문의 의의

POINT CLOUD 이전의 연구들은 POINT CLOUD만을 사용하지 않았는데 POINT NET의 발표 이후 POINT CLOUD만을 DEEP LEARNING에 적용하여 사용할 수 있게 되었음.

 

POINT CLOUD를 이용한 SEGMENTATION및 CLASSIFICATION에 대해 수행하는 네트워크의 기초가 되는 방법으로 POINT CLOUD를 이용한 3D object detection의 발전이 이루어기 시작함.

 

#2 Point cloud DATA란??

1.(x,y,z)의 좌표+extra feature를 갖는 점들로 표현되는 3d geometric data이다.

2.Unordered한 data이다.

3. 점 들 간의interaction이 존재한다.

4.Rigid transformation(translation, rotation등)에 의해 바뀌지 않는다.

 

point cloud

≫ POINT CLOUD DATA를 DEEP LEARNING NETWORK의 input으로 받을 때 가장 큰 고려사항!!!

!!Unordered!!

NETWORK는 순서가 정해져 있지 않은 dataset을 input으로 받아 같은 output을  내어야 하는데 이 방법들에는 약 3가지의 방법이 있다.

 

•sort input into a canonical order

•treat the input as a sequence to train an RNN

•use a simple symmetric function

 

#3 POINT NET

POINT NET ARCHITECTURE

 

POINT NET은 unordered problem을 해결하기 위해서 symmetric function인 max-pooling을 사용하였다. symmetric function를 간단하게 설명하자면 어찌 저찌 순서를 마구잡이로 함수에 넣어도 같은 결과가 나오는 함수라고 생각하면 편할 것 같다. pointnet에서 maxpooling을 사용하는 순서 및 방법은 아래와 같다. 

 

1. n x 64의 행렬에서 모든 n에 대하여 MLP(multi layer perceptron)<weight sharing> 적용

2. 결과로 nx1024의 행렬이 나오게 됨.

3. Max-pooling을 column에 대해 적용

4. 순서에 구애받지 않는 global feature를 추출해 낼 수 있음.

 

symmetric-function 비교 및 결과 확인

symmetric function으로는 max-pooling만이 아니라 average pooling등 많은 종류가 있으나 실험결과 max-pooling이 가장 좋은 결과를 냈기 때문에 max-pooling을 사용하였다.

 

Local and Global Information Aggregation

 

Segmentation의 수행에 있어서는 local feature 에 대한 내용이 필수적인데 classification network를 통해서 training된 feature들은 global feature 뿐이다. 이를 해결하기 위해 symmetry function 이 적용되기 전의 feature 를 global feature와 합쳐 네트워크를 따로 구성해 segmentation에 적용한다.

 

Joint alignment Network

translation 또는 rotation이 되어있는 input을 alingment해주는 과정

 

input transformation and feature transformation

 

 

1. Input Transformation

Input의 feature 를 추출해 rotatio되어 있는 정도나 translation 되어있는 정도를 찾아 3x3행렬로 계산해 준 후 원래 data에 적용하는 것을 보임.

 

2. Feature Transformation

비슷한 과정을 거치나 이 Network에서는 regularization을 loss에 추가하여 주었는데 이는 차원이 더 높은 feature transform이 더욱 orthogonal한 행렬이 될 수 있도록 하게 해준 것이다.

 

 

Experiment

segmentation experiment

point net classification 정확도

기존의 3d CNN보다 높은 성능을 보이는 것을 확인할 수 있다.

 

#4 중요 IDEA

Symmetric function을 이용하여 unordered 된 dataset을 사용할 수 있게 해주었다! 

 

Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 1(2):4, 2017.