[논문 리뷰] Fast R-CNN: Ross Girshick, ICCV 2015

R-CNN notable drawback

1.Training is a multi-stage pipeline
2.The image was forcibly warped to a size of 224x224
3.No back propagation
4.Training is expensive in space and time(disk, 2.5 GPU-days)

 

• 2000개의 Image Proposal 후보를 모두 CNN 모델에 집어 넣기 때문에, training, testing 시간이 매우 오래 걸림.
• AlexNet을 그대로 사용하기 위해 Image를 224x224 크기로 강제로 warping 시켰기 때문에 이미지 변형으로 인한 성능 손실이 존재
• 뒷 부분에서 수행한 Computation을 Share하지 않는다. (No Back Propagation)
• Selective Search나 SVM이 CPU를 사용하였으며, GPU 사용시 2.5일 정도 걸리고 feature map을 매번 disk에 저장해서 메모리도 많이 사용한다는 단점이 존재

---

1. Fast R-CNN Related Work: SPPnet

SPPnet: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition, Kaiming He et.al. ECCV 2014

Insight : CNN input is not fixed

그리고 1년 후 2014년 R-CNN의 단점을 보완한 SSP Net이 나왔다. 핵심 아이디어는 Fc layer가 고정된 것. CNN의 입력이 고정된 것이 아니다

 

 

 SPPnet: RoI pooling(고정된 크기의 feature map)

• Convolution 연산: 2000번 -> 1번
• Spatial pyramid pooling- 다수의 pyramid level 사용
• Training is still a multi-stage pipeline(SVM, CNN, ..)

 이전 R-CNN과 다르게 Selective Search를 통한 각각의 RoI를 Conv연산 하는 것이 아닌, 입력 image 자체를 Conv연산을 수행한다. 따라서 한번의 Conv연산만 수행하고, pooling 연산을 수행할 feature map을 얻는다.

 

즉, 2000번 CNN하지 않고 1번의 CNN을 통해 시간을 줄여주었으며, Selective Search의 경우 RoI 영역이 각각 다른 크기를 가지고 있다. 이 크기를 맞춰주기 위해 RoI Pooling을 수행한다.

 

 과정은 입력 image의 크기보다 작아진 feature map에서 RoI의 영역을 알기 위해 projection시켜주는데, RoI의 위치(좌표 및 높이,너비)와 입력 image와 feature map의 크기의 비율을 고려해 feature map에서 RoI 영역을 지정한다.

 이렇게 feature map에 축소된 RoI에 Spatial pyramid pooling을 수행하게 된다.

이렇게 미리 지정한 크기의 sub-window에서 max pooling을 수행하다보면 region proposal의 크기가 서로 달라도 고정된 크기의 feature map을 얻을 수 있다.

 

 그 후 진행방향은 R-CNN과 동일하게 진행됩니다. 그렇기 때문에 SVM, CNN, 등 여러 모델을 계속 사용하였고, 이는 R-CNN의 back propagtion이 진행되지 않는다는 단점을 해결하지는 못했습니다. 

 

---

2. Architecture

• Approach: similar to the SPPnet algorithm
• feed the input image to the CNN to generate a convolutional feature map

 

 이 back propagation 문제를 해결하기 위해, 더 빠른 속도와 mAP 성능을 높인 2015년 Fast R-CNN이 나오게 되었다.

접근방식은 SPPNet과 유사하나, CNN에 region proposals을 제공하지 않고,  CNN에 input 이미지를 제공하여 convolution feature map을 생성한다.

 

과정

1) 먼저 Input Image에서 selective search를 통해 2000개의 RoI를 구한 후,

2) CNN으로 나온 convolution feature map에 RoI 좌표값을 Projection시켜준다.
3) 그 후에  Projection 한  Feature Map(Bounding Box)들을 Fully-Connected Layer에 보내질 수 있도록 RoI Pooling을 진행하여 고정된 크기의 Feature Vector로 재구성한다.
4) 그 후 softmax classifier로 학습 시키고 bounding box regressors로 학습시켜 클래스와 bounding box를 예측한다.

 

---

3. Main method

1.RoI pooling: Spatial Pyramid Pooling에서 한 pyramid level을 사용하는 경우와 동일

2.Multi-task loss: classification loss + bounding box regression loss

• RoI Pooling을 적용하여 feature vector를 구한 과정과 동일하게 진행된다.
• 이후 back propagation을 해결한 방법인 Multi Task Loss를 사용하였습니다.
• 이는 앞서 구한 RoI feature vector로 classification과 bounding box regression의 loss를 합친 후, back propagation하여 전체 모델을 학습시키는 방법이다.
• 이렇게 ROI pooling을 통해서 값이 나오면 각각에 대한 classification loss와 regression loss의 합쳐 multi-task loss를 통해서 전반적으로 back propagation을 수행할 수 있게된다.

---

4. Conclusion

A.Convolution operation: done only once per image

B.Training is single-stage: using a multi-task loss

C.Training can update all network layers: Backpropagation

• single-stage로 진행되는 학습으로 multi-task loss를 사용해 모든 파라미터를 업데이트 할 수 있습니다. 즉, Backpropagation(역전파)이 가능해졌습니다.
• (CPU로 수행하며 학습되지 않기 때문에 1-Stage Detector는 아님)
• 저장 공간이 필요하지 않음

---

 5. Discussion

A.Selective Search: CPU - 2-Stage Detector

R-CNN이나 SPP-net에 비하면 뛰어난 성능을 보이지만, 아직도 Region Proposal에 사용되는 Selective Search가 GPU가 아닌 CPU를 사용하는 알고리즘으로 느리다는 점입니다.