[논문 리뷰] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,Shaoqing Ren et.al., NIPS 2015

 Fast R-CNN notable drawback

• Fast rcnn은 Selective Search가 독립적으로 수행되었기 때문에 bottleneck이 발생하였습니다.(region proposal은 CPU연산이고 region-based CNN은 GPU 연산)
• 그래서 detection 네트워크의 성능을 아무리 개선시켜 봤자 Selective Search, region proposals의 시간은 그대로 추가가 되기 때문에 속도를 개선시키지 못한다는 단점이 있었습니다.

 

실시간 추론을 목표로 제안 했기 때문에 매우 빠른 추론이 가능하다

---

1. Faster R-CNN: RPN + Fast R-CNN

그래서 faster rcnn은 Cpu에서 진행되는 Selective search의 방식이 아닌 Region proposal 생성하는 네트워크도 gpu에 넣기 위해 Conv layer에서 Region proposal을 생성시키는 구조로 변경하였습니다.

• Region proposal: selective search(CPU) -> RPN(GPU)
• proposal 단계에서 걸리는 시간을 크게 단축

RPN shares Convolutional layer with Detection Network

• fully convolutional network (FCN)
• end-to-end

 

• Cpu에서 진행되는 Selective search의 방식이 아닌 Region proposal 생성하는 네트워크도 gpu에 넣기 위해 Conv layer에서 Region proposal을 생성시키는 구조로 변경하였습니다.
• Fast R-CNN구조에서 conv feature map과 RoI Pooling사이에 RoI를 생성하는 Region Proposal Network가 추가된 구조로
• RPN은 Detection Network와 Convolutional layer를 공유하는 하나의 네트워크로 일종의 fully convolutional network (FCN)입니다.
• 즉, region proposal 생성을 end-to-end로 학습 가능하다는 것을 알 수 있습니다.

 

RPN 은 attention 모듈과 같이 fast RCNN이 봐야할 곳을 제안

이를 통해 fast RCNN은 제안한 곳에서 detection해준다.

---

2. Architecture

 Module

• RPN: region proposal 을 추출하는 deep fully convolutional network  
• Fast R-CNN detector: 앞서 추출한 region proposal 을 사용해  object detection

---

2.1. RPN

• anchor boxes 이용(various proportions)-  sliding window
• Image -> conv feature map -> sliding window

 

RPN은 region proposal을 뽑아내는 network입니다. 다양한 크기와 비율을 가지는 "anchor" boxes를 이용하는데, 이는 image에서 conv feature map을 뽑아낸 뒤, 해당 map에서 sliding window 알고리즘을 사용합니다. 그렇기 때문에 이를 filter라고도 합니다. 그리고 하나의 filter가 여러 개의 anchor boxes로 변화하게 됩니다

 

 

그 후 이 feature은 2가지 분기로 나뉘게 됩니다.

• 1. 각 proposal들이 물체인지 아닌지 점수를 매기는 부분(왼쪽)이며
• 2. 각 proposal들의 위치를 regression하는 부분(오른쪽)입니다.

여기서 k는 하나의 sliding window에서 나오는 anchor box의 개수입니다. (본 논문에서는 k를 9로 설정했습니다.)

 

---

2.2  Anchor: Translation-Invariant Anchors

• Anchors: scale(128, 256, 512), ratio(1:1, 1:2, 2:1)
• k(9) = scale(3) * ratio(3)

(* multibox의 경우 k-means 방식을 사용-> non-translation Invariant)

 

각각의 sliding window에서, 동시에 여러개의 anchor을 예측하게 되는데, 하나의 ground-truth box 위에 여러개의 anchor가 있는 상황이 생길 수도 있다. 

각 슬라이딩 윈도우의 중앙(빨간 점)으로부터 다양한 크기(128, 256, 512)와 가로세로비(1:1, 1:2, 2:1)를 갖는 anchor box를 9개 생성한다.

 

본 논문에서는 60*40의 크기로 *9하면 2만개정도의 무수한 앵커박스가 생성되는데, 이미지 속의 object가 움직인다면 proposal도 움직이고 예측까지할 수 있어야한다.

 

 

• Anchor: binary label(object)
• ground-truth(실제 object 위치)와의 IoU를 통해 anchor에 label를 부여함
• positive:  IoU > 0.7
• negative: IoU < 0.3
• 다양한 크기의 object detection 가능, 시간 단축

 각각의 anchor에 object인지 아닌지를 구분하는 binary label을 붙여줍니다. 그 기준은 ground-truth(실제 object 위치)와의 IoU를 통해 anchor에 label를 부여한다. Positive는 ground-truth와의 IOU > 0.7 이거나 가장 높을 경우에, Negative는 ground-truth와의 IOU < 0.3 일 경우로 그 외는 학습에 쓰이지 않는다. 이렇게 모든 label을 다 붙인 anchor box의  vector가 만들어진다. 이렇게 고정된 window가 아닌 anchor box를 사용함으로써 다양한 크기의 객체 탐지 가능하다.

---

2.2 RPN 동작

 

• 짧은 부분이 600pixel을 갖도록 600 by 1000 3채널로 받은 후 pre-trained  VGG16 모델을 통해 16으로 나눈 40 by 60 512채널을 feature map을 전달 받아 RPN에 입력한다.
• 3 by 3 sliding window의 anchor boxes를 사용한 convolutional 연산으로 feature map 추출한다. 이때 feature map 크기를 동일하게 40 by 60 로 유지하기 위해서는 padding을 1로 지정해 준다.
• 추출된 feature map에 대한 1*1 convolutional 연산으로 region proposals 추출합니다.
• 2가지로 학습됩니다.
  1. classification layer에서 channel 수는 2 × 9(anchor box 내 object 존재 여부 × anchor box 개수)
  2.  regression layer에서 channel 수는 4 × 9(bounding box 좌표 4개 × anchor box 개수)
• 이렇게 region proposals는 RoI Pooling을 거쳐 Fast R-CNN에 전달됩니다.

---

3. Conclusion

A.PRN + Fast R-CNN

B.PRN: gpu내에서 region proposal 을 실행, "Anchor" 를 도입

C.RPN과 Fast rcnn이 같은 parameter를 공유

D.object detection의 정확도(겹치거나 작은 object에 대한 인식률)와 속도 향상

---

4. Discussion

A.실행시간이 줄어들었다(아직 느리다)

B.실시간 영상처리 등에서 사용하기에 아직 부족하다