[DL] Faster R-CNN 네트워크 세부 구성

R-CNN(Regions with CNN features)이 어떻게 작동하는지 자세히 설명하겠습니다.

 

1. R-CNN (Girshick et al. 2013)*
2. Fast R-CNN (Girshick 2015)*
3. Faster R-CNN (Ren et al. 2015)*

 

---

Section 1: Image Pre-Processing

R-CNN 주요 문제

1. ROI(Region Proposal Interest) 식별: 이미지에서 개체
2. ROI(Region Proposal Interest) : class 확률 분포 계산(ROI에 calss의 개체가 포함될 확률), 분류 결과 확률이 가장 높은 class 선택 

 

 

---

Section 2: Network Organization

1. Head
2. Region Proposal Network (RPN)
3. Classification Network

 

Faster R-CNN은 사전 훈련(pre-trained)된 네트워크의 처음 몇 레이어를 사용하여 입력 이미지에서 유망한 기능을 식별

- 네트워크의 처음 몇 개의 계층은 다양한 문제에 걸쳐 특징을 잘 구별하는 에지 및 색상 얼룩과 같은 일반적인 특징을 감지

- 나중 계층에서 학습한 기능은 더 높은 수준의 문제별 기능입니다. 

 

 이러한 레이어는 제거되거나 이러한 레이어의 가중치가 역전파 동안 미세 조정될 수 있습니다. 

 

1) 사전 훈련된 네트워크에서 초기화된 처음 몇 개의 레이어는 "Head" Network를 구성합니다. 

2) 그런 다음 Head Network에서 생성된 Convolution feature map은 일련의 컨볼루션 및 FC layer를 사용하여 전경 객체를 포함할 가능성이 있는 유망한 ROI를 생성하는 Region Proposal Network(RPN)를 통과합니다(위에서 언급한 문제 1). 

 

 이러한 유망한 ROI는 Head Network에서 생성된 feature map에서 해당 영역을 Crop하는 데 사용됩니다. 

이것을 "Crop pulling"이라고 합니다. Crop pulling에 의해 생성된 영역은 각 ROI에 포함된 개체를 분류하는 방법을 학습하는 Classification Network를 통과합니다.

 

 

Network Architecture

 

 

---

Section 3: Implementation Details (Training)

Training의 목표는 RPN 및 Classification Network의 가중치를 조정하고 Head Network의 가중치를 미세 조정하는 것입니다. (이 가중치는 VGG와 같은 사전 훈련된 네트워크에서 초기화됨)

 

RPN 네트워크의 작업은 유망한 ROI를 생성하는 것

분류 네트워크의 작업은 각 ROI에 객체 클래스 점수를 할당하는 것

 

따라서 이러한 네트워크를 훈련하려면 해당하는 ground truth, 즉 이미지에 있는 객체 주변의 경계 상자 좌표와 해당 객체의 클래스가 필요합니다.

 

이 기본 정보는 각 이미지에 대한 주석 파일과 함께 제공되는 이미지 데이터베이스를 무료로 사용하는 데서 비롯됩니다. 

이 주석 파일에는 경계 상자의 좌표와 이미지에 있는 각 객체에 대한 객체 클래스 레이블이 포함됩니다(객체 클래스는 미리 정의된 객체 클래스 목록에서 가져옴). 이러한 이미지 데이터베이스는 다양한 객체 분류 및 감지 문제를 지원하는 데 사용되었습니다. 일반적으로 사용되는 두 가지 데이터베이스는 다음과 같습니다.

데이터셋

• PASCAL VOC: VOC 2007 데이터베이스에는 20개의 객체 클래스에 대한 24,640개의 주석과 함께 9963개의 교육/검증/테스트 이미지가 포함되어 있습니다.
  • 사람:  사람
  • 동물:  새, 고양이, 소, 개, 말, 양
  • 차량:  비행기, 자전거, 보트, 버스, 자동차, 오토바이, 기차
  • 실내:  병, 의자, 식탁, 화분, 소파, TV/모니터

• COCO(Common Objects in Context): COCO  데이터셋은 훨씬 더 큽니다. 여기에는 90개의 개체 범주가 있는 200K 이상의 레이블이 지정된 이미지가 포함되어 있습니다.

Faster R-CNN은 작은 class를 갖고 있는 PASCAL VOC 2007 데이터 세트를 사용

 

 

Faster R-CNN 훈련을 위한 구현 세부 정보

 

• Anchor Generation Layer: 이 레이어는 먼저 서로 다른 scales과 aspect ratios의 9개 anchors를 생성한 다음 입력 이미지에 걸쳐 있는 균일한 간격의 grid 점에 걸쳐 변환하여 이러한 anchors를 복제하여 고정된 수의 "anchors"(bounding box)를 생성합니다.
  
  
• Proposal Layer: bounding box regression coefficients에 따라 anchors를 변환하여 변환된 anchors를 생성합니다. 그런 다음 anchors가 foreground 영역일 확률을 사용하여 NMS(non-maximum suppression)를 적용하여 anchors 수를 제거합니다.
  
  
• Anchor Target Layer: anchors 대상 레이어의 목표는 "좋은" anchors 세트와 해당 foreground/background 레이블 및 대상 regression coefficients 를 생성하여 RPN를 훈련시키는 것입니다. 이 계층의 출력은 RPN 네트워크를 훈련하는 데만 사용되며 Classification 계층에서는 사용되지 않습니다. 
   주어진 앵커 세트(앵커 생성 레이어에서 생성, 앵커 대상 레이어는 유망한 전경 및 배경 앵커를 식별합니다. 유망한 전경 앵커는 일부 ground truth box와 겹치는 것이 threshold보다 높은 것입니다.
  background box는 어떤 것과도 겹치는 것입니다. ground truth box는 threshold보다 낮습니다.앵커 타겟 레이어는 또한 Bbox 회귀자 세트를 출력합니다. 즉, 각 앵커 타겟이 가장 가까운 Bbox로부터 얼마나 멀리 떨어져 있는지 측정합니다.
  
  
• RPN Loss: RPN loss function는 RPN 네트워크를 훈련시키기 위해 최적화하는 동안 최소화되는 메트릭입니다. loss function는 다음의 조합입니다.
  • foreground/background 으로 올바르게 분류된 RPN에 의해 ​​생성된 Bbox의 비율
  • 예측된 회귀 계수와 대상 회귀 계수 사이의 일부 거리 측정값입니다.
• Proposal Target Layer: proposal target layer의 목표는 proposal 레이어에서 생성된 앵커 목록을 정리 하고 분류 레이어를 훈련하여 좋은 클래스 레이블 및 회귀 대상을 생성하는 데 사용할 수 있는 클래스별 경계 상자 회귀 대상을 생성하는 것입니다.
  
  
• ROI Pooling Layer: 제안 대상 레이어에서 생성된 영역 제안의 경계 상자 좌표가 주어지면 입력 기능 맵을 샘플링하는 공간 변환 네트워크를 구현합니다. 이러한 좌표는 일반적으로 정수 경계에 있지 않으므로 보간 기반 샘플링이 필요합니다.
  
  
• Classification Layer:  분류 계층은 ROI 풀링 계층에서 생성된 출력 기능 맵을 가져와 일련의 컨볼루션 계층을 통해 전달합니다. 출력은 완전히 연결된 두 개의 레이어를 통해 공급됩니다. 첫 번째 레이어는 각 지역 제안에 대한 클래스 확률 분포를 생성하고 두 번째 레이어는 클래스별 경계 상자 회귀기 세트를 생성합니다.
  
  
• Classification Loss:  RPN 손실과 유사하게 분류 손실은 분류 네트워크를 훈련하기 위해 최적화하는 동안 최소화되는 메트릭입니다. 역전파 동안 오류 기울기는 RPN 네트워크에도 흐르므로 분류 계층을 훈련하면 RPN 네트워크의 가중치도 수정됩니다. 이 점에 대해서는 나중에 더 할 말이 있습니다. 분류 손실은 다음의 조합입니다.
  • (올바른 객체 클래스로) 올바르게 분류된 RPN에 의해 ​​생성된 경계 상자의 비율
  • 예측된 회귀 계수와 대상 회귀 계수 사이의 일부 거리 측정값입니다.

이제 이러한 각 레이어를 자세히 살펴보겠습니다.

---

Section 4: Implementation Details (Inference)

 

---

 

Appendix

 

 

 

 

참고: TELESENS. Ankur