[CV] 이미지 인식, Object Detection이란?

기존의 이미지 인식

 

class: car, person

여기 이 사진을 class로 분류한다면 사람과 자동차 이 두가지로 단순하게 분류를 해볼 수 있습니다.

기존에 이미지를 분류한다고 하면 간단하게 그 객체가 무엇인지 알려주었습니다.

 

(multiple) Classification + Localization

object detection은 겹쳐져 있는 대상들과 배경으로 구성된 복잡한  이미지를 보고, 단순히 분류(classify)할 뿐 아니라 서로의 관계까지 고려하는 것입니다.

 

"객체가 무엇인지"만 분류하는게 아니라 "객체가 어디에 있는지"까지 알려주는 것입니다.

 

---

objec detection의 방법 3가지

• Classification, Object Detection, Segmentation

 

1. Single Object
   • Classification: Image Category Recognition (e.g. 강아지, 고양이)
   • Classification + Localization : Object Bounding Box Recognition
     
     • 객체를 분류하고, bounding box로 Regression을 통해 객체의 좌표가 어디에 있는지 찾아 객체가 어디에 있는지나타내 줍니다.이때 한 개의 객체에만 적용된다는 점이 Object Detection과 차이점
2. Multiple Object
   • Object Detection: Classification + Localization
   • Segmentation: Pixel Category Recognition
     • semantic segmentation: 각 해당하는 pixel을 가지고 class로 분류하는 방법
     • instance segmentation: instance까지 구분하는 방법입니다. 즉, edge 윤곽선을 보고 동일한 객체이지만 (고양이 1, 2,..) 이런식으로 instance를 구분해 줍니다.

Object Detection: 기존 Classification 에 multiple 객체를 인지하고, 이에 대한 위치까지 알 수 있는 방법입니다.

---

objec detection

• Multi-Labeled Classification + Bounding Box Regression(Localization)
  • 여러개의 객체에 label을 붙여 Classification, 객체가 무엇인지 판단
  • Regression을 통한 Bounding Box의 좌표를 통해 객체가 어디에 있는지 Localization 판단

A Cat at (x, y, w, h)

---

이미지 인식의 시초: Classification

1. CNN(convolution neural netwotk)

• ~2012, classification

CNN

2012년까지만 해도 이미지 분류 분야에 있어서 당연하게 사용되는 것은 CNN이었습니다.

CNN 이미지 분류하는 방법을 간단하게 보면, 이미지를 입력 받은 후, convolution layer 동작을 보면 커널이 이미지를 지나가면서 연산을 수행하고, 이를 통해, feature map을 생성합니다. 즉, feature를 추출하고 fully connted layer에서 이미지를 분류한다고 생각하시면 됩니다.

 

 

2. CNN의 Object Detection 접근

1. Classification: class(고양이: 0.9, 강아지:0.1, …)
2. multi-Localization(Regression): Region of Interest의 object의 위치
   • Regression: object의 bounding box의 좌표 예측
   • Bounding Box를 다양한 Object 종류에 대하여 찾아줘야 함

그런데 이 방법은 Object Detection 분야에 바로 적용되지는 못했는데요.

왜냐하면 하나의 이미지에서 확률적으로 고양이, 강아지, 이렇게 분류를 해 주는 것이지, 몇개의 object 가 있는지 확실하지 않은 상태에서는 regression을 적용할 수 없기 때문입니다. 이미지 내에 Region of Interest에 object의 위치를 알려주기 위한 Bounding Box를 그려줘야 하고, 다수의 Bounding Box를 다양한 Object 종류에 대하여 찾아줘야 하기 때문에 이미지 분류 보다는 훨씬 복잡한 문제입니다.)

 

따라서 이러한 문제를 해결하기 위해 object가 있을만한 영역을 보도록 하는 방법인 Region proposal 방법이 제시되었습니다.

---

이미지 인식 방법: Region Proposal

대표적인 방법 2가지

• Sliding Window: 모든 object에 동일한 크기(동일한 윈도우 크기, 비율)로 Object 추출
• Selective Search: 유사한 (Color, Texture, Enclosed, ..) Pixel 고려해 Object 위치 파악
• greedy 알고리즘을 이용하여 Region을 계층적 그룹핑 방법으로 계산

window sliding,   seletiv  search

이 object detection을 하기 위해 Region proposal 을 하는 대표적인 방법은 window sliding, seletiv search 알고리즘이 있습니다.

window sliding 알고리즘은 이것은 CNN의 convolution layer에서 커널이 이미지를 지나가는 것을 생각해 볼 수 있습니다. 말 그래로 동일한 크기의 ,window를 지나가면서 object가 있을 법한 영역을 추출해 내는 것입니다. (기존의 CNN에서 이미지를 인식하는 방법이기도 합니다.)

다음으로 selective search 알고리즘이 나왔습니다.

이 알고리즘은 object detection에서 처음으로 CNN을 사용한 R-CNN의 방법으로 사용되기도 하였습니다

bounding box를 그릴때 유사한 픽셀을 고려해 추출하는 방법입니다. 기존의 window sliding과 다르게 유사한 픽셀끼리 그룹핑하고 그 다음 픽셀보다 더 크게 merge하여 Region proposal을 해주는 방법입니다.

---

bounding boxes 추출

여러 개의 bounding boxes가 생성될 경우 주로 사용되는 알고리즘

• NMS(Non-Maximum Supression)
  • object detector이 예측한 여러 개의 bounding box  -> 중복제거
  • IoU(Intersection-over-Union)가 특정 threshold 이상
  • 겹치는 confidence box 중에서 가장 높은 것만 남기는 작업    

NMS

 

그렇게 object가 있을법한 영역을 다 추출했다면, 마지막으로 object detection 알고리즘은 여러 개의 bounding boxes를 생성해 줍니다. 

이 bounding boxes 축소하여 연산량을 줄이고, mAP(성능지표)도 올리기 위해서 NMS 기법을 적용해 object detection을 수행해 줍니다. 간단하게 그림을 통해 보면 object detector이 예측한 bounding box 중에서 정확한 bounding box를 선택해야합니다. 이때 적용하는 기법이라고 보시면 됩니다.

NMS는 IoU가 특정 threshold이상에서 수행하게 되는데,  IoU란 전체 박스 영역 중 겹치는 부분의 비율을 말합니다. (IoU: 간단하게 합집합 중 교집합이라고 생각)

NMS 과정 code

1. bounding box의 confidence score 내림차순 정렬한 후에 (line.2)

2. 가장 confidence score가 높은 bounding box와 IoU가 일정 이상인 boundingbox는 동일한 물체를 detect했다고 판단하여 지운다.

3. 그렇게 최종적으로 object가 있을법한 영역의 bounding box를 추출해 냅니다.

 

---

Object Detection의 발전과정

• 2012년 AlexNet의 등장부터 object detection에는 많은 모델들이 등장하게 되었습니다.
• 크게 classification과 regression을 순차적으로 수행하는 2stage의 CNN 계열과 이를 동시에 수행하는 1stage의 Yolo, SSD 계열로 나눌 수 있습니다.

 

이 외에도 object detection에 사용되는 기법들은 object detection의 발전 과정을 통해서 더 살펴 볼 수 있습니다.

 

 

다음 포스터부터 본격적으로 R-CNN의 논문 및 요약으로 Object Detection를 시작해보겠습니다! 😊