[라즈베리파이] 직접 쓴 숫자를 인식하는 딥러닝 기술: 2. 손글씨 인식 test

사진은 RGB로 nois가 존재한다. 이는 배경과 글씨를 분리하기 위해 필터링 작업을 거친다. 

width: 523 pixels height: 184 pixels channels: 3

 

1. hsv(hue, saturation, value): value를 확인해 보았다. 

• hsv transform - value = gray image
• hue: 색상, saturation: 채도, value: 명도

hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
hue, saturation, value = cv2.split(hsv)
plt.imshow(value)

 

2. kernel to use for morphological operations

# filter: boundary를 찾아내는 것
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))

 

CV2.MORPH_TOPHAT, CV2.MORPH_BLACKHAT: 외각선

# applying topHat operations / image의 외각선을 찾아낸다.
topHat = cv2.morphologyEx(value, cv2.MORPH_TOPHAT, kernel)
plt.imshow(topHat)

# applying blackHat operations
blackHat = cv2.morphologyEx(value, cv2.MORPH_BLACKHAT, kernel)
plt.imshow(blackHat)

• 처리 방법
  • blur
  • GaussianBulr
  • medianBlur
  • bilateralFilter

 

3. 숫자 인식

# 숫자가 2개, 3개,, 
img_digits = []
img_origin = img.copy()
margin = 10
epochs= 10

# loop to check if any (possible) contour is found
# contours: 윤곽선을 가져온다. 
for contour in contours:
  x, y, w, h = cv2.boundingRect(contour)
  # Ignore if image is too small
  if w * h < 100: continue
  #Y and X [y-margin:y+h+margin, x-margin:x+w+margin]
  img_digits.append(img_origin[y-margin:y+h+margin, x-margin:x+w+margin])
  cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2) #(0, 255, 0): rgb, 2: 두께
  print(x,  x+w, y, y+h)
plt.imshow(img)

모델에 들어가는 size를 28 by 28로 맞춘다

SZ = 28

for i in range(0, len(img_digits)):
    plt.subplot(1, len(img_digits), i+1)
    plt.imshow(cv2.resize(img_digits[i], (SZ, SZ)), cmap='Greys', interpolation='nearest')
plt.tight_layout()
plt.show()

 

첫 번째가 7이 아니라 3으로 예측이 되었다.

이 경우 나중에 다시 살펴봐야 겠다