실시간 얼굴 감정 인식 #1

결국 이 프젝을 하게 되는구나ㅇㅡㅇ

얼굴 감정 인식의 주요 방법

1. 카메라 기반 기술
-이미지 입력
-딥러닝 모델
-인식 문제
화남은 명백히 인식 가능하지만 그 상황에 내가 완전히 화나지 않았을 수도 있고
만약 화나있다고 해도 얼마나 화가나있는지 그 감정의 깊이까지는 확실히 인식 불가
-> 바이오 시그널 활용
intensity 활용해 얼마나 화가나있는지 분석 가능

2. 바이오 시그널 | 신체 반응 이용
심작박동수 등

1번 카메라 기반 기술로 진행

7개의 감정
0: 화남
1: 역겨움
2: 공포
3: 행복함
4: 슬픔
5: 놀람
6: 무표정

데이터셋

FER 2013 - Kaggle

물론 흰 배경에 아무 노이즈가 없는 사진을 이용하면 잘 인식되겠지만
현실에서는 그런 상황이 잘 없기 때문에 우리가 활용할 데이터셋중에도 노이즈 많은 데이터도 있어야 함

구글 기반의 데이터셋이기 때문에 다양한 현실적인 이미지들이 많음

문제 1)
'역겨움'에 해당하는 데이터셋이 다른 카테고리의 데이터셋에 비해 현저히 적음

sol: data augmentation을 통해 해결 가능
부족한 데이터를 증가시키는 방법 활용

원래 있던 데이터를 rotate | scale 하는 등의 방법!
Data augmentation



문제 2)
데이터의 질 - intra-/inter-class variability

데이터의 질에 따라 머신러닝을 통한 분석 결과 바뀜

cf)
Intra- 클래스 내부 분산이 어떠냐
Inter- 클래스간 분산이 어떠냐

참고: https://pubdata.tistory.com/141

클래스별로 잘 구분되는 것, 클래스 내부에 서로 뭉쳐있는 것이 좋음

sol: Avoid Overfitting



그 외 문제들)
- 얼굴 이미지에 손이 올라가 있는 경우
- 얼굴과 배경 대조가 불분명한 경우
- Eyeglasses 등을 착용하고 있는 경우

방법론

대부분 데이터를 학습 시킬수록 정확도 올라감

Up sample Using bi-linear interpolation
48x48 -> 244x244
Up sampling

Tools using

- 아나콘다 설치
- IDE : google colab
- Tensorflow
- Opencv