이미지 합성 인공지능 #1

이번 학기 Lab에서는 머신러닝 맛보기를 주제로 프젝 진행하기로 했다

제대로 할 줄 몰라도 일단 부딪혀보고 좌절도 해보고 울어도 보고 ~~~의 루트를 가기로 했다 'ㅅ'

 

다음은 간략히 정리한 자료들

 

 

 

PyTorch?

• PyTorch : GPU 성능 사용하는 Python 기반의 딥러닝 프레임워크이자 ​

               과학 컴퓨팅 패키지​

• Tensor : n차원 배열​

             신경망 구축, 훈련하는데 궁극적으로 사용되는 데이터 구조​

             -> 딥러닝, 신경망에 매우 중요​

• PyTorch와 Tensor 객체는 Numpy n차원 배열 객체에서 생성됨​

  -> PyTorch는 데이터 사이언스 스택과 원활하게 통합됨(Numpy와 흡사)​

​

 

 

PyTorch 사용 이유

1. 사용하기 쉬운 API 개발​
2. Python 지원(과학 컴퓨팅 라이브러리 등)​
3. 수치 알고리즘 개발 용이​
4. 쉬운 확장성​
5. 동적 컴퓨팅 그래픽 생성 위한 프레임워크 제공​
6. 빠른 속도​

Twitter, Facebook, DeepMind 등에서 사용 중​

 

 

 

Semantic Segmentation

이미지 분류 :  

                  이미지가 특정 클래스에 속한다는 것을 알려줌​

                  물체 검출 방법에서 물체의 검출은 이미지 내에서 수행되고​

                  물체 주위에 직사각형을 나타냄​

​

​

이미지 분할 : 동일한 물체 검출 과정이 일어나고 있지만 ​

                  그것의 공간적 위치도 보여줌​

                  이미지를 여러 세그먼트 또는 인스턴스로 분할하는 프로세스​

                  신경망을 훈련시켜 이미지의 픽셀 단위 마스크 출력​

                  낮은 픽셀 수준에서 이미지 이해하는 데 도움 됨

 

 

Semantic Segmentation과 Instance Segmentation​

두 유형의 이미지 세그먼테이션 기술이 주로 사용됨

 

 

 

Semantic segmentation, Instance Segmentation 차이점

semantic segmentation : 같은 클래스에 속하면 각각 독립된 개체라고 하더라도​

                                 하나의 색으로 나타냄​

                                 모든 유사한 클래스가 결합된 상태로 표시됨​

instance segmentation : 같은 클래스에 속하더라도 독립된 개체라면 각기 다른 색으​로 표현​

                                유사한 클래스도 다른 인스턴스로 표시됨

 

 

​

TorchVision

• PyTorch와 함께 사용되는 Computer Vision용 라이브러리​
• 효율적인 이미지 및 비디오 변환을 위한 유틸리티, 일반적으로 사용되는 일부 사전 학습 된 모델 및 일부 데이터 세트 존재

 

 

Torchvision semantic segmentation model 사용해 ​이미지 합성 인공지능 제작

• Torchvision에서 제공하는 semantic segmentation model 2가지​

  1) FCN ResNet101 : mean IoU 63.7​

  2) DeepLabV3 ResNet101 : mean IoU 67.4 ​

  -> 수치가 더 높은 2) 사용​

​

 

 

진행 계획

1. 사람 부분 구별​

2. 사람 사진에서 사람 부분만 분리​

3. 배경에서 사람 부분만 까맣게 처리​

과정 2와 3 더해줌

​

 

응용)​

• 배경만 블러처리해 인물사진화​
• 배경만 그레이스케일​

​

​

​

​

​

​