[딥러닝] Segmentation 기법

1. Semantic Segmentation (의미 분할)

"모든 픽셀에 이름표를 붙여주기"

• 정의: 이미지 내의 모든 픽셀을 미리 정해진 범주(Class)로 분류하는 기법입니다.
• 특징: 같은 카테고리에 속한다면 하나의 덩어리로 인식합니다. 예를 들어, 길 위에 사람 3명이 서 있어도 시맨틱 세그멘테이션은 이들을 개별 존재로 나누지 않고 통째로 '사람 영역'이라고 표시합니다.
• 비유: 색칠 공부를 할 때 '사람'은 무조건 파란색, '자동차'는 무조건 빨간색으로 칠하는 것과 같습니다.
• 주요 용도: 자율주행(도로와 인도의 구분), 의료 영상(종양 부위 확인).

2. Instance Segmentation (인스턴스 분할)

"같은 종류라도 '너'와 '나'는 다르다"

• 정의: 시맨틱 세그멘테이션에서 한 단계 나아가, 같은 클래스 안에 있더라도 각각의 개체(Instance)를 따로따로 구분하는 기법입니다.
• 특징: 배경(하늘, 잔디 등)은 무시하고, '물체'에만 집중합니다. 사람 3명이 있다면 '사람1', '사람2', '사람3'으로 각각 다른 ID를 부여하고 경계선을 따냅니다.
• 비유: 번잡한 시장통에서 내가 사야 할 '사과1', '사과2'를 하나하나 따로 봉지에 담는 과정입니다.
• 주요 용도: 물류 로봇의 부품 집기, 인원수 계수 시스템.

3. Panoptic Segmentation (파놉틱 분할)

"이미지의 모든 것을 완벽하게 이해하기"

• 정의: Semantic + Instance의 결합형입니다. 이미지 내의 모든 픽셀을 분류(Semantic)하면서도, 셀 수 있는 물체들은 개별적으로 구분(Instance)합니다.
• 특징: 배경(Stuff: 하늘, 바다, 도로 등)과 개체(Thing: 사람, 차, 동물 등)를 모두 놓치지 않습니다. 딥러닝 이미지 분석의 '끝판왕'이라고 볼 수 있습니다.
• 비유: 사진 한 장을 보고 "저건 하늘이고, 저건 바다인데, 그 앞에 떠 있는 배 3척은 각각 이 위치에 있어"라고 완벽하게 설명하는 것입니다.
• 주요 용도: 고차원 자율주행 상황 인식, 복합 영상 관제.

[비교 분석] 세그멘테이션 3대장: 시각적 이해

위 이미지는 같은 원본 사진을 각기 다른 딥러닝 세그멘테이션 기법으로 분석한 결과입니다.

• A. Semantic Segmentation (의미 분할):
  • 초점: "무엇(클래스)인가?"
  • 세 명의 사람과 자전거를 구분하지 않고 모두 초록색('사람+자전거' 클래스)으로 칠했습니다. 도로(파란색)와 잔디(연두색)도 각각 하나의 영역으로 인식됩니다. 개체가 아닌 범주(Category) 단위로 인식함을 알 수 있습니다.
• B. Instance Segmentation (인스턴스 분할):
  • 초점: "누구(개체)인가?"
  • 배경(도로, 잔디)은 검게 처리하고, 오직 세 명의 사람과 자전거 개체만 분리했습니다. 각각 파란색, 보라색, 주황색으로 구분되어 '서로 다른 세 명'임을 명확히 보여줍니다.
• C. Panoptic Segmentation (파놉틱 분할):
  • 초점: "전체적인 상황은?"
  • A의 범주 인식과 B의 개체 인식 정보를 모두 담고 있습니다. 배경(도로, 잔디)도 의미별로 나누면서, 그 위에 있는 세 명의 사람도 개별적인 색상(하늘색, 빨간색, 노란색)으로 완벽히 분리하여 인식합니다. 가장 완전한 형태의 이미지 이해입니다.

구분	Semantic	Instance	Panoptic
핵심 질문	"이 픽셀의 종류는?"	"이 물체는 누구?"	"전부 다 어떻게 생겼어?"
개체 구분	X (종류별로 묶음)	O (개별 인식)	O (개별 인식 + 배경 분류)
배경 인식	포함 (하늘, 길 등)	제외 (물체에만 집중)	포함 (전체 픽셀 분석)
복잡도	낮음	중간	높음