[OUTTA Alpha팀 논문 리뷰 요약] Part 1-1. UNet++ : A Nested U-Net Architecture for Medical Image Segmentation

논문 링크 : [1807.10165] UNet++: A Nested U-Net Architecture for Medical Image Segmentation

UNet++: A Nested U-Net Architecture for Medical Image Segmentation

 

OUTTA 논문 리뷰 링크 : [2024-2] 김경훈 - UNet++ : A Nested U-Net Architecture for Medical Image Segmentation

[2025-1] 한영웅, 전윤경 - UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation (IEEE 2019)

[2025-1] 한영웅, 전윤경 - UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation (IEEE

[2024-2] 김경훈 - UNet++ : A Nested U-Net Architecture for Medical Image Segmentation

 

---

1. U-Net 

• 분류(Category):
  • Image Classification
  • Detection
  • Segmentation (U-Net이 주로 다루는 분야)
• U-Net:

 

• End-to-End 방식의 Fully Convolutional(FCN) 기반 모델
• 주로 의료영상(Medical Imaging) 분야에서 세그멘테이션을 위해 제안됨
• 구조상 크게 2가지 경로로 구분
  1. Contracting Path(수축 경로)
     • 일반적인 CNN 아키텍처와 유사한 구조
     • 이미지의 픽셀 차원을 점진적으로 축소(Pooling 등) → 의미(Context) 있는 정보 추출
  2. Expanding Path(확장 경로)
     • 축소된 정보를 원본 해상도로 복원(Upsampling)
     • 수축 경로에서 추출된 Feature(의미정보) + 각 Layer에서의 위치정보(피처맵)를 Skip-Connection으로 합쳐서 복원
     • U-Net에서의 Skip-Connection은 Channel 차원으로 Concatenate 수행

• Contracting Path 과정:
  • 총 4번의 DownSampling
  • 각 DownSampling 사이에는 3×3 Conv 2번 후, Stride=2 Pooling
  • Feature map 크기는 1/2씩 축소, 채널 수는 2배씩 증가
  • 여러 층을 거쳐 Bottle Neck 구간 형성
• Expanding Path 과정:
  • Upsampling 시 위치정보 손실 발생
  • 이를 보완하기 위해 수축 경로의 Feature map을 확장 경로로 직접 전달(Skip)
  • Skip-Connection 시에는 Add가 아니라 Channel Concatenate 사용

---

2. U-Net++

• U-Net과 다른 점은 크게 2가지
  1. Re-designed skip pathways
     • DenseNet Dense Connection아이디어 차용
     • 동일 해상도(수평) + 다른 해상도(수직) 노드와 다중 스케일 특징 융합
     • Encoder(수축 경로)와 Decoder(확장 경로) 간의 Semantic Gap을 줄여줌
     • 결과적으로 더 풍부한 특징 학습 및 분할 성능 개선
  2. Deep Supervision
     • Decoder 단계의 각 브랜치(빨간 선 표시) 출력들을 평균해 최종 결과로 사용
     • 디코더 여러 노드에서 직접 출력(보조 분할 결과) → 학습 시 보조 손실 추가
     • 추론 시 특정 노드 출력만 사용해 모델 크기 조절 가능
       • Model Pruning
         • Deep Supervision 덕에 디코더 일부 경로를 제거 가능
         • 추론 과정에서 가장 성능이 좋은 노드만 활용 → 계산량 절약
         • 정확도와 속도 사이의 유연성 제공
• U-Net++ 구조

 

• 그림상 검은색 동그라미와 선: 기존 U-Net 구조
• 파란색·초록색 선: U-Net++에서 추가된 아이디어(재설계된 Skip-Pathway)
• 여러 수준(Semantic Level)에서의 Feature map을 활용하여 성능 향상

Skip Pathway 재설계

 

• 기존 U-Net은 예: $X^0_0 \rightarrow X^0_4$ ​ 의 단일 Skip-Connection
• U-Net++에서는:
  • $X^0_0$과 Upsampling된 X01X^1_0X01​을 Concatenate해 $X^0_1$ ​생성
  • 이어 $X^0_1$과 Upsampling된 $X^1_1$을 다시 Concatenate → $X^0_2$ 형성
  • 이런 식으로 Encoder ↔ Decoder 간 의미 차이를 점진적으로 줄여줌

Deep Supervision

• 여러 Semantic Level(논문 예시에서는 4개) 각각의 Feature map으로 출력값을 생성
• 이들을 평균 내어 최종 결과로 예측
• 훈련 시에만이 아니라 추론 시에도 여러 레벨을 혼합해 사용할 수 있음

Loss 함수

• Cross-Entropy + Dice Loss 혼합
• 클래스 불균형 및 세밀한 분할 성능 개선
• Dense Connection을 통해 다양한 해상도·단계 피처 반영
•  

  

  디코더 노드 계산

• 

  혼합 손실 함수

---

결과 및 비교

• UNet++ 모델 성능:
  • 의료 영상 세그멘테이션에서 U-Net 대비 더 깔끔하고 정확하게 분할
  • 논문 실험 결과, UNet++이 기존 U-Net보다 성능 우수함