연주의 공부 기록

2.3.2 DDPM의 학습1. DDPM에서의 목표DDPM의 학습 목표는 생성 확률 분포 $p_\theta(x_0)$를 최대화하는 것이다. 하지만 이때 $x_0$​는 관측값이고, 생성 과정에서는 $x_1, x_2, ..., x_T$와 같은 잠재변수(latent variables)가 존재한다.직접적으로 $p_\theta(x_0)$를 계산하기 어렵기 때문에 최대우도추정(Maximum Likelihood Estimation)을 통해 간접적으로 학습하며, 이때 다음과 같이 marginalize(: 어떤 변수 집합에서 일부 변수에 대해 적분을 수행해 없애고, 나머지 변수에 대한 주변 확률분포를 구하는 것. 예: $p(x) = \int p(x, y) \, dy$) 한다:$$p_\theta(x_0) = \int p_\..

깃허브 출처: MarceloGennari/diffusion_mnist: Simple and small implementation of DDPM on the MNIST dataset GitHub - MarceloGennari/diffusion_mnist: Simple and small implementation of DDPM on the MNIST datasetSimple and small implementation of DDPM on the MNIST dataset - MarceloGennari/diffusion_mnistgithub.comcolab에서 git clone 후 diffusion_mnist에 접근 및 파일 목록 확인models/common.py# models/common.pyimport to..

논문 링크: 2006.11239Jonathan Ho발표 자료:https://github.com/user-attachments/files/19634638/Week5_DDPM_.pdfAbstract본 논문에서는 diffusion probabilistic models를 이용한 고품질 이미지 생성(image synthesis) 결과를 제시한다. 이는 비평형 열역학(nonequilibrium thermodynamics)의 개념에서 영감을 받은 잠재 변수 모델(latent variable models)의 일종이다.우리는 denoising score matching과 Langevin dynamics 사이의 새로운 연결 고리를 기반으로 설계된 가중 변분 경계(weighted variational bound)를 통해 모..