Self-Supervised Learning을 처음 접했을 때는 단순히 "label 없이 학습하는 기법" 정도로만 생각했다. 하지만 깊이 들어갈수록 SSL은 단순한 기법을 넘어 학습 자체의 본질에 대한 새로운 관점을 제시한다는 것을 깨달았다. 기존의 Supervised Learning이 사람이 제공한 정답을 맞추는 방식이었다면, SSL은 데이터 자체가 갖고 있는 내재적 구조와 패턴을 스스로 발견하도록 유도한다. 마치 아이가 세상을 탐험하며 스스로 규칙을 찾아가는 것처럼, 모델도 pretext task를 통해 데이터의 숨겨진 관계를 학습한다. 이 과정에서 특히 인상 깊었던 것은 Feature Aligning의 개념이었다. 같은 고양이 이미지라도 크기, 각도, 색상이 다르면 완전히 다른 픽셀 값을 갖지만, ..

활동 목표대표적 Diffusion Model 탐구활동 결과1. DDPM (Denoising Diffusion Probabilistic Models)DDPM은 Diffusion Model 연구에 있어 가장 중요한 기반을 다진 모델이다. 이전의 diffusion 모델들이 복잡한 확률적 추론을 요구했던 것과 달리, DDPM은 간단한 신경망이 각 단계에서 추가된 노이즈를 예측하도록 학습하는 방식을 제안했다.핵심 아이디어: DDPM은 순방향 확산 과정에서 추가되는 노이지를 예측하도록 모델을 훈련한다. 이 예측된 노이즈를 사용하여 역박향 과정에서 점진적으로 이미지를 복원한다.단순한 손실 함수: MSE loss function을 사용하여 노이즈 예측 오차를 최소화하는 방향으로 학습이 이루어진다.높은 생성 품질: 단순..

활동 목표Diffusion Model 맛보기활동 결과Diffusion Model이란?Diffusion Model은 이름 그대로 diffusion(확산) 과정을 기반으로 데이터를 생성하는 Generative Model의 한 종류이다. 기존의 생서 모델과는 다른 독특한 방식으로 작동하며, 특히 고품질 이미지 생성 능력으로 주목받고 있다.기존 생성 모델과의 차이점GAN(Generative Adversarial Network)Generator와 Discriminator가 서로 경쟁하며 학습한다. Generator는 실제 같은 데이터를 만드려 하고, Discriminator는 생성된 데이터와 실제 데이터를 구별하려 한다. 이 경쟁을 통해 Generator는 점차 실제 같은 데이터를 만들게 된다. 하지만 학습이 불..