AI 이미지 생성의 원리: 디퓨전 모델 실무자 해설

AI 이미지 생성의 원리: 디퓨전 모델 실무자 해설

모델 내부를 몰라도 이미지는 만들 수 있지만, 결과가 무너졌을 때 복구는 원리를 아는 쪽이 더 빠릅니다. 이 글은 “프롬프트를 쓰는 사람이 알아야 할 최소한”으로 좁혀서 설명합니다.

디퓨전 모델의 3단계

1. 노이즈 추가: 학습 단계에서 원본 이미지를 조금씩 열화
2. 복원 학습: 열화된 이미지를 원래대로 돌리는 방법을 학습
3. 순수 노이즈에서 생성: 실행 시 랜덤 노이즈를 복원해 이미지 생성

잠재 공간이라는 지도

모델은 이미지를 직접 다루지 않고 압축된 “잠재 공간”에서 동작합니다. 의미가 가까운 것끼리 가까이 놓이므로, 프롬프트에서 “서로 가까운 단어”를 맞춰 쓰면 결과가 덜 무너집니다.

CFG(가이던스 스케일)

프롬프트에 얼마나 충실할지를 정하는 다이얼입니다. 낮으면(3~5) 자유, 높으면(9~12) 프롬프트 충실. 인물·구도가 무너질 때는 7~8로 낮추면 개선됩니다.

시드의 의미

난수 씨앗. 같은 시드 + 같은 프롬프트 = 같은 결과. 차분 확인, 시리즈 색조 안정화에 씁니다.

무너졌을 때 대처

• 손이 이상: 포즈 지정 + 네거티브 “extra fingers, fused hands”
• 전체가 흐림: CFG 낮추기 · 스텝 28~32로 조정
• 프롬프트 무시: CFG 올리고, 핵심 단어를 앞쪽에 배치

관련 글

• 프롬프트 엔지니어링 입문
• AI 아트의 일관된 캐릭터
• AI 아트 색채 이론