스테이블 디퓨전을 처음 사용하신다면 잘 오셨습니다. 설치를 마치고 이미지를 만들어 보셨다면, 기존에 보던 이미지와는 달리 퀄리티가 아주 낮아 실망하셨다면 아래 설명을 꼭 읽어보세요. 이번 포스팅에서는 이미지의 퀄리티를 높여주는 스테이블 디퓨전 모델 다운로드 및 적용 방법에 대해 설명드리겠습니다.
스테이블 디퓨전에서 모델이란?
스테이블 디퓨전에서 모델이란, 이미지를 생성하는 데 사용되는 데이터 파일입니다. 이 파일에는 미리 학습된 다양한 이미지가 포함되어 있기 때문에 사용자의 프롬프트에 따라 자연스럽고 고급스러운 이미지를 생성할 수 있습니다.
모델 또는 체크포인트 파일이 스테이블 디퓨전에서 생성되는 이미지의 품질과 스타일에 큰 영향을 미칩니다.
기존에 설치되어 있는 기본 모델 파일로 이미지를 생성 했을 때 품질이 낮아 보이는 것은 학습된 데이터가 적거나 내가 원하는 이미지와 맞지 않아 그럴 가능성이 있습니다.
대부분의 모델 파일은 실사, 애니메이션, 그래픽 등 특정 스타일에 특화되어 있는 경우가 많습니다. 내가 만들고 싶은 이미지에 맞는 모델을 선택해 사용한다면 보다 더 좋은 품질의 이미지를 얻을 수 있습니다.
모델 파일은 어떻게 만드나요?
스테이블 디퓨전 모델 파일을 만드는 것은 굉장히 복잡합니다. 아주 간단하게 설명하자면, 이미지 데이터를 모으고, 컴퓨터가 이 데이터를 이용해 학습할 수 있도록 하는 것으로 두 단계로 나눠 볼 수 있겠습니다.
설명은 간단하지만, 모델을 훈련하기 위해 방대한 양의 고품질 이미지 데이터가 필요하며, 전문적인 지식과 고성능 컴퓨터 또한 필요로합니다.
따라서 초보자가 이렇게 모델을 직접 만드는 것은 효율적이지 않을 수 있습니다. 하지만 전문가 또는 마니아들이 직접 만든 모델을 다운로드하여 적용할 수 있습니다.
스테이블 디퓨전에서 사용되는 모델을 다운로드할 수 있는 웹사이트를 소개합니다. Civitai.com에 들어가 보시면 다양한 모델의 샘플을 확인하고 다운로드할 수 있습니다.
내가 만들고자 하는 이미지에 관련된 모델을 찾고 바로 적용해 볼 수 있기 때문에, 초보자도 쉽게 모델을 검색하고 사용할 수 있습니다.
스테이블 디퓨전 모델 적용 및 다운로드 방법
사이트에 방문해 보시면 다양한 모델 샘플을 볼 수 있을 것입니다. 이 웹사이트에서는 모델 파일 이외에도 다양한 플러그인 요소 또한 다운로드할 수 있습니다. 우선 이번 설명에서는 모델을 다운로드하고 설치하는 방법에 대해서 중점적으로 설명하겠습니다.
Civitai에서 모델 파일 다운로드 받는 방법
- https://civitai.com/에 접속하세요.
- 로그인 또는 회원 가입을 진행하세요.
- 메인 화면에 접속하면 카테고리 중 Model을 클릭해주세요.
- 화면에 사용 가능한 모델의 샘플이 보입니다. 클릭하면 각 모델에 대한 상세 설명에 대해 알아볼 수 있으며, 어떤 종류의 이미지를 위해 학습되었는지 확인할 수 있습니다. (아래 주의 사항 확인)
- 우측 상단의 화살표(아래)버튼을 누르면 다운로드 받을 수 있는 파일명이 보여집니다. 이 파일을 누르면 다운로드가 시작됩니다.
- 다운로드가 완료되면, 내 컴퓨터의 스테이블 디퓨전 웹 UI가 설치된 폴더를 열어주세요.
- 폴더 내 models 폴더를 찾습니다. 그리고 이 폴더 안에 있는 Stable-diffusion 폴더 안에 모델 파일을 넣어주시면 됩니다.
기본 파일 위치: C:\stable-diffusion-webui\models\Stable-diffusion
※ 다운로드 시 주의 사항 ※
모델 파일 중 SDXL 또는 XL이라고 쓰여있는 모델은 웹 UI에서 정상적인 실행이 불가 하거나 파일을 읽어 들일 수 없는 경우가 있습니다.
베이스 모델 버전이 맞지 않기 때문인데, 버전은 모델 상세 설명란에서 확인할 수 있습니다. Base Model: SD 1.5를 확인하시면 됩니다.
스테이블 디퓨전 웹 UI에서 모델 적용 방법
- 웹 UI를 실행시킵니다.
- 메인화면의 좌측 상단에 있는 Stable Diffusion checkpoint를 클릭해 다운로드한 파일을 선택해 줍니다.
- 만약에 파일이 보이지 않는 경우 우측의 새로 고침 버튼을 눌러주세요.
- 그래도 파일이 보이지 않는다면 다운로드한 파일을 정확한 위치에 옮겨 놓았는지 다시 확인해 주세요.
새로운 모델로 이미지 생성
원하는 모델을 다운로드하고 웹 UI에서 적용을 마쳤다면 새로운 모델로 이미지를 생성할 수 있습니다. 기존 모델과 새로운 모델의 차이점을 예시로 들어 설명해 드리겠습니다.
이미지 테스트 해보기
테스트의 프롬프트와 상세설정은 동일하게 진행되었으며, 모델만 변경하였습니다.
“숲 속에 있는 벽이 하얗고 지붕이 검은색인 모던한 집”을 그려달라고 프롬프트를 입력했습니다.
적용된 Prompt: architectural design, modern house, white walls, contrasting black roof, nestled in a dense forest, surrounded by tall trees, soft natural light filtering through the trees, serene, peaceful, large windows, minimalist style,
네거티브 프롬프트(Negative Prompt)는 기본적으로 많이 사용하는 내용을 적용했습니다. 네거티브 프롬프트를 어떻게 사용해야 할 지 모르시겠다면 아래를 복사 하여 이미지를 생성하실 때 사용하셔도 좋습니다.
적용된 네거티브 프롬프트: bad anatomy, blurry, cloned face, cropped, extra arms, extra fingers, extra legs, low quality, lowres, poorly drawn face, watermark, worst quality, signature,
이미지 테스트 결과
하나(왼쪽)는 기본으로 설치되어 있던 모델을 사용하였으며, 다른 하나(오른쪽)는 건축물에 대한 학습이 완료된 모델을 사용하였습니다.
이미지를 비교해 보시면 기존 모델의 집은 품질은 대체로 준수하나 집이 공중에 떠 있거나 비현실적으로 표현되었습니다. 반면 건축 모델의 집은 현실적으로 프롬프트에 부합하고 현실적이며 아름다운 집을 표현했습니다.
마치며
스테이블 디퓨전 모델을 다운로드하고 적용하는 방법에 대해 알아보았습니다. 마지막 테스트 결과와 같이, 모델은 이미지의 품질에 많은 영향을 줍니다.
내가 원하는 이미지에 따라 모델을 검색하여 적용하면, 이미지의 품질이나 스타일에 긍정적인 영향을 줄 수 있다는 것을 기억해 주세요.
또한 직접 모델을 생성하지 않고도 다양한 종류의 모델을 쉽게 다운로드할 수 있기 때문에 다양한 모델을 가지고 직접 테스트해 보시는 것도 좋을 것 같습니다.