이미지 품질 업그레이드 방법 (LoRA, VAE, Embedding)

스테이블 디퓨전을 설치하고 옵션과 모델을 적용하는 방법까지 배워보았습니다. 이제 이미지 품질 업그레이드를 효율적으로 적용 할 수 있는 방법에 대해 이야기해 보겠습니다. 스테이블 디퓨전을 살펴보면 LoRA, VAE, 또는 Embedding과 같은 단락을 확인해 보셨을 겁니다. 이것들은 도대체 무엇이며 어떤 기능이 있는걸까요? 이제부터 자세히 알아보겠습니다.

이미지 품질 업그레이드 하기(LoRA, VAE, Embedding)

내가 원하는 이미지에 맞는 모델과 업스케일링 등의 옵션 설정으로 원하는 이미지를 생성하는 법 까지 알고 계신다면, 이미지 품질 업그레이드를 효율적으로 할 수 있는 기능인 LoRA, VAE, 그리고 Embedding에 대하여 알아볼 차례입니다.

이 기술을 사용하면 단순히 이미지의 해상도를 높이는 것을 넘어서, 이미지에 깊이와 섬세함을 추가할 수 있습니다. 이를 통해 이미지가 어떻게 더 생생하고 현실적으로 변화할 수 있는지 그리고 이 과정에서 이 기술들이 어떤 중요한 역할을 하는지 알아보겠습니다.

LoRA(Low-Rank Adaption)란 무엇인가요?

LoRA(로라)는 미리 학습된 모델을 새로운 목적에 맞게 빠르게 조정할 수 있는 일종의 플러그인 입니다. 모델 전체를 다시 훈련시키는 대신, 로라를 통해 원하는 중요한 부분만 조금 더 디테일 하게 바꿀 수 있습니다.

로라를 사용하면 모델을 빠르고 효율적으로 새로운 스타일이나 특정 요구 사항에 맞게 작업에 적용할 수 있습니다.

예를 들면, 호텔 건물의 인테리어를 바꾼다고 생각하면 좋습니다. 호텔 건물을 철거하고 새로 짓는 대신, 특정 내부 공간의 가구나 벽지만 새로 꾸며 전체 분위기를 바꾸는 것과 같은 원리로 생각하시면 됩니다.

LoRA 적용 방법

LoRA는 Civitai 웹사이트에서 쉽게 다운로드 할 수 있으며, 종류가 매우 다양합니다. 모델 파일에 비해 용량이 작으며, 내 이미지에 적용하기 위해서 아래와 같은 방법을 따라야합니다.

1. Civitai 웹사이트에 방문하여 LoRA를 검색합니다.
   
2. LoRA를 다운로드하고 stable-diffusion-webui/models/Lora에 저장합니다.
   
3. 스테이블 디퓨전 웹 UI를 실행합니다.
   
4. LoRA 카테고리에서 내가 다운로드한 파일을 선택합니다.
   (LoRA는 여러개를 한번에 선택하여 적용할 수 있습니다.)
   
5. 선택한 다음 프롬프트창에서 다음과 같은 문구를 확인하실 수 있습니다.
   <lora: 파일명: 숫자>
   
6. 이는 선택한 LoRA가 이미지 생성에 등록되었다는 것을 의미합니다.
   괄호 안의 숫자는 선택한 LoRA가 생성될 이미지에 얼마나 영향을 미치게 할 것인지를 나타내는 숫자입니다. 기준 값은 1로 0.5또는 1.2와 같이 원하는 대로 변경이 가능 합니다.
   
7. 특정 LoRA파일은 트리거(Trigger)가 되는 단어가 있습니다. 이 단어를 프롬프트창에 입력하면 확실한 적용이 가능하며, 이것을 쓰지 않아도 적용 되는 경우도 있습니다.
   
8. 프롬프트와 LoRA가 적용이 되었다면 이미지 생성 버튼을 눌러 확인합니다.

VAE(Variation Autoencoder)란 무엇인가요?

VAE는 이미지의 데이터를 간단한 형태로 압축하여 학습했다가, 그 압축된 정보로 부터 새로운 이미지를 만들어 내는 기술입니다.

VAE는 데이터의 핵심 특징을 포착하여 저장한 다음 이를 바탕으로 새로운 데이터를 생성할 수 있는 기술로써 창의적인 이미지 표현에 매우 유용합니다.

예를 들면, 요리사가 여러 재료를 혼합하여 새로운 요리를 만들어 내는 것과 비슷합니다. 한식에 들어가는 마늘, 고추가루, 간장 등에 대한 정보를 갖춘 다음 여러가지 불고기의 맛을 내는 것 처럼 기본적인 특성을 이해하여 새로운 결과를 만들어 낼 때 사용됩니다.

그러나 대부분의 경우 VAE가 소프트웨어 안에 내장되어 있는 경우가 많습니다. 기본적인 모델 설정과 옵션값을 정한다음 만족스러운 결과를 얻으셨다면 크게 신경쓰시지 않아도 되는 부분이긴 합니다.

하지만 인물의 눈과 같은 세밀한 부분이 올바르게 생성되지 않거나 이미지의 품질이 떨어져 보이신다면 VAE를 활성화 시켜 보시는 것을 추천합니다.

VAE 적용 방법

VAR도 마찬가지로 Civitai 웹사이트에서 다운로드 받으실 수 있으며, 적용하기 위해 아래와 같은 방법을 따라야합니다.

1. Civitai 웹사이트에 방문하여 VAE 파일을 검색합니다.
   
2. 원하는 파일을 다운로드 합니다.
   
3. 다운로드한 파일을 stable-diffusion-webui/models/VAE에 저장합니다.
   
4. 스테이블 디퓨전 웹 UI를 실행합니다.
   
5. Settings에 들어가 왼쪽 Stable Diffusion 카테고리 아래 VAE를 클릭해줍니다.
   
6. SD VAE를 클릭하면 내가 받은 파일을 선택할 수 있습니다.
   
7. 선택하고 Apply settings를 눌러 적용을 마칩니다.

Embedding이란 무엇인가요?

임베딩은 로라와는 다르게 주제가 되는 피사체에는 영향을 주진 않지만 추가적인 프롬프트로 이미지의 품질이나 무드를 개선시킬 수 있는 방법입니다.

예를 들어, 프롬프트의 부정확성을 보조해주거나 이미지의 특정 부분을 부각 시키는 등 이미지의 품질을 향상시킬수 있는 기능이 있습니다. 로라와 마찬가지로 종류가 많고, 여러개를 동시에 적용시킬 수 있습니다.

스테이블 디퓨전에서 Textual Inversion이라고도 쓰이는 임베딩을 활용하면, 이미지를 적용한 파일에 맞게 독특한 스타일을 적용하여 보다 더 디테일한 품질의 이미지를 생성할 수 있습니다. 이미지 품질 업그레이드 설정에서 중요한 요소 중 하나입니다.

Embedding 적용 방법

Embedding 또한 Civitai에서 다운로드 받으실 수 있으며, 적용 방법은 아래와 같습니다.

1. Civitai 웹사이트에 접속하여 Embedding을 검색합니다.
   
2. 원하는 파일을 다운로드 하고 Stable-diffusion-webui/embedding에 저장합니다.
   
3. 스테이블 디퓨전 웹 UI를 실행합니다.
   
4. Textual Inversion에 들어갑니다.
   
5. 다운로드한 파일을 LoRA와 같은 방법으로 적용시킵니다.
   
6. 임베딩 또한 숫자를 변경하여 이미지에 미치는 영향을 바꿀 수 있습니다.
   예를 들어 (easynegative)라고 프롬프트창에 입력되면 (easynegative:0.5)이렇게 변경이 가능합니다.

마치며

스테이블 디퓨전에서 이미지 품질 업그레이드 시킬 수 있는 설정 방법인 LoRA, VAR, 그리고 Embedding에 대해 알아보았습니다. 위의 방법을 통해 적절한 설정으로 적용한다면, 더 쉽고 효율적으로 이미지 업데이트가 가능할 것입니다.

또한 이미지 생성 중 중요한 설정 요소이기 때문에 알고 가시면 좋을 것이라고 생각해 이 번 포스팅을 작성하였습니다. 이미지 생성에 정답은 없습니다. 꾸준히 테스트해 보고 업데이트 되는 내용에 관심을 기울이시면 지금 보다 더 향상된 이미지를 만들 수 있을 것이라고 생각합니다. 이번 포스팅도 끝까지 읽어주셔서 감사합니다.