Stable diffusion으로 실사사진 뽑아보기.. 전 기본 셋팅하기(Checkpoint, LoRA, VAE)

Stable diffusion으로 그림을 그리다 보면 머리 두개가 나오는 괴물들이 많이 보이실텐데요

생각했던 이미지와는 전혀 다른 그림이 나와서 당황스럽고 금방 포기하시는 분들 있으셨을 것 같아요.

그럴때는 기본으로 제공해주는 모델이 아닌 새로운 모델을 찾거나 로라를 이용하시면

어느 정도 고정되고 비슷한 그림을 만들어내기에 쉬워집니다.

 

1. Checkpoint의 개념

말그대로 체크포인트, 시작하는 지점을 설명합니다. 체크포인트는 관찰된 데이터를 기반으로 모델이 반복적으로 업데이트를 합니다. 주기적으로 저장되고 매개변수 및 중간 결과를 포함하여 모델의 현재 상태에 대한 정보를 포함합니다. 예를 들어 정전이나 시스템 오류로 인해 교육 프로세스가 중단되어 처음부터 시작해야하는 대신 체크포인트를 사용하여 마지막으로 저장된 지점에서 그 프로세스를 재개할 수 있는 겁니다.

스테이블 디퓨전에서 기본으로 제공되는 체크포인트(model.ckpt)는 정말 기본이라 학습이 덜 된 지점이라고 생각하시면 될 것 같습니다.

그래서 우리는 학습이 잘 되어 있는 새로운 checkpoint를 찾아서 그림을 그릴겁니다.

 

1-2. Checkpoint 다운로드

checkpoint를 다운 받을 수 있는 곳은 여러군데가 있습니다. 그 중에서 가장 많이 사용되고 대중적인 곳은 https://huggingface.co/ 입니다. 여러 사이트 중에 자료도 많고 19세 없는 곳이니 안전하게 사용하실 수 있습니다. 검색란에 model 이라고 검색하면 여러 모델이 나오는데 chilloutmix 라는 모델을 사용할 겁니다. (*model=checkpoint입니다.)

누르시면 모델에 대한 설명과 다운로드할 수 있는 목록들이 나오는데 files and versions으로 가셔서 아래쪽에 safetensors 파일을 다운로드 해줍니다. model 자체가 기본적으로 용량이 2GB 이상입니다. 그래서 저는 한달에 2,400원 구독해서 100G로 구글드라이브 용량을 업그레이드 했습니다. 꾸준히 지속적으로 이용하실 계획이시면 업그레이드 추천드립니다.  https://huggingface.co/swl-models/chilloutmix/tree/main

 

2. LoRA의 개념

로라는 위에서 설명한 checkpoint를 좀 더 미세하게 조정해주는 역할 한다고 보시면 되겠습니다. 그리다보니 model도 중요하지만 LoRA를 어떤 것을 사용하냐에 따라서 그림의 퀄리티가 많이 달라지는 것을 확인해 볼 수 있었습니다. 로라에 대한 더 자세한 내용은 https://rentry.org/2chAI_LoRA_Dreambooth_guide_english#what-is-lora 여기서 확인해주세요.

 

2-1. LoRA 다운로드

역시나 허깅페이스에서 다운받을 수 있습니다. 위에서 언급한대로 많은 사이트가 있지만 이곳이 가장 안전한 것 같더라구요. 제가 요즘 가장 많이 사용하는 koreanDollLikeness라는 로라를 사용할 겁니다. 허깅페이스에 korean이라고 검색합니다

koreanDollLikeness_v15를 눌러주시고 똑같이 safetensors 파일로 다운로드 눌러주세요.

https://huggingface.co/amornlnw7/koreanDollLikeness_v15/tree/main

 

3. VAE의 개념

스테이블 디퓨전 내에서 색감을 화사하게 바꿔주고 흐릿한 부분을 또렷하게 바꿔주는 역할을 합니다. vae를 설치한 것과 안한 그림의 차이는 꽤나 많이 납니다. 프롬프트에 아무리 bright, sunlight, nature lihgt 등 적어줘도 vae가 없으면 선명하고 화사한 색감이 나올 수가 없습니다.

 

3-1. VAE 다운로드

모든 것이 다운 가능한 허깅페이스에서 vae를 검색하면 역시나 많은 리스트가 나오는데 이중 선택하셔서 다운해주시면 되지만 하나 840000으로 추천드립니다. 이후에 다른 vae 사용해보고 싶으시면 허깅페이스 상에 검색하셔서 다운 받아보시고 나랑 잘 맞는 것으로 사용하시면 되겠습니다.

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main

 

4. 설치

다운로드한 파일들은 구글드라이브 내 모두 다른 공간에 업로드를 해주어야 합니다.

구글드라이브 >  sd  >  stable diffusion web ui  >  models  >  Lora/VAE/Stable-diffusion

각 폴더로 넣어주어야 합니다.

Lora는 로라폴더로, vae는 vae폴더로, checkpoint(model)은 stable-diffusion폴더로 각각 넣어주시면 됩니다.

 

5. 세팅

구글드라이브 업로드까지 완료하셨다면, stable-diffusion을 실행해주세요. 실행이 되면 제일 먼저 setting으로 가서 vae를 설정해줍니다.

settings에서 왼편에 Stable Diffusion을 누르고 SD VAE 아래 누르시면 VAE가 잘 반영되셨을 거에요. 혹시나 파일이 안보이거나 눌러도 계속 회색창이 넘어가신다면 오른쪽 새로고침 버튼 한번 눌러보세요.

그 다음은 Lora와 checkpoint를 설정해줍니다. 상단에서는 checkpoint를 설정할 수 있구요. 다운받은 chilloutmix 선택해줍니다.

오른쪽 generate 아래쪽에 화투패처럼 생긴곳을 눌러보면 업로드한 Lora가 보입니다. 제가 지금 Lora를 이것저것 다운 받아놨는데 여러분도 여러가지 다운받으셔서 활용해보세요.

오늘은 그중에서 korean으로 사용할 거고 선택하시면 prompt란에 자동으로 글이 생성된 거 확인 되시죠?? 자세히 보시면 글자 마지막에 v15:1 이렇게 되어있는데 0.1 단위로 조정하셔서 가중치를 조절하시면 느낌이 또 다르게 나오실거에요. 

미리 작성한 프롬프트를 입력해보겠습니다.(공유드릴게요)

위에서 설명드린대로만 쭉 해보시면 이런 그림 충분히 뽑아내실 수 있습니다.

 

6. 마무리

이전에 작성했던 '그대로만 따라하세요' 글로 담기에는 또 방대한 내용이 있어서 새롭게 추가로 작성했습니다. 이전에 썼던 글과 함께 보신다면 더더 완성도 높은 그림 여러분도 그리실 수 있을 것 같습니다. 말씀드릴 방법들 말고도 여러가지 방법들 적용해보시면서 나만의 그림을 완성해보시길 바랍니다.

작성했던 프롬프트는 공유드릴게요. 나름 이것저것 시도해보면서 괜찮은 것들 모아 놓은 프롬프트이기에 여기서 많이 바꿔보시고 변형하셔서 사용해보세요.

오늘도 즐거운 SD생활 하시길! (너무 오랜시간하면 정신건강에 해로울수도..!)

 

첨부)

prompt 예시.txt

0.00MB