1편 : https://bbs.ruliweb.com/community/board/300143/read/58570656
2편 : https://bbs.ruliweb.com/community/board/300143/read/58609571
3편 : https://bbs.ruliweb.com/community/board/300143/read/58726346
5편 : https://bbs.ruliweb.com/community/board/300143/read/58923623
6편 : https://bbs.ruliweb.com/community/board/300143/read/59028118
7편 ; https://bbs.ruliweb.com/community/board/300143/read/59029076
8편 : https://bbs.ruliweb.com/community/board/300143/read/59084305
9편 : https://bbs.ruliweb.com/community/board/300143/read/59346702
Novel ai 덕분에 누구나 쉽게 고퀄리티의 모에 일러스트를 쉽고 빠르게 생성할 수 있게 되었습니다!
물론 월 $25를 지불해야 무제한 사용이 가능하기는 합니다ㅜㅜ
일단 저도 결제해서 이리저리 테스트해보고 있는 중 입니다.
WD와 같은 SD 모델 기반이라 사용법 자체는 크게 다르지 않은 것 같습니다.
=====================================================================================
Waifu diffusion V 1.3이 공개되었습니다.
1.2 버전과의 퀄리티 차이는 아래 이미지와 같습니다.
아래 링크에서 다운 받으실 수 있습니다.
링크 : hakurei/waifu-diffusion-v1-3 at main (huggingface.co)
wd-v1-3-full.ckpt를 받으시면 됩니다. AUTOMATIC1111 기준으로 models\Stable-diffusion 폴더에 넣으시면 됩니다.
오늘은 Prompt 응용법에 대해서 알아보겠습니다.
AUTOMATIC1111을 기준으로 진행합니다. : AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI (github.com)
먼저 언제나처럼 miku를 입력해 봅니다.
미쿠가 입고있는 기본 복장의 영향으로 흰색 상의가 강하게 나타납니다.
여기서 유용한 기능이 Negative prompt 입니다.
prompt 입력란 아래에 white shirt를 입력해줍니다.
흰색 상의가 없어졌습니다.
여기서 더 나아가서 제거하고 싶은 태그를 추가로 입력합니다.
좀 미묘하기는 하지만 여러 개의 팔다리가 생겨날 확률을 꽤 줄여줍니다.
이번에는 prompt 강화/약화에 대해서 알아보겠습니다.
먼저 빨간 경찰복을 입은 미쿠를 입력합니다.
경찰 성분이 함유된 미쿠가 나옵니다. 그런데 좀 더 경찰스러우면 좋을 것 같습니다.
강조를 원하는 태그를 (태그) 형태로 입력하면 됩니다. [태그] 로 입력하면 약화됩니다.
Nove ai의 경우에는 {태그}를 사용해서 강화가 가능합니다.
왠지 복장이 좀 더 제복스러워졌습니다.
(태그)를 ((((태그)))) 처럼 괄호를 더해서 더욱 강조가 가능합니다.
좀더 경찰 성분을 강화
지나치면 슬슬 미쿠가 흐려지기 시작합니다.
숫자로 원하는 영향력의 정도를 자세하게 설정할 수 있습니다.
Novel AI도 동일합니다.
miku, red dress, police, cute face
miku, red dress, {{{police}}}, cute face
[태그]를 사용해서 경찰 성분을 약화시키면 이렇게 출력됩니다.
Novel ai의 경우에는 우측에 있는 Undesired Content에서 자주 사용하는 negative prompt를 일괄적으로 적용할 수 있습니다.
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry 가 prompt에 추가됩니다.
아래쪽에 있는 입력란에 태그를 입력하면 negative prompt를 추가할 수 있습니다.
AUTOMATIC1111와 마찬가지로 [태그]를 사용해서 약화시키는 것이 가능합니다.
()와 []의 자세한 사용법은 다음과 같습니다.
이번에는 스크립트 사용에 대해 알아보겠습니다.
하단의 Script에서 원하는 기능을 선택할 수 있습니다.
먼저 Promnpt matrix를 선택합니다.
다음으로 Prompt 입력란에서 태그 사이에 | 를 넣어서 분할해줍니다.
miku, red dress | cute face | police 처럼 |로 분할된 태그들은 뒤에 위치해야 합니다.
그리고 이미지를 생성하면 다음과 같이 입력된 태그들의 가능한 조합을 모아서 보여줍니다.
다음으로 X/Y plot을 선택합니다.
X type - Steps Y type - CFG Scale을 선택하고 아래와 같이 입력합니다.
이미지 생성을 누르면 아래와 같은 이미지가 출력됩니다.
입력한 값의 의미는 다음과 같습니다.
Steps : 이미지 계산 횟수 / 1-50(+10) 1~50까지 10 간격으로 출력
CFG Scale : Prompt 강도 / 1-11(+3) 1~11까지 3 간격으로 출력
Prompt S/R를 선택하면 Prompt 1개만 변경하는 것이 가능합니다.
Prompt matrix와는 다르게 |로 분할하거나 위치 제한이 없습니다.
입력된 값들의 첫번째 태그는 반드시 상단의 prompt 입력란에 입력된 태그와 동일해야 합니다.
miku, red dress, police를 pormpt에 입력하면 prompt S/R의 첫 태그는 red dress로 시작해야 합니다.
이미지 생성을 누르면 다음과 같은 이미지가 출력됩니다.
모델 파일의 이름을 입력해서 model 폴더 내에 위치한 모델들 별로 이미지를 출력할 수도 있습니다.
3편에서 소개했던 Textual inversion 학습 기능이 AUTOMATIC1111에 추가됐습니다.
상단 탭에서 Textual inversion으로 들어가시면 사용이 가능합니다.
사용법은 다음과 같습니다.
1. 준비 단계 Creating a embedding
Name : 학습시킬 주제의 이름을 설정합니다.
prompt에 입력할 때 사용하는 이름이기 때문에 다른 것과 겹치지 않고기억하기 쉬운 것이 좋습니다.
Initialization text : 학습시킬 이미지의 초기 설정입니다.
예를 들면 name에 ba-tree, Initialization text에 tree 를 입력하고 학습을 실행하지 않은 상태로 사용할 경우 그냥 tree를 prompt에 입력한 것과 동일한 상태의 이미지가 출력됩니다. 초기 설정인 *로 두셔도 무방합니다.
Number of vectors per token : 사용할 prompt token의 숫자를 결정합니다. 기본값인 1로 둡니다.
이제 Create를 누르면 stable-diffusion-webui\embeddings 폴더에 ba-shiroko.pt 파일이 생성됩니다.
2. 학습에 사용할 이미지 준비 Preprocess images
학습에 사용할 이미지를 준비합니다.
512x512 사이즈, jpg 포맷의 이미지를 권장합니다.
5~10개 정도면 무난합니다.
원하신다면 더 넣으셔도 됩니다.
Source directory : 준비한 이미지의 경로를 입력합니다.
Destination directory : 사전 처리로 생성된 이미지가 들어갈 폴더를 지정합니다.
Flip : 좌우 반전된 이미지를 생성할지 여부를 지정합니다.
Split into two : 이미지의 사이즈가 맞지 않을 경우 수정할지 여부를 지정합니다.
Add caption : 생성된 이미지에 자동으로 캡션을 추가합니다.
Preprocess 버튼을 누르면 아래와 같이 사전 처리된 이미지들이 생성됩니다.
3. 학습 Training an embedding
Embedding : 1에서 생성한 ba-shiroko.pt 파일을 선택합니다.
Learning rate : 학습 속도를 지정합니다. 기본값으로 두시는 것을 권장합니다.
Dataset directory : 2에서 생성한 사전처리된 이미지들의 경로를 입력합니다. 폴더 안에는 이미지 이외의 다른 파일이 없어야 합니다.
Log directory : 학습 동안 출력되는 로그와 이미지들이 저장될 경로를 지정합니다. 기본 값으로 두셔도 됩니다.
Prompt template file : 학습에 사용할 Prompt가 포함된 텍스트 파일을 지정합니다. 기본으도 두셔도 괜찮습니다.
기본 경로에 있는 텍스트 파일을 보면 a painting of [filewords], art by [name] 으로 되어 있는데 다음과 같이 사용됩니다.
[filewords] : 학습에 사용될 이미지의 이름에서 빈칸으로 구분된 단어들이 들어갑니다.
예 : 00004-0-a anime character with a cat ears and a backpack in front of a blue sky with clouds and a white cat.png
[name] : 1에서 생성한 임베딩 파일의 이름이 들어갑니다. 예 : ba-shiroko
Max steps : 최대 학습 횟수를 지정합니다. 정밀도를 올리시려면 최대 횟수를 충분히 높게 설정할 필요가 있습니다.
이제 Train 버튼을 누르시면 학습이 시작됩니다.
Log directory에 지정한 폴더에 학습의 중간 결과물이 image 폴더에 저장됩니다.
적당하다 싶으면 interrupt 버튼을 눌러서 학습을 중단할 수도 있습니다.
학습이 끝나면 prompt에 1에서 지정한 Name을 입력합니다.
예 : miku, red dress, ba-shiroko
예 : portrait of ba-shiroko
학습을 짧게 했더니 좀 미묘합니다.
여러 개의 엠베딩을 동시에 사용하는 것도 가능합니다.
예 : portrait of ba-shiroko, mignon-62500
다른 사람들이 학습한 엠베딩 파일들은 아래 링크에서 다운 받으실 수 있습니다.
미성년자에게 적절치 못한 학습 파일도 있으니 주의하시기 바랍니다.
https://cyberes.github.io/stable-diffusion-textual-inversion-models/
https://gitlab.com/16777216c/stable-diffusion-embeddings
https://gitlab.com/cattoroboto/waifu-diffusion-embeds
https://gitgud.io/viper1/stable-diffusion-embeddings
https://mega.nz/folder/7k0R2arB#5_u6PYfdn-ZS7sRdoecD2A
Waifu diffusion과 Novel ai는 Danbooru 태그를 학습에 사용합니다.
원하는 태그가 무엇인지 모르겠다면 아래 사이트를 이용하시면 편리합니다.
원하는 이미지를 업로드하면 일치하는 태그의 비율을 알려줍니다.
복사해서 입력하시면 그럭저럭 비슷한 느낌의 그림이 나옵니다.
교복이나 회색 머리카락 같은 태그를 추가해서 입력하면 아래와 같은 이미지가 출력됩니다.
팁으로 설정에서 아래 항목을 체크하시면 생성된 이미지 .png 파일에 promt와 각종 설정들이 기록됩니다. 나중에 설정을 재활용할 때 편리합니다.
생성된 .png 파일을 메모장으로 열어보면 상단에서 설정값을 확인할 수 있습니다.
Novel ai도 마찬가지 입니다.
마지막으로 10월 7일 오전에 올라온 뉴스입니다.
Novel ai의 모델 (.ckpt) 파일이 유츨되었다고 합니다.
단순히 모델 파일만 유출된 것이 아니라 학습에 사용된 기타 코드들도 같이 유출되었다고 합니다.
제보에 따르면 Novel ai의 개발자 중 누군가가 비밀번호를 "password"라고 설정하는 바람에 유출이 손쉽게 이뤄졌다고 합니다.
현재 토렌트를 통해서 모델 파일의 전파가 빠르게 이루어지고 있으며, 테스트해본 사람들의 결과에 따르면 Novel ai를 사용해서 생성한 이미지와 거의동일한 퀄리티가 나온다고 합니다.
아직까지 배포된 파일에 바이러스나 악성 코드가 발견되지 않았지만 혹시라도 시도해보실 분들은 주의하시기 바랍니다.
출처 : https://web.archive.org/web/20221007152119/https://old.reddit.com/user/Guifel
시도해보실 분들을 위해서 사용법을 간단하게 남깁니다.
최신 버전의 AUTOMATIC1111 기준입니다.
파일 중 에서 stableckpt\animefull-final-pruned 폴더에 있는 model.ckpt 파일의 이름을 final-pruned.ckpt 으로 변경하고 stable-diffusion-webui\models\Stable-diffusion에 넣습니다.
stableckpt 폴더에 있는 animevae.pt 파일의 이름을 final-pruned.vae.pt 으로 변경하고 위와 동일하게 stable-diffusion-webui\models\Stable-diffusion 폴더에 넣습니다.
stable-diffusion-webui\models 경로에 hypernetworks 폴더를 만들고 stableckpt\modules\modules 폴더에 있는 .pt 파일을 전부 넣습니다.
설정에서 모델을 final-pruned.ckpt로 변경합니다.
원하는 Prompt 앞에 다음 태그들을 추가로 입력합니다. Novel ai에서 기본적으로 적용되는 태그라고 합니다.
Prompt : masterpiece, best quality
Negative Prompt : lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Stable diffusion, Waifu diffusion, Novel ai 모델들의 동일한 시드와 설정을 사용한 이미지 출력 결과는 다음과 같습니다.
오옹
Novel AI leak 관련 미쿠 예쁘게 뽑는 법 정보집약. 와드 박고 가요
"해줘"
오옹
도움 많이 받고있습니다
잘 보고 있습니다.
정보주셔서 너무 감사합니다..말씀하신..nai_v1.ckpt파일은 아무리찾아봐도 없는데 혹시 어디서 찾아볼수있나요?
https://web.archive.org/web/20221007152119/https://old.reddit.com/user/Guifel - 출처 상단에 마그넷 주소가 나와 있습니다.
학습파일 pt 들을 사용하려면 어느 폴더에 넣어야 하나요. 학습파일을 받았는데 어떻게 해야할지를 모르겠습니다
stable-diffusion-webui\embeddings 폴더에 넣으시면 됩니다.
아 답변 감사합니다. 근데 넣었는데 이걸 적용시킬려면 프로그램 상에서 훈련 버튼 누른다음 뭘 해야 하나요.
다른 사용자들이 학습한 pt 파일들을 폴더에 넣으셨으면 prompt에 정해진 태그를 입력하시고 이미지 생성 버튼을 누르시면 됩니다. 예 : miku, red dress, ba-shiroko
아아. 학습파일을 폴더에 넣고 그 학습파일 이름을 프롬프트에 넣으면 자동적용 되는거군요. 감사합니다.