3. 아래 주소에서 .pth 모델 파일들을 전부 받아서 익스텐션의 설치 경로인 stable-diffusion-webui\extensions\sd-webui-controlnet\models 폴더에 넣습니다.
모델 파일 : lllyasviel/ControlNet at main (huggingface.co)
모델 파일들이 올바른 경로에 위치하고 있다면 Model 리스트에 표시됩니다.
각 항목들의 의미는 다음과 같습니다.
-Enable : ControlNet을 활성화합니다.
-Scribble Mode (Rverse Color) : Scribble(낙서) 모델에 이미지를 직접 입력할 때 사용합니다.
-Low VRAM : Vram을 적게 사용하는 모드를 활성화합니다. vram이 8gb 이하일 경우 사용합니다.
Webui-user.bat 에 --lowvram를 추가하면 더욱 vram 사용량을 아낄 수 있습니다. 대신 속도가 느려집니다.
-Preprocessor : 전처리 기능입니다. 이미지에서 포즈나 뎁스를 분석하는 역할을 합니다.
사용할 모델에 맞는 Preprocessor를 선택해야 합니다.
예를 들면 Openpose model에는 Openpose를 선택하시면 됩니다.
-Model : 사용할 모델을 선택합니다.
-Weight : ControlNet 강도를 지정합니다. 0에서 2까지 가능합니다.
강도에 따른 차이는 아래와 같습니다.
뎁스 / 0 / 0.5 / 1.0 / 1.5 / 2.0
-Refresh Model : 모델 리스트를 새로고침합니다.
-Resize Mode : 생성할 이미지 해상도와 입력된 ControlNet 이미지의 해상도가 다를 경우 사용하는 리사이징 옵션입니다.
각 옵션에 따른 결과는 다음과 같습니다.
분석된 포즈 / Envelope (Outer Fit) / Scale to Fit (Inner Fit) / Just Resize
-Canvas Width/Height : Scribble 모델에 입력할 스케치를 그릴 캔버스의 사이즈를 지정합니다.
-Open drawing canvas! : 위에서 지정한 캔버스를 생성합니다.
-Image : ControlNet 모델이 분석할 이미지를 업로드하거나 Scribble 모델에 입력할 스케치를 그립니다.
용량이 큰 이미지를 드래그해서 넣을 경우 오류가 발생할 수 있으니 클릭해서 업로드하라는 개발자의 코멘트가 있었습니다.
각 모델들의 사용법 및 효과에 대해서는 17편을 참고하시기 바랍니다.
- (AI) AI를 사용해서 디테일하게 원하는 그림 생성하기 튜토리얼 17 | 유머 게시판 | RULIWEB
익스텐션 버전이 오리지널과 다른 점은 다음과 같습니다.
-Lora와 마찬가지로 모델, Clip skip, Vae 등 webui의 기능을 100프로 활용할 수 있습니다. 따라서 모델을 병합할 필요도 없습니다.
-Preprocessor가 분리되었기 때문에 자동 분석이 아닌 직접적인 포즈 및 뎁스 이미지 입력이 가능합니다.
-Weight 조정을 사용해 다양한 이미지를 생성하기 유용합니다.
-Img2Img에서도 사용할 수 있기 때문에 높은 강도의 Denoising Strenght에서 이미지의 구성이 변형되는 것을 막을 수 있습니다.
Openpose는 오픈소스 자세 분석 도구로, 입력된 이미지를 분석해서 사람의 자세를 계산합니다.
ControlNet의 Pose2Image 모델의 경우 이 도구를 사용해서 왼쪽의 일반 이미지를 분석한 오른쪽의 포즈 이미지를 학습하는 것을 통해 특정 포즈에 맞는 이미지를 생성하는 것이 가능합니다.
17편에서 언급한 것처럼 개발자는 UI의 한계로 인해서 포즈 본을 직접 조작하는 기능을 추가하지 못 하고 대신 자동 이미지 분석을 사용했습니다.
오리지널 버전에서는 이 기능을 끄는 것이 불가능했지만 이번에 소개한 익스텐션에서는 이 기능이 Preprocessor 항목으로 분리되어 None을 선택하면 자동 분석된 이미지 대신 직접 포즈나 뎁스 이미지를 입력하는 것이 가능합니다.
아래는 인터넷에서 Depth map을 검색하면 나오는 이미지입니다.
이제 이 이미지를 넣고 Preprocessor를 None, Model을 depth로 선택하면 직접 입력이 가능합니다.
이제 적당히 Prompt를 입력하면 아래와 같은 이미지가 생성됩니다.
자동 분석된 뎁스맵이 아닌 직접 렌더링한 것을 사용하는 것의 이점은 경계선이 선명하고 팔다리나 손가락의 형태가 확실하기에 이를 통해 생성되는 이미지 또한 선명하다는 점입니다.
특히 자동 생성된 뎁스맵의 경우 작은 물체를 뭉게기 때문에 정확히 원하는 부분을 분리하기 힘듭니다.
자동 분석된 뎁스맵과 3D 소프트웨어로 생성된 뎁스맵를 비교하면 아래과 같습니다.
자동 생성된 뎁스맵 / 렌더링된 뎁스맵
렌더링된 뎁스맵을 사용해서 생성된 이미지들은 다음과 같습니다.
물론 뎁스만이 아니라 포즈도 가능합니다.
ControlNet 모델 학습에 사용된 오픈포즈 뼈대는 아래와 같은 구조입니다.
사람마다 체형이 다르기 때문에 중요한 것은 관절의 숫자와 색입니다.
블렌더로 적당히 따라서 만들어줍니다.
이제 이렇게 만들어진 오른쪽 이미지를 아래와 같이 넣어줍니다.
포즈 이미지를 사용해서 생성된 이미지들은 아래와 같습니다.
위에서 언급한 것과 같이 Lora와 같이 사용하는 것도 가능합니다.
오픈포즈 뼈대는 아래 링크에서 다운 받으실 수 있습니다. Blender 3D가 필요합니다.
Character bones that look like Openpose for blender (gumroad.com)
다른 개발자가 만든 유료 Addon 버전도 있습니다. 애니메이션 변환을 제공합니다.
B2ControlNet - Blender Add-on for ControlNet with Human Pose (gumroad.com)
진짜 이거랑 로라 두개 기능만 있으면 뭐든 만들수 있을거같네요
3d하는 입장에서는 거의 랜더러를 대체할 수 있겠네요 ㄷㄷ
ㅊㅊ
ㄳㄳ
3d하는 입장에서는 거의 랜더러를 대체할 수 있겠네요 ㄷㄷ
진짜 이거랑 로라 두개 기능만 있으면 뭐든 만들수 있을거같네요
크~ 좋습니다
2D 일러한테 화풍작업 시키고 3D로 이미지맵 만들어서 -- 움직임 조정하면 이거 머지않아 저렴한 가격에 고화질 에니메이션 뚝딱 나올수도 있겠다 --
ai ㅇㄷ
ai ㅇㄷ
Ai ㅇㄷ
신기하다 정말
튜토리얼 감사합니다~
위에 작업하신 이미지들 너무이쁩니다!!! 혹시 모델과 프롬포트알려주실 수 있으실까요...? ㅠㅠㅠㅠㅠ 너무 따라해보고싶습니다.
파스텔 믹스와 오렌지 믹스, Counterfeit-V2.5를 사용해서 생성했습니다. 프롬프트는 그냥 복장하고 배경만 대충 넣고 생성한 것이라 1girl, blue hair,white swimsuit, beach, blue sky, 이런 식입니다. https://civitai.com/models/4437/abyssorangemix2-sfw https://civitai.com/models/4468/counterfeit-v25 https://civitai.com/models/5414/pastel-mix-stylized-anime-model
답변감사드립니다! 항상 글 잘 보고있습니다! 오늘도 좋은하루 되세요!
안 본 사이에 또 발전했네
ai ㅇㄷ
이거 혹시 저사양용은 사용할 수 없는건가요? 설치를 해도 컨트롤 메뉴가 안뜹니다.
그리고 제건 메뉴가 한글로 나오는데 혹시 영문으로 바꾸는 법 없을까요?? 오히려 한글이라서 더 헷갈려서요 ㅠㅠ
설치후 디렉토리 생성도 확인하고 모델도 다운받아서 넣었는데 컨트롤넷 메뉴 자체가 안보입니다. 제가 뭘 잘못 한걸까요.
일단 webui를 완전히 종료했다가 다시 실행해보세요. 언어 변경은 설정에서 유저 인터페이스 탭의 맨 아래쪽을 보시면 있습니다.