핵심 요약: Stable Diffusion을 로컬에서 돌린다는 건 "설치가 되냐"가 아니라 "어느 VRAM 등급에서 어떤 모델이 쾌적한가"의 문제다. 6GB는 SD 1.5급 저해상도, 12GB는 SDXL까지 현실적, 16GB 이상부터 SD 3.5 계열을 고려할 수 있다는 게 이번 검증의 결론이다. 다만 이 컷은 fp8/fp16 여부, refiner 사용, 해상도에 따라 크게 흔들린다.
Stable Diffusion 로컬, 어떤 GPU부터 가능한가?
결론부터 말하면 "가능"과 "쾌적"은 다르다. 낮은 VRAM에서도 구동은 되지만, 해상도와 모델 세대를 낮춰야 한다.
이 실험에서 검증하려 한 건 단순하다. "로컬 Stable Diffusion"이라는 말이 실제로는 몇 가지 다른 하드웨어 조건을 뭉뚱그려 부르고 있다는 가설을 확인하는 것이다. SD 1.5, SDXL, SD 3.5는 같은 이름의 "로컬 이미지 생성"이지만 요구 VRAM이 배 이상 차이 난다. 이 차이를 스펙 문서와 실측 사례로 각각 따로 확인해야 "내 GPU로 뭘 돌릴 수 있나"라는 질문에 답할 수 있다.
- SD 1.5는 fp16 기준 약 4GB, lowvram 모드는 2~3GB로 구형 GPU에서도 최소 구동이 가능하다.
- SDXL 1.0은 fp16 약 8GB, 쾌적하게 쓰려면 10~12GB, refiner를 병행하면 추가로 약 6GB가 더 필요하다.
- SD 3.5 Medium은 공개 스펙상 텍스트 인코더 제외 9.9GB, Large는 bf16 백본 약 16GB, fp16 T5-XXL 포함 전체 파이프라인은 약 26GB에 달한다.
- fp8 최적화를 적용하면 SD 3.5 Large도 약 11~12GB까지 낮아질 수 있다.
- 프론트엔드(Forge, ComfyUI 등) 선택에 따라 같은 모델도 체감 VRAM 사용량이 달라진다.
VRAM 스펙표는 실제로 어떻게 갈리는가?
공개 스펙을 모델 세대별로 나눠보면 로컬 진입장벽이 계단식으로 올라간다는 게 확인된다.
| 모델 | 조건 | VRAM |
|---|---|---|
| SD 1.5 | fp16 | 약 4GB |
| SD 1.5 | lowvram | 2~3GB |
| SDXL 1.0 | fp16, 단독 | 약 8GB |
| SDXL 1.0 | refiner 포함 | +약 6GB |
| SD 3.5 Medium | 텍스트 인코더 제외 | 9.9GB |
| SD 3.5 Large | bf16 백본 | 약 16GB |
| SD 3.5 Large | fp16 T5-XXL 포함 전체 | 약 26GB |
| SD 3.5 Large | fp8 all-in-one | 약 11~12GB |
이 표에서 눈에 띄는 건 SD 3.5 Large의 "약 16GB"와 "약 26GB"라는 두 숫자가 같은 모델을 가리킨다는 점이다.Stability AI 모델 카드 어느 걸 기준으로 잡느냐에 따라 "24GB GPU면 충분"과 "24GB GPU도 빠듯"이라는 정반대 결론이 나온다. 실사용 리뷰에서 스펙 수치를 인용할 땐 "무엇을 제외한 수치인지"를 반드시 같이 적어야 한다는 걸 이번 검증에서 다시 확인했다.
또 하나, 2025년 6월 NVIDIA 협업 보도에서는 SD 3.5의 FP8 양자화로 VRAM 요구가 40% 줄어 11GB가 됐고 TensorRT 최적화로 속도가 2배가 됐다는 내용이 나온다.NVIDIA 블로그 다만 이건 공식 협업 기반 최적화 벤치마크이지, 일반 사용자가 별도 설치 없이 얻는 결과는 아니다. 이 구분을 안 하면 "SD 3.5도 11GB면 된다"는 과장된 결론으로 흐르기 쉽다.
실제 생성 속도는 스펙만큼 갈리는가?
같은 12GB급이라도 모델에 따라 속도가 3~4배 차이 나는 경우가 확인됐다.
RTX 4070 12GB 환경에서 1024×1024, 20 steps 기준 SDXL은 약 3~5초/장, SD 3.5 Medium은 약 8~12초/장, Flux.1 Schnell(4-step)은 약 2~4초/장이라는 실측형 수치가 제시된다. 이 세 값을 나란히 놓으면 "12GB VRAM"이라는 조건 하나로는 체감 속도를 예측할 수 없다는 게 드러난다. 모델 구조와 step 수가 속도를 더 크게 좌우한다.
저사양 쪽 사례도 함께 봐야 한다. RTX 3060 6GB 노트북 환경에서는 512×768 이미지를 약 4초/장으로 생성했다는 실측 사례가 있다. 이건 "6GB도 되긴 하는가?"라는 질문에는 "가능은 하다"고 답할 수 있지만, 해상도를 낮추고 경량 모델을 써야 한다는 전제가 붙는다. 반대로 RTX 4090에서는 1024×1024 기준 1.5초/장 이하, 일부 사례는 2초 미만까지 보고된다. 이 정도면 "대기하는 도구"가 아니라 "즉시 반복하며 프롬프트를 다듬는 도구"로 쓸 수 있다는 뜻이다. 다만 이 수치들은 특정 리뷰 환경 기준이라 GPU, 해상도, steps, 스케줄러에 따라 흔들린다는 전제를 같이 적어야 한다.
프론트엔드 선택이 실사용 체감을 얼마나 바꾸는가?
Stable Diffusion 자체는 단독 설치형 앱이 아니라서, 실사용 체감의 상당 부분이 어떤 프론트엔드를 얹느냐에서 갈린다.
AUTOMATIC1111, Forge, ComfyUI, InvokeAI, Fooocus가 사실상 필수 도구처럼 언급되는데, 같은 모델이라도 프론트엔드에 따라 VRAM 사용량과 속도가 달라진다. Forge는 SDXL/SD 3.5 계열에서 VRAM을 약 5.5GB 수준으로 줄이고 A1111 대비 속도가 30~75% 빨라질 수 있다는 정리가 있다.Forge 저장소 ComfyUI는 노드 기반 워크플로로, 같은 조건에서 약 4.5GB VRAM 수준으로 정리된다.ComfyUI 저장소
이 두 수치는 프랑스어권 정리글 기준이라 절대값보다는 "같은 모델도 프론트엔드에 따라 체감이 크게 바뀐다"는 방향성으로 읽는 게 안전하다. 실사용 관점에서는 A1111이 진입은 쉽지만 무겁고, ComfyUI는 배우는 데 시간이 걸리지만 반복 가능한 생산 파이프라인을 짜기엔 더 맞는다는 정도로 나눠 쓸 수 있다.
이 검증은 어디까지 되고 어디서 막히는가?
이번 검증은 공개 스펙과 여러 리뷰의 실측 수치를 교차 확인하는 데까지만 갔고, 직접 GPU를 바꿔가며 동일 조건에서 재현 측정한 건 아니다.
그래서 표에 있는 숫자들은 "어느 정도 범위인지"를 보여주는 참고선이지, 정확한 컷라인은 아니다. 특히 refiner 사용 여부, fp8/fp16 선택, 프롬프트 길이, 배치 크기 같은 변수는 이번 자료만으로는 세부까지 통제하기 어렵다. 또한 2026년 기준으로도 SD 3.5 계열의 실사용 VRAM 요구는 최적화 도구 업데이트에 따라 계속 바뀌고 있어서, 이 글의 숫자도 시간이 지나면 다시 확인이 필요하다.
한계로 짚을 부분은 하나 더 있다. "로컬이라 무료"라는 표현은 소프트웨어 비용에만 해당한다. 실질 비용은 GPU 구매, 전기, 발열 관리로 옮겨간다는 점을 실사용 리뷰에서는 분리해서 봐야 한다.
이번 검증에서 남는 판단은 무엇인가?
결과적으로 "Stable Diffusion 로컬이 되냐"보다 "어느 조합으로 되냐"가 더 정확한 질문이었다.
6GB는 SD 1.5급 저해상도용, 12GB는 SDXL까지 현실적, 16GB 이상은 SD 3.5 계열 고려권, 24GB급은 여유가 확 커진다는 정리가 이번 자료들을 관통했다. 다만 이 컷은 fp8 최적화 여부 하나로도 바뀔 수 있어서, 스펙표 하나만 보고 GPU를 정하면 실사용 때 어긋날 가능성이 있다. 다음 실험에서는 동일 GPU에서 A1111·Forge·ComfyUI를 같은 프롬프트·같은 step으로 돌려 VRAM과 속도를 직접 비교하는 쪽으로 이어가야 할 것 같다.
핵심 정리
- SD 1.5(4GB) → SDXL(8~12GB) → SD 3.5(10~26GB)로 갈수록 로컬 진입장벽이 계단식으로 올라간다.
- fp8 양자화는 SD 3.5 Large의 VRAM 요구를 약 16GB대에서 11~12GB대로 낮출 수 있다.
- 같은 12GB급 GPU라도 모델 구조(SDXL vs SD 3.5 vs Flux Schnell)에 따라 생성 속도가 3~4배 차이 날 수 있다.
- 프론트엔드(A1111, Forge, ComfyUI) 선택이 같은 모델의 체감 VRAM·속도를 바꾼다.
- 로컬 사용의 실질 비용은 소프트웨어가 아니라 GPU·전기·발열 쪽에 있다.