24GB VRAM의 RTX 5090 노트북은 SDXL·Flux 이미지 생성과 8B~32B급 로컬 코딩 모델 실험에는 쓸 만하지만, 16GB 5080 노트북은 정밀도·오프로딩 조건에 따라 제약이 커진다. 70B 모델은 24GB 노트북만으로 해결된다고 일반화하기 어렵다. 이 글은 벤치마크 수치 자체보다 "어떤 조건에서 측정했는가"를 먼저 확인하는 체크리스트다.
노트북에 RTX 5090만 있으면 로컬 AI 추론은 다 되는가?
결론부터 말하면 아니다. GPU 등급이 올라가도 모델 크기, 정밀도(FP16/FP8/FP4), 오프로딩 설정에 따라 결과가 크게 갈린다.
- 24GB VRAM(RTX 5090 노트북)은 SDXL·Flux 계열, 8B~32B급 로컬 코딩 모델에 적합한 편이다.
- 16GB VRAM(RTX 5080 노트북)은 FLUX.1 [dev] 같은 FP16 모델에서 CPU 오프로딩이나 저정밀 설정이 필요할 가능성이 높다.
- 70B급 모델은 24GB만으로 안정적으로 돌아간다고 단정하기 어렵다.
- AI TOPS 수치는 실사용 속도와 같은 단위가 아니다.
흔한 함정은 노트북 스펙표의 "1,824 AI TOPS"(RTX 5090 노트북) 같은 숫자를 그대로 생성 속도로 착각하는 것이다. 이 수치는 하드웨어 처리량 지표이지, 특정 LLM의 tokens/s나 이미지 한 장 생성 시간과 동일하지 않다. RTX 5080 노트북의 1,334 AI TOPS, 5070 Ti의 992, 5070의 798 역시 마찬가지다. NVIDIA RTX AI 성능 안내 페이지도 이 수치를 하드웨어 처리량으로 소개하지, 특정 워크플로의 완료 시간으로 제시하지 않는다. 실사용 리뷰에서는 반드시 모델·해상도·스텝·백엔드를 같이 적어야 비교가 성립한다.
SDXL·Flux 이미지 생성, 노트북에서 몇 초면 끝나는가?
조건을 고정하지 않으면 "몇 초"라는 숫자 자체가 의미가 없다. NVIDIA가 공개한 측정에서 FLUX.1 [dev]는 RTX 4090 기준 약 15초, FP4를 쓰는 RTX 5090에서는 5초를 조금 넘는 수준으로 제시됐다. 다만 이는 데스크톱 GPU 비교이고 노트북용 RTX 5090 수치가 아니다. NVIDIA RTX 50 시리즈 발표
같은 맥락에서 FLUX.1 [dev]를 일반 FP16으로 돌리면 23GB를 넘는 VRAM이 필요하다고 안내된다. 16GB 노트북 GPU라면 CPU 오프로딩이나 저정밀·양자화 설정 없이는 실행 자체가 막힐 수 있고, 24GB급 노트북이 상대적으로 여유가 있다.
다른 벤치마크에서는 SDXL을 1024×1024, 30스텝, FP16으로 돌려 6.5 iteration/s를 제시했는데, 이를 산술적으로 환산하면 1장당 약 4.6초다. Flux.1 Dev는 28스텝·FP16에서 3.4 iteration/s로, 환산 시 약 8.2초다. RTX 5090 벤치마크 다만 이 계산은 샘플링 단계만 포함한 수치고, 모델 로딩 시간과 VAE 디코딩 시간이 빠져 있다. 실제 체감 완료 시간은 더 길어질 수 있어, 리뷰를 쓸 때는 "샘플링만"인지 "생성 완료까지"인지 반드시 구분해 표기해야 한다.
로컬 코딩 모델은 토큰 속도만 보면 충분한가?
충분하지 않다. tokens/s 하나만으로는 IDE에서 느껴지는 반응성을 설명하지 못한다. 데스크톱 RTX 5090 측정에서 Llama 3.1 8B FP16은 140 tokens/s, Mistral 7B FP16은 165 tokens/s로 보고됐고, Qwen 2.5 32B 4-bit는 48 tokens/s였다. 이는 배치 1의 단일 스트림 결과이며, 긴 컨텍스트와 코드 검색을 함께 쓰는 실사용 환경과는 다르다. RTX 5090 벤치마크
노트북 환경 데이터도 있다. Artificial Analysis는 특정 구성에서 Qwen3.5 9B 디코드 속도를 49~58 tokens/s, Qwen3.8 27B를 23~28 tokens/s로 제시한다. 다만 이는 구성·백엔드·버전에 따라 달라지는 결과라 노트북 모델명과 전력 설정을 같이 확인해야 한다. Artificial Analysis 노트북·워크스테이션 하드웨어
실사용 체감은 "첫 토큰까지 시간", "짧은 함수 자동완성 지연", "긴 파일 수정 응답 시간", "반복 수정 성공률", "컨텍스트 초과 시 VRAM 부족 여부"로 따로 측정하는 편이 낫다. 예를 들어 다음 세 작업을 같은 저장소에서 반복 실행하면 실사용성이 드러난다: "이 함수의 버그 원인을 설명하고 최소 수정 패치를 제시하라", "테스트 실패 원인을 추적해 테스트 코드까지 수정하라", "기존 API 규칙을 유지한 채 기능을 구현하고 diff를 요약하라". 각 작업에서 첫 토큰 시간과 사람이 추가로 고친 줄 수를 기록하면, tokens/s 하나만 봤을 때 놓치는 부분이 보인다. 실험 중 자주 겪는 실패는 tokens/s는 높은데 첫 토큰이 늦게 나와 체감 지연이 크게 느껴지는 경우다.
VRAM이 24GB면 70B 모델도 무리 없이 돌아가지 않을까?
이 부분은 오해하기 쉽다. 24GB VRAM이 크긴 하지만 70B 모델의 4-bit 가중치와 KV 캐시를 안정적으로 수용한다고 단정할 수 없다. 공개된 비교 표에서도 24GB 노트북 GPU는 70B Q4 실행이 불가로 표시된다. 노트북 vs PC AI 하드웨어 비교
이유는 가중치 외에 컨텍스트 길이에 비례하는 KV 캐시, 중간 활성값, 시스템 오버헤드가 함께 쌓이기 때문이다. 짧은 프롬프트에서는 돌아가는 것처럼 보여도 컨텍스트를 늘리면 VRAM 부족으로 끊기는 경우가 흔하다. 따라서 24GB 노트북 GPU는 8B~32B급 모델 실험에 초점을 맞추고, 70B는 CPU·통합 메모리·다중 GPU 오프로딩 여부를 별도로 테스트하는 편이 현실적이다. "노트북에 큰 GPU가 있으니 큰 모델도 되겠지"라는 가정은 실제 구매·실험 전에 검증이 필요한 지점이다.
노트북 GPU 추론, 비용은 전기요금만 계산하면 되는가?
아니다. 노트북 가격과 전력 소비만으로는 전체 비용을 설명하지 못한다. 모델 다운로드와 캐시가 차지하는 저장공간, 장시간 추론 시의 냉각 소음, 그리고 이 작업을 클라우드 API로 대체했을 때 드는 비용까지 같이 계산해야 실제 비교가 된다.
다만 2026년 기준으로도 특정 노트북 제품의 국내 실판매가나 장시간 추론 전력을 신뢰도 높게 검증할 자료가 충분하지 않다. 그래서 이 글에서는 가격·전력 수치를 구체적으로 단정하지 않는다. 대신 재현 가능한 기록 항목을 남긴다: 측정일, OS(Windows/Linux), NVIDIA 드라이버 버전, CUDA·PyTorch 버전, 모델 해시, 양자화 형식, 노트북 TGP(전력 제한), 실내 온도, 전원 연결 상태. NVIDIA RTX AI 성능 안내에서도 FP4·TensorRT 경로, ComfyUI 노드 버전에 따라 결과가 달라진다고 안내한다. 이 기록 없이 올라온 "몇 초 만에 생성" 같은 후기는 재현이 거의 불가능하다고 보는 편이 안전하다.
핵심 정리
- 24GB VRAM 노트북(RTX 5090급)은 SDXL·Flux와 8B~32B급 로컬 코딩 모델 실험에 상대적으로 유리하다.
- 16GB 노트북(RTX 5080급)은 FLUX.1 [dev] FP16 실행 시 오프로딩·저정밀 설정이 필요할 가능성이 높다.
- AI TOPS 수치는 실사용 생성 속도·tokens/s와 단위가 다르므로 그대로 치환하면 안 된다.
- 70B 모델은 24GB VRAM만으로 안정 실행된다고 보기 어렵고, 24GB 노트북은 8B~32B급에 집중하는 편이 합리적이다.
- 비용 비교는 노트북 가격뿐 아니라 저장공간, 소음, API 대체분, 버전·드라이버 기록까지 포함해야 재현 가능하다.