조태완 - Plaid Labs Tech Blog

조태완

NVIDIA Blackwell 전용 추론 엔진 NVFP4를 활용한 vLLM 로컬 모델 서빙

NVIDIA Blackwell 전용 추론 엔진 NVFP4를 활용한 vLLM 로컬 모델 서빙

NVFP4를 비전공자도 이해할 수 있게 쉬운 비유와 용어풀이로 설명하고, Blackwell 듀얼 GPU + vLLM 실전 튜닝 포인트를 정리한 가이드.

플래드

RSS·Powered by Inblog