NVIDIA TensorRT zwiększa wydajność modelu Stable Diffusion 3.5 na kartach graficznych NVIDIA GeForce RTX oraz RTX PRO
Stable Diffusion 3.5 to jeden z najpotężniejszych modeli generowania obrazu, zdolny do przekształcania słów w efektowne, fotorealistyczne wizualizacje. NVIDIA omówiła w najnowszym wpisie na blogu RTX AI Garage, w jaki sposób połączyła siły ze Stability AI, aby uczynić Stable Diffusion 3.5 szybszym, bardziej kompaktowym i łatwiej dostępnym na komputerach i stacjach roboczych z kartami graficznymi RTX.
Dzięki kwantyzacji modelu do precyzji FP8 przy użyciu ekosystemu NVIDIA TensorRT, Stable Diffusion 3.5 Large wymaga teraz zaledwie około 11 GB pamięci VRAM (40% mniej niż do tej pory) i działa do 2,3x szybciej w porównaniu z precyzją BF16 biblioteki PyTorch. Pozwala to na użycie modelu na większej liczbie lokalnych urządzeń.
Poinformowano także, że ekosystem TensorRT for RTX jest teraz dostępny jako samodzielny zestaw SDK, który umożliwia tworzenie silników natychmiast i bezpośrednio na urządzeniu oraz zajmuje ośmiokrotnie mniej miejsca na nośniku danych, upraszczając jego implementację na ponad 100 milionach komputerów RTX AI. TensorRT for RTX jest dostępny na stronie NVIDIA Developer lub w wersji zapoznawczej Windows ML.
Zoptymalizowane modele są również dostępne na stronie Hugging Face firmy Stability AI. NVIDIA i Stability AI wydadzą Stable Diffusion 3.5 jako mikrousługę NVIDIA NIM już w lipcu, co jeszcze bardziej uprości wdrażanie tego modelu przez twórców aplikacji i dostawców usług.
NVIDIA zachęca także do obejrzenia wystąpienia prezesa Jensena Huanga, podczas konferencji GTC Paris na wydarzeniu VivaTech 2025.
Tech-Room poleca
