W tym tygodniu seria AI Decoded opowiada o optymalizacji AI za pomocą zestawu narzędzi NVIDIA TensorRT na ponad 100 milionach pecetów i stacji roboczych z kartami graficznymi RTX oraz systemem operacyjnym Windows.

Poinformowano także o zupełnie nowym teście porównawczym Procyon AI Image Generation od UL Solutions, który pozwala zmierzyć realną wydajność sprzętu w generowaniu obrazów za pomocą sztucznej inteligencji. Wewnętrzne testy firmy NVIDIA wykazały wzrost wydajności wynoszący 50% na karcie graficznej GeForce RTX 4080 SUPER w porównaniu do najszybszych aplikacji nie wykorzystujących biblioteki TensorRT.

Zanim zagłębimy się w szczegóły, krótkie wprowadzenie:

• Rdzenie Tensor to znajdujące się na kartach graficznych RTX dedykowane sztucznej inteligencji akceleratory, które skutecznie dostarczają lokalną AI o wysokiej wydajności.
• NVIDIA TensorRT to pakiet narzędzi zwany zestaw programistycznym (SDK), który umożliwia deweloperom dostęp do zasobów sprzętowych w celu zapewnienia w pełni zoptymalizowanych rozwiązań AI.
• NVIDIA TensorRT-LLM to biblioteka programistyczna na licencji open-source, która umożliwia modelom LLM szybciej zrozumieć zapytania i sprawniej na nie odpowiadać.

ChatRTX korzysta z biblioteki TensorRT-LLM, co pozwoliło zoptymalizować wydajność na kartach graficznych RTX, dzięki czemu teraz każdy może eksperymentować z podstawowymi modelami NVIDIA AI optymalizowanymi przez TensorRT-LLM.

W przypadku LLM, TensorRT przyspiesza także niektóre z najpopularniejszych generatywnych modeli sztucznej inteligencji, w tym Stable Diffusion i SDXL. W tym tygodniu rozszerzono optymalizację TensorRT w popularnym interfejsie Stable Diffusion WebUI firmy Automatic 1111 również na zestaw modeli AI zwany ControlNet. Działa on jak specjalny asystent dający użytkownikom większą kontrolę nad generowanymi obrazami. Zapewnia to wzrost wydajności nawet o 40%. Rozszerzenie jest już dostępne do pobrania z serwisu GitHub.