Karty graficzne GeForce RTX przyspieszają działanie lokalnych asystentów kodowania wykorzystujących sztuczną inteligencję
W najnowszym wpisie na blogu RTX AI Garage NVIDIA przedstawiła przykłady rzeczywistych przepływów pracy z użyciem modeli takich jak Gemma 12B, Code Llama oraz StarCoder2, uruchamianych lokalnie przez Continue.dev, Ollama oraz LM Studio.
Wyjaśniono, dlaczego akceleracja układu graficznego ma kluczowe znaczenie, szczególnie dla programistów pracujących nad dużymi projektami, długimi promptami lub wymagających szybkiej pętli informacji zwrotnej. Zaprezentowano również narzędzia, które czynią lokalne narzędzia do kodowania AI praktycznymi, takie jak Continue.dev, Tabby, OpenInterpreter czy LM Studio.
Asystenci kodowania AI to narzędzia, które pomagają zarówno doświadczonym twórcom oprogramowania, jak i osobom stawiającym pierwsze kroki w uproszczeniu zadań takich jak pisanie, debugowanie oraz wyjaśnianie kodu. Jedną z kluczowych korzyści wynikających z uruchamiania tych narzędzi lokalnie, na własnym komputerze, jest nielimitowane użytkowanie, dzięki czemu można uniknąć opłat subskrypcyjnych i ograniczeń typowych dla usług chmurowych. Dzięki połączeniu asystentów AI z kartami graficznymi GeForce RTX, asystenci działają znacznie szybciej, zapewniając nawet sześciokrotnie większą płynność na modelach takich jak Meta Llama 3.1-8B, w porównaniu do działania na procesorze CPU. Taka przewaga pozwala lokalnym narzędziom, takim jak Continue.dev, Tabby czy OpenInterpreter, dorównać, a często nawet przewyższyć rozwiązania chmurowe, bez konieczności przesyłania kodu źródłowego na zewnętrzne serwery.
Narzędzia ułatwiające lokalne uruchamianie asystentów kodowania:
- Continue.dev to rozszerzenie open source dla środowiska IDE Visual Studio Code, które łączy się z lokalnymi dużymi modelami językowymi (LLM) za pośrednictwem narzędzi takich jak Ollama, LM Studio lub niestandardowe punkty końcowe. Narzędzie oferuje czat w edytorze, autouzupełnianie oraz wsparcie przy debugowaniu przy minimalnej konfiguracji. Rozpoczęcie pracy z Continue.dev jest możliwe, korzystając z zaplecza silnika Ollama i lokalnej akceleracji kart graficznych GeForce RTX.
- Tabby to bezpieczny i przejrzysty asystent kodowania, kompatybilny z wieloma środowiskami IDE, umożliwiający uruchamianie AI lokalnie na kartach graficznych NVIDIA RTX. Narzędzie oferuje uzupełnianie kodu, odpowiedzi na zapytania, czat inline i inne funkcje. Praca z Tabby jest zoptymalizowana pod kątem komputerów wyposażonych w układy NVIDIA RTX AI.
- OpenInterpreter to eksperymentalny, lecz dynamicznie rozwijany interfejs, który łączy duże modele językowe z dostępem do terminala, edycją plików oraz wykonywaniem zadań typu agentowego. Narzędzie jest idealne do automatyzacji i zadań związanych z DevOps. OpenInterpreter działa efektywnie na komputerach wyposażonych w układy NVIDIA RTX AI.
- LM Studio to narzędzie z graficznym interfejsem użytkownika do lokalnego uruchamiania dużych modeli językowych, oferujące czat, zarządzanie oknem kontekstowym oraz promptami systemowymi. Jest optymalne do interaktywnego testowania modeli kodujących przed ich wdrożeniem w środowisku IDE. LM Studio jest kompatybilne z komputerami NVIDIA RTX AI.
- Ollama to lokalny silnik inferencyjny modeli AI, umożliwiający szybkie i prywatne wnioskowanie dla modeli takich jak Code Llama, StarCoder2 oraz DeepSeek. Ollama integruje się bezproblemowo z narzędziami takimi jak Continue.dev.
NVIDIA przypomina także o wydarzeniu Plug and Play: Project G-Assist Hackathon, które zorganizowane jest w formule online i potrwa do 16 lipca. Zadaniem uczestników jest stworzenie i udostępnienie własnych wtyczek do wirtualnego asystenta. Wtyczki można tworzyć w środowisku Python lub C++ albo za pomocą narzędzia G-Assist Plug-In Builder, bazującego na ChatGPT i umożliwiającego generowanie kodu z poziomu języka naturalnego.
Tech-Room poleca
