VisualGPT od spoločnosti Microsoft vydáva novú technológiu „ VisualGPT “, čo je pokrok v AI a odomyká možnosti pre príťažlivejšie a interaktívnejšie zážitky AI preklenutím priepasti medzi vizuálom a jazykom.
Čo je VisualGPT?
VisualGPT je rozšírená verzia ChatGPT, ktorá je založená na modeloch NLP (Natural Language Processing), ale vo VisualGPT sa používa VFMS, ktorý dokáže konvertovať textové dopyty do obrázkovej podoby. Je taká, že ide o kombináciu/integráciu textových a obrázkových dopytov.
Účel VisualGPT
Po uvedení ChatGPT na trh, ktorý ako jediný pracoval na textovom formáte, na dosiahnutie ďalšej úrovne pokroku existuje dokonalý nástroj, ktorý bude pracovať na textovom až grafickom formáte, po všetkých týchto dôvodoch a v pretekoch o AI. pokrok Microsoft vydáva VisualGPT, hlavným účelom VisualGPT je vytvárať obrázky AI na požiadanie používateľa alebo analyzovať obrázok
Architektúra VisualGPT
VisualGPT obsahuje User Query, Prompt Manager, Visual Foundation Models (VFM), systémový princíp, históriu dialógu, históriu uvažovania a strednú odpoveď.
Ak konkrétne hovoríme o jeho modeli, napr. VFM (Visual Foundation Models) “, používa sa takmer 22 VFM, ako napríklad BLIP (Bootstrapping Language-Image Pre-training) a Stable Diffusion.
Ako spustiť Visual ChatGPT?
Ak chcete spustiť Visual ChatGPT, zvážte nasledujúce kroky:
Krok 1: Vytvorte prostredie
Najprv musíte vytvoriť prostredie Pythonu verzie 3.8:
import sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Krok 2: Klonujte súbor Visual ChatGPT
Teraz naklonujte vizuálny súbor ChatGPT z GitHubu pomocou nasledujúceho príkazu:
! git klon https: // github.com / deepanshu88 / visual-chatgpt.git 
Krok 3: Nastavte nový adresár
Potom nastavte nový adresár pomocou nižšie uvedeného príkazu:
% cd visual-chatgptKrok 4: Nainštalujte požadované balíky
Teraz nainštalujte požadované balíčky pomocou „ pip ” cmdlet:
! curl https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -m pip Inštalácia -r request.txt
Krok 5: Prístup k API OpenAI
Po nainštalovaní úvodných balíkov získate prístup k API OpenAI získaním kľúča API z „platform.openai.com“ a vykonaním overených volaní API:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxKrok 6: Vyberte model
Nakoniec, po vstupe do Openai vyberte model, existuje viac ako 20 modelov, ktoré sa používajú vo visualGPT, môžete si vybrať podľa svojich požiadaviek:
! python3.8. / visual_chatgpt.py --naložiť Text2Image_cuda: 0Vo vyššie uvedenom príkaze „ Text2Image “ zodpovedá modelu, ktorý sa má použiť. Ďalšie podrobnosti nájdete v tejto službe Google Colab notebook .
Záver
ChatGPT bol predstavený na získanie konkrétnych odpovedí na akýkoľvek dotaz a teraz Microsoft spustil VisualGPT, ktorý je schopný pracovať s textovými aj obrazovými údajmi. Je taká, že používateľ môže jednoducho pridať svoje požiadavky v textovej forme a získať jej grafický výstup.