Ano ang VisualGPT – Lahat ng Kailangan Mong Malaman

Ang VisualGPT ng Microsoft ay naglabas ng bagong teknolohiya ' VisualGPT ” iyon ay isang pagsulong ng AI at nagbubukas ng mga posibilidad para sa mas kaakit-akit, at interactive na mga karanasan sa AI sa pamamagitan ng pagtulay sa pagitan ng mga visual at wika.

Ano ang VisualGPT?

Ang VisualGPT ay isang pinahabang bersyon ng ChatGPT na batay sa mga modelo ng NLP (Natural Language Processing), ngunit sa VisualGPT, ginagamit ang VFMS na maaaring mag-convert ng mga query sa teksto sa form ng imahe. Ito ay tulad na ito ay isang kumbinasyon/pagsasama ng mga query sa teksto at larawan.

Layunin ng VisualGPT

Matapos ang paglabas ng ChatGPT sa merkado na nagtatrabaho sa textual na format bilang ang tanging, upang makamit ang susunod na antas ng pag-unlad mayroong perpektong tool na gagana sa textual sa graphical na format, na sumusunod sa lahat ng mga kadahilanang ito at sa karera para sa AI pagsulong Inilabas ng Microsoft ang VisualGPT ang pangunahing layunin ng VisualGPT ay lumikha ng mga imahe ng AI sa pangangailangan ng gumagamit o pagsusuri sa imahe

Arkitektura ng VisualGPT

Ang VisualGPT ay naglalaman ng User Query, Prompt Manager, Visual Foundation Models(VFMs), System Principle, History of Dialogue, History of Reasoning, at Intermediate Answer.

Kung partikular nating pinag-uusapan ang modelo nito i.e., ' Mga VFM (Mga Modelo ng Visual Foundation) ”, halos 22 VFM ang ginagamit, tulad ng BLIP (Bootstrapping Language-Image Pre-training), at Stable Diffusion.

Paano Magpatakbo ng Visual ChatGPT?

Upang magpatakbo ng Visual ChatGPT, isaalang-alang ang mga sumusunod na hakbang:

Hakbang 1: Lumikha ng Kapaligiran

Una, kailangan mong lumikha ng isang kapaligiran ng bersyon ng Python 3.8:

import sys

sys.path.append ( '/usr/local/lib/python3.8/site-packages' )

Hakbang 2: I-clone ang Visual ChatGPT File

Ngayon, i-clone ang visual ChatGPT file mula sa GitHub gamit ang sumusunod na command:

! git clone https: // github.com / deepanshu88 / visual-chatgpt.git

Hakbang 3: Mag-set up ng Bagong Direktoryo

Pagkatapos nito, mag-set up ng bagong direktoryo sa pamamagitan ng nakasaad sa ibaba na utos:

% cd visual-chatgpt

Hakbang 4: I-install ang Mga Kinakailangang Package

Ngayon, i-install ang mga kinakailangang pakete gamit ang ' pip ” cmdlet:

! kulot https: // bootstrap.pypa.io / get-pip.py -O get-pip.py

! python3.8 get-pip.py

! python3.8 -m pip i-install -r requirements.txt

Hakbang 5: I-access ang OpenAI API

Pagkatapos mag-install ng mga paunang package, i-access ang OpenAI API sa pamamagitan ng pagkuha ng API key mula sa “platform.openai.com” at paggawa ng mga authenticated API call:

% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Hakbang 6: Piliin ang Modelo

Panghuli, pagkatapos ma-access ang Openai piliin ang Modelo, mayroong higit sa 20 mga modelo na ginagamit sa visualGPT na maaari mong piliin ayon sa iyong kinakailangan:

! python3.8 . / visual_chatgpt.py --load Text2Image_cuda: 0

Sa utos sa itaas, ' Text2Larawan ” ay tumutugma sa modelong gagamitin. Para sa higit pang mga detalye tingnan ang Google Colab na ito kuwaderno .

Konklusyon

Ipinakilala ang ChatGPT upang makakuha ng mga tiyak na sagot tungkol sa anumang query at ngayon ay inilunsad ng Microsoft ang VisualGPT na kayang harapin ang textual pati na rin ang pictorial data. Ito ay tulad na ang gumagamit ay maaaring idagdag lamang ang kanyang mga kinakailangan sa textual form at makuha ang graphical na output nito.

Ano ang VisualGPT – Lahat ng Kailangan Mong Malaman