Paano Mag-import ng Pre-Trained Model sa PyTorch?

Paano Mag Import Ng Pre Trained Model Sa Pytorch



Ang mga modelo ng Machine Learning sa PyTorch ay maaaring maging lubhang kumplikado at detalyado sa milyun-milyong row at terabytes ng data. Kung mas malaki at mas magkakaibang ang dataset na ginamit sa pagsasanay, mas mahusay ang mga hinuha ng modelo. Napakahalaga na makagamit ng mga dating sinanay na modelo upang makakuha ng mga hinuha mula sa bagong data dahil maaari itong mag-save ng mga mapagkukunan at gumamit ng parehong maselang ginawang mga modelo.

Sa blog na ito, tatalakayin natin ang dalawang pamamaraan kung paano mag-import ng pre-trained na modelo sa PyTorch.

Paano Mag-import ng Pre-Trained Model sa PyTorch Gamit ang Torchvision?

Ang ' torchvision ” maaaring gamitin ang library para mag-import ng mga pre-trained na modelo sa PyTorch. Ito ay isang subdibisyon ng pangunahing ' tanglaw ” library at naglalaman ng functionality ng mga dating pinagsama-samang dataset at sinanay na mga modelo. Ang library na ito ay nagbibigay sa mga user ng kakayahang tumawag sa mga modelong sinanay sa isang malaking dataset. Ang mga pre-trained na modelong ito ay maaaring ilapat sa bagong data at maaaring magbigay ng mga wastong hinuha nang hindi nangangailangan ng mahaba at hindi mapamahalaang mga loop ng pagsasanay.







Sundin ang mga hakbang na ibinigay sa ibaba upang matutunan kung paano mag-import ng pre-trained na modelo sa PyTorch gamit ang Torchvision:



Hakbang 1: Buksan ang Google Colab
Pumunta sa Colaboratory website nilikha ng Google at magsimula ng ' Bagong Notebook ” upang simulan ang proyekto:







Hakbang 2: Mag-import ng Mga Kinakailangang Aklatan
Kapag na-set up na ang Colab IDE, ang unang hakbang ay ang pag-install at pag-import ng mga library na kailangan sa proyekto:

! pip install torch

angkat tanglaw
angkat torchvision
angkat torchvision. mga modelo

Ang code sa itaas ay gumagana tulad ng sumusunod:



  • Ang ' pip 'Ang package installer para sa Python ay ginagamit upang i-install ang ' tanglaw ” aklatan.
  • Susunod, ang ' angkat Ang command na ” ay ginagamit para i-import ang library sa proyekto ng Colab.
  • Pagkatapos, ang ' torchvision ” ang library ay na-import sa proyekto. Naglalaman ito ng functionality para sa mga dataset at modelo.
  • Ang ' torchvision.model 'Ang module ay naglalaman ng iba't-ibang mga pre-trained na modelo tulad ng sa Residual Neural Network ' ResNet ”:

Hakbang 3: Mag-import ng Pre-Trained na Modelo
Mag-import ng pre-trained na modelo na naka-save sa loob ng package na 'torchvision.models' gamit ang linya ng code sa ibaba:

Pre_Trained_Model = torchvision. mga modelo . seryoso50 ( pretrained = totoo )

Ang linya ng code sa itaas ay gumagana tulad ng sumusunod:

  • Tukuyin ang isang variable at bigyan ito ng angkop na pangalan para sa sanggunian tulad ng “Pre_Trained_Model” .
  • Gamitin ang “torchvision.models” module upang idagdag ang ' ResNet ” modelo.
  • Idagdag ang ' seryoso50 'modelo at itakda ang' pretrained=Totoo ” bilang argumento nito:

Susunod na tingnan ang pre-trained na modelo bilang isang output gamit ang 'print()' na paraan:

print ( Pre_Trained_Model )

Tandaan : Maa-access mo ang aming Colab notebook na nagdedetalye sa pag-import ng isang pre-trained na modelo ng PyTorch gamit ang torchvision dito link .

Paano Mag-import ng Pre-Trained PyTorch Model mula sa Hugging Face Database?

Ang isa pang paraan para mag-import ng pre-trained na modelo ay ang pagkuha nito mula sa Hugging Face platform. Ang Hugging Face ay isa sa pinakasikat na online database para sa mga pre-trained na modelo at malalaking dataset na available para sa mga data scientist at programmer.

Sundin ang mga hakbang sa ibaba upang mag-import ng pre-trained na modelo ng PyTorch mula sa Hugging Face Dataset:

Hakbang 1: Maglunsad ng Colab Notebook at Mag-install at Mag-import ng Mga Kinakailangang Aklatan
Ang unang hakbang ay maglunsad ng notebook sa Colab IDE at mag-install ng mga library gamit ang “ pip ” package installer at i-import ang mga ito gamit ang “ angkat ” utos:

! pip install torch
! pip install ng mga transformer

angkat tanglaw
angkat mga transformer
mula sa mga transformer angkat AutoModel

Ang mga sumusunod na aklatan ay kailangan sa proyektong ito

  • Ang ' tanglaw ” ang library ay ang mahalagang PyTorch library.
  • Ang ' mga transformer ” ang library ay naglalaman ng functionality ng Hugging Face, mga modelo nito, at mga dataset nito:

Hakbang 2: I-import ang Modelo mula sa Hugging Face
Sa halimbawang ito, ang modelong ii-import mula sa ' Nakayakap sa Mukha ” Ang database ay magagamit dito link . Gamitin ang ' AutoModel.from_pretrained() ” paraan para mag-import ng pre-trained na modelo mula sa Hugging Face gaya ng ipinapakita sa ibaba:

pre_trained_model_name = 'Helsinki-NLP/opus-mt-en-zh'
pre_trained_model = AutoModel. from_pretrained ( pre_trained_model_name )

print ( pre_trained_model )

Ang code sa itaas ay gumagana tulad ng sumusunod:

  • Kopyahin ang pangalan ng modelo mula sa website nito sa Hugging Face platform at italaga ito sa ' pre_trained_model_name ” variable sa Colab.
  • Pagkatapos, gamitin ang ' AutoModel.from_pretrained() ” paraan at ipasok ang variable ng pangalan ng modelo bilang argumento nito.
  • Panghuli, gamitin ang “print() ” paraan upang ipakita ang na-import na modelo sa output.

Ipapakita ng pre-trained na modelo na na-import mula sa Hugging Face ang output sa ibaba:

Tandaan : Maa-access mo ang aming Colab notebook na nagdedetalye kung paano mag-import ng pre-trained na modelo mula sa Hugging Face dito link .

Pro-Tip

Ang Hugging Face ay isang mahalagang koleksyon ng malalaking dataset at kumplikadong mga modelo na libre para magamit ng lahat sa loob ng malalim na pag-aaral ng mga proyekto. Maaari ka ring mag-upload ng sarili mong mga dataset para magamit ng iba at ang platform ay nakatutok para sa pakikipagtulungan sa mga data scientist at developer sa buong mundo.

Tagumpay! Ipinakita namin kung paano mag-import ng pre-trained na PyTorch na modelo sa pamamagitan ng paggamit ng torchvision library o mula sa Hugging Face database gamit ang transformers library.

Konklusyon

Para mag-import ng pre-trained na modelo sa PyTorch, maaaring gamitin ng mga user ang torchvision library o mula sa Hugging Face online database gamit ang transformers library sa Google Colab. Ang mga pre-trained na modelong ito ay ginagamit upang maiwasan ang paggastos ng mahalagang oras at mga mapagkukunan ng hardware sa pagsasanay at direktang pumunta sa pagsubok ng bagong data para sa mga kapani-paniwalang hinuha. Sa blog na ito, nagpakita kami ng dalawang paraan para sa pag-import ng mga pre-trained na modelo sa PyTorch.