Paano Gumamit ng Conversation Token Buffer sa LangChain?

Paano Gumamit Ng Conversation Token Buffer Sa Langchain



Binibigyang-daan ng LangChain ang mga developer na bumuo ng mga modelo gamit ang machine learning o deep learning na maaaring magsanay ng mga modelo gamit ang mga dataset. Ang mga modelong ito ay maaaring makakuha ng iba't ibang pattern mula sa data o maunawaan ang anyo ng dataset at ang wika nito upang kumuha ng impormasyon. Ang Mga Malaking Modelo ng Wika o LLM ay maaaring i-configure o idinisenyo gamit ang LangChain frameworks na makakaunawa at makabuo ng teksto sa mga natural na wika.

Ipapakita ng gabay na ito ang proseso ng paggamit ng buffer ng token ng pag-uusap sa LangChain.

Paano Gumamit ng Conversation Token Buffer sa LangChain?

Ang ConversationTokenBufferMemory Ang library ay maaaring ma-import mula sa LangChain framework upang iimbak ang pinakabagong mga mensahe sa buffer memory. Ang mga token ay maaaring i-configure upang limitahan ang bilang ng mga mensaheng naka-imbak sa buffer at ang mga naunang mensahe ay awtomatikong ma-flush.







Upang matutunan ang proseso ng paggamit ng buffer ng token ng pag-uusap sa LangChain, gamitin ang sumusunod na gabay:



Hakbang 1: I-install ang Mga Module

Una, i-install ang LangChain framework na naglalaman ng lahat ng kinakailangang module gamit ang pip command:



pip install langchain





Ngayon, i-install ang OpenAI module para buuin ang mga LLM at chain gamit ang OpenAI() na paraan:

pip install openai



Pagkatapos i-install ang mga module, gamitin lang ang API key ng OpenAI upang itakda ang kapaligiran gamit ang os at getpass library:

angkat ikaw

angkat getpass

ikaw . humigit-kumulang [ 'OPENAI_API_KEY' ] = getpass . getpass ( 'OpenAI API Key:' )

Hakbang 2: Paggamit ng Conversation Token Buffer Memory

Buuin ang mga LLM gamit ang OpenAI() na pamamaraan pagkatapos i-import ang ConversationTokenBufferMemory library mula sa LangChain framework:

mula sa langchain. alaala angkat ConversationTokenBufferMemory

mula sa langchain. llms angkat OpenAI

llm = OpenAI ( )

I-configure ang memorya para itakda ang token, pinapa-flush nito ang mga lumang mensahe at iniimbak ang mga ito sa buffer memory. Pagkatapos nito, iimbak ang mga mensahe mula sa pag-uusap at kunin ang mga pinakabago para sa paggamit sa mga ito bilang konteksto:

alaala = ConversationTokenBufferMemory ( llm = llm , max_token_limit = 10 )

alaala. save_context ( { 'input' : 'Kamusta' } , { 'output' : 'kamusta ka' } )

alaala. save_context ( { 'input' : 'Mabait ako ano sayo' } , { 'output' : 'hindi gaano' } )

Ipatupad ang memorya upang makuha ang data na nakaimbak sa buffer memory gamit ang load_memory_variables() na pamamaraan:

alaala. load_memory_variables ( { } )

Hakbang 3: Paggamit ng Conversation Token Buffer Memory sa isang Chain

Buuin ang mga chain sa pamamagitan ng pag-configure ng ConversationChain() paraan na may maraming argumento upang magamit ang memorya ng buffer ng token ng pag-uusap:

mula sa langchain. mga tanikala angkat ConversationChain

conversation_with_summary = ConversationChain (
llm = llm ,
alaala = ConversationTokenBufferMemory ( llm = OpenAI ( ) , max_token_limit = 60 ) ,
verbose = totoo ,
)
conversation_with_summary. hulaan ( input = 'Kamusta ka?' )

Ngayon, ituloy ang pag-uusap sa pamamagitan ng pagtatanong gamit ang mga senyas na nakasulat sa natural na wika:

conversation_with_summary. hulaan ( input = 'Gumagawa lang sa proyekto ng NLP' )

Kunin ang output mula sa data na nakaimbak sa buffer memory gamit ang bilang ng mga token:

conversation_with_summary. hulaan ( input = 'Nagtatrabaho lang sa pagdidisenyo ng mga LLM' )

Ang buffer ay patuloy na nag-a-update sa bawat bagong input habang ang mga nakaraang mensahe ay regular na nag-flush:

conversation_with_summary. hulaan (

input = 'LLM gamit ang LangChain! Narinig mo na ba ito'

)

Iyon ay tungkol sa paggamit ng buffer ng token ng pag-uusap sa LangChain.

Konklusyon

Para magamit ang buffer ng token ng pag-uusap sa LangChain, i-install lang ang mga module para i-set up ang environment gamit ang API key mula sa OpenAI account. Pagkatapos nito, i-import ang ConversationTokenBufferMemory library gamit ang LangChain module upang iimbak ang pag-uusap sa buffer. Maaaring gamitin ang buffer memory sa isang chain para i-flush ang mga lumang mensahe sa bawat bagong mensahe sa chat. Ang post na ito ay nagpapaliwanag sa paggamit ng memorya ng token buffer ng pag-uusap sa LangChain.