LangChain je rámec na vytváranie veľkých jazykových modelov pomocou umelej inteligencie, aby mohol generovať text a komunikovať s ľuďmi. Asyncio je knižnica, ktorú možno použiť na volanie modelu ako LLM viackrát pomocou rovnakého príkazu alebo dotazu. Poskytuje tiež zvýšenie rýchlosti práce nášho modelu LLM na efektívne generovanie textu.
Tento článok ukazuje, ako používať knižnicu „asyncio“ v LangChain.
Ako používať/spúšťať knižnicu „asyncio“ v LangChain?
Async API možno použiť ako podporu pre LLM, takže pri používaní knižnice asyncio v LangChain jednoducho postupujte podľa tohto sprievodcu:
Predpoklady inštalácie
Nainštalujte si modul LangChain, aby ste mohli začať používať knižnicu asyncio v LangChain na súbežné volanie LLM:
pip Inštalácia langchain
Modul OpenAI je tiež potrebný na vytváranie LLM pomocou OpenAIEmbeddings:
pip Inštalácia openai
Po inštaláciách jednoducho nakonfigurujte kľúč OpenAI API pomocou nasledujúceho kódu:
importujte násimportovať getpass
os.environ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API Key:' )
Použitie asyncio na vybudovanie LLM
Knižnica asyncio sa môže použiť na podporu LLM, pretože ju používa nasledujúci kód v LangChain:
importovať časimportovať asyncio
#Import asyncio knižníc z LangChain, aby ste ich mohli použiť
z langchain.llms importujte OpenAI
#define funkciu na získanie časovej pečiatky sériového generovania
def generovať_sériovo ( ) :
llm = OpenAI ( teplota = 0,9 )
pre _ v rozsah ( 5 ) :
resp = llm.generovať ( [ 'Čo robíš?' ] )
vytlačiť ( resp.generácií [ 0 ] [ 0 ] .text )
#define funkciu na získanie časovej pečiatky synchrónneho generovania
async def async_generate ( llm ) :
resp = čakať llm.agenerovať ( [ 'Čo robíš?' ] )
vytlačiť ( resp.generácií [ 0 ] [ 0 ] .text )
#define funkciu na získanie časovej pečiatky generovania údajov súčasne
async def create_concurrently ( ) :
llm = OpenAI ( teplota = 0,9 )
úlohy = [ async_generate ( llm ) pre _ v rozsah ( 10 ) ]
čakať asyncio.zhromaždiť ( * úlohy )
#nakonfigurujte výsledný výstup pomocou asyncio na získanie súbežného výstupu
s = time.perf_counter ( )
čakať na generovanie_súbežne ( )
uplynutý = time.perf_counter ( ) - s
vytlačiť ( '\033[1 m' + f 'Súbežné vykonanie za {elapsed:0,2f} sekúnd.' + '\033[0 m' )
#nakonfigurujte časovú značku pre výsledný výstup, aby ste získali sériový výstup
s = time.perf_counter ( )
generovať_sériovo ( )
uplynutý = time.perf_counter ( ) - s
vytlačiť ( '\033[1 m' + f 'Sériové číslo bolo spustené za {elapsed:0,2f} sekúnd.' + '\033[0 m' )
Vyššie uvedený kód používa knižnicu asyncio na meranie času na generovanie textov pomocou dvoch odlišných funkcií, ako napr generovať_sériovo() a generovať_súbežne() :
Výkon
Nasledujúca snímka obrazovky ukazuje, že časová zložitosť funkcií aj časová zložitosť súbežného generovania textu je lepšia ako pri sériovom generovaní textu:
To je všetko o použití knižnice „asyncio“ na vytváranie LLM v LangChain.
Záver
Ak chcete použiť knižnicu asyncio v LangChain, jednoducho nainštalujte moduly LangChain a OpenAI, aby ste mohli začať s procesom. Async API môže byť užitočné pri vytváraní modelu LLM na vytváranie chatbotov, aby ste sa poučili z predchádzajúcich konverzácií. Táto príručka vysvetľuje proces používania knižnice asyncio na podporu LLM pomocou rámca LangChain.