Ako používať výber podľa maximálnej okrajovej relevancie (MMR) v LangChain?

Ako Pouzivat Vyber Podla Maximalnej Okrajovej Relevancie Mmr V Langchain



LangChain je modul, ktorý možno použiť na vytváranie jazykových modelov na interakciu s ľuďmi v prirodzených jazykoch. Ľudia poskytujú výzvu v textovej forme a model používa vzorový selektor na extrahovanie výstupu pomocou dotazu. Selektory príkladov sa používajú na načítanie výstupu na základe vstupu výberom najbližšieho relevantného príkladu k dotazu alebo výzve.

Táto príručka bude ilustrovať proces používania príkladu výberu pomocou selektora maximálnej okrajovej relevancie v LangChain.

Ako používať výber podľa maximálnej okrajovej relevancie (MMR) v LangChain?

Selektor príkladu maximálnej okrajovej relevantnosti sa používa na extrahovanie informácií pomocou kosínusovej podobnosti výzvy a príkladu. Kosínusová podobnosť sa vypočíta po použití metód vkladania do údajov a prevode textu do číselnej formy.







Ak sa chcete naučiť proces používania príkladu selektora MMR v LangChain, jednoducho prejdite uvedenými krokmi:



Krok 1: Nainštalujte moduly



Začnite proces inštaláciou závislostí LangChain pomocou príkazu pip:





pip install langchain

Nainštalujte modul OpenAI, aby ste mohli použiť jeho prostredie na aplikáciu metódy OpenAIEmbedding():



pip install openai

Nainštalujte rámec FAISS, ktorý možno použiť na získanie výstupu pomocou sémantickej podobnosti:

pip install faiss-gpu

Teraz nainštalujte tiktoken tokenizer na rozdelenie textu na menšie časti pomocou nasledujúceho kódu:

pip nainštalovať tiktoken

Krok 2: Používanie knižníc a príkladov

Ďalším krokom je import knižníc na vytvorenie vzorového selektora MMR, FAISS, OpenAIEmbeddings a PromptTemplate. Po importovaní knižníc jednoducho vytvorte vzorovú množinu, ktorá poskytuje vstupy a výstupy pre ich príslušné vstupy vo viacerých poliach:

od langchain. výzvy . example_selector importovať (
MaxMarginalRelevanceExampleSelector ,
SemanticSimilarityExampleSelector ,
)
od langchain. vectorstores importovať FAISS
od langchain. vsadenia importovať OpenAIEmbeddings
od langchain. výzvy importovať FewShotPromptTemplate , PromptTemplate

example_prompt = PromptTemplate (
vstupné_premenné = [ 'vstup' , 'výkon' ] ,
šablóna = 'Vstup: {input} \n Výstup: {output}' ,
)

príklady = [
{ 'vstup' : 'šťasný' , 'výkon' : 'smutny' } ,
{ 'vstup' : 'vysoký' , 'výkon' : 'krátky' } ,
{ 'vstup' : 'energický' , 'výkon' : 'letargický' } ,
{ 'vstup' : 'slnečno' , 'výkon' : 'pochmúrny' } ,
{ 'vstup' : 'veterno' , 'výkon' : 'pokojný' } ,
]

Krok 3: Výber príkladu budovy

Teraz začnite vytvárať vzorový selektor MMR pomocou metódy MaxMarginalRelevanceExampleSelector() obsahujúcej rôzne parametre:

example_selector = MaxMarginalRelevanceExampleSelector. from_examples (
príklady ,
OpenAIEmbeddings ( ) ,
FAISS ,
k = 2 ,
)
mmr_prompt = FewShotPromptTemplate (
example_selector = example_selector ,
example_prompt = example_prompt ,
predpona = 'Uveďte antonymum každého vstupu' ,
prípona = 'Vstup: {prídavné meno} \n Výkon:' ,
vstupné_premenné = [ 'prídavné meno' ] ,
)

Krok 4: Testovanie voliča príkladov MMR

Otestujte vzorový selektor MMR maximálnej okrajovej relevancie jeho volaním v metóde print() so vstupom:

vytlačiť ( mmr_prompt. formát ( prídavné meno = 'ustarostený' ) )

Krok 5: Použitie SemanticSimilarity

Tento krok používa metódu SemanticSimilarityExampleSelector() a potom používa metódu FewShotPromptTemplate(), ktorú podporuje LangChain:

example_selector = SemanticSimilarityExampleSelector. from_examples (
príklady ,
OpenAIEmbeddings ( ) ,
FAISS ,
k = 2 ,
)
podobná_výzva = FewShotPromptTemplate (
example_selector = example_selector ,
example_prompt = example_prompt ,
predpona = 'Uveďte antonymum každého vstupu' ,
prípona = 'Vstup: {prídavné meno} \n Výkon:' ,
vstupné_premenné = [ 'prídavné meno' ] ,
)
vytlačiť ( podobná_výzva. formát ( prídavné meno = 'ustarostený' ) )

To je všetko o použití výberu podľa maximálnej okrajovej relevancie alebo MMR v LangChain.

Záver

Ak chcete použiť výber podľa maximálnej okrajovej relevancie alebo vzorový selektor MMR v LangChain, nainštalujte požadované moduly. Potom naimportujte knižnice na zostavenie vzorovej sady pomocou šablóny vstupného a výstupného príkazu. Zostavte vzorový selektor MMR a otestujte ho pomocou vzorového selektora MMR a metódy FewShotPromptTemplate() na získanie relevantného výstupu. Táto príručka ilustruje proces používania vzorového selektora select-by-MMR v LangChain.