V tejto dobe sú transformátory najvýkonnejšími modelmi, ktoré poskytujú najlepšie výsledky vo viacerých operáciách NLP (spracovanie prirodzeného jazyka). Spočiatku sa používal na úlohy modelovania jazyka vrátane generovania textu, ako aj klasifikácie, strojového prekladu a mnohých ďalších. Teraz sa však používa aj na rozpoznávanie objektov, klasifikáciu obrázkov a mnoho ďalších úloh počítačového videnia.
V tomto návode poskytneme postup na vykonanie klasifikácie textu pomocou Transformers.
Ako vykonať klasifikáciu textu pomocou transformátorov?
Ak chcete vykonať klasifikáciu textu pomocou transformátorov, najskôr nainštalujte „ transformátory ” knižnicu vykonaním poskytnutého príkazu:
! pip Inštalácia transformátory
Ako vidíte, špecifikovaná knižnica bola úspešne nainštalovaná:
Potom importujte súbor „ potrubia “ z „ transformátory “knižnica:
z transformátorov import potrubia
Tu je „ potrubia bude zahŕňať úlohu NLP, ktorú musíme vykonať, a požadovaný model transformátora pre túto operáciu spolu s tokenizérom.
Poznámka: Tokenizér sa používa na spracovanie textu, ktorý má poskytnúť vstup modelu, rozdelením textu na tokeny.
Potom použite „ potrubie() “ a odovzdajte jej “ zero-shot-klasifikácia “ ako argument. Ďalej odovzdajte ďalší parameter, ktorým je náš model. Používame Facebook „ BART “model transformátora. Tu nepoužívame tokenizér, pretože ho možno automaticky odvodiť zo zadaného modelu:
text_classifier = potrubie ( 'klasifikácia nulového záberu' , Model = 'facebook/bart-large-mnli' )
Teraz vyhláste „ nasl ” premenná, ktorá obsahuje náš vstupný text, ktorý je potrebné klasifikovať. Potom poskytneme kategórie, do ktorých chceme text zatriediť a uložiť do „ laboratórium “, ktorý je známy ako štítky:
laboratórium = [ 'aktualizácia' , 'chyba' , 'dôležité' , 'overenie' ]
Nakoniec spustite potrubie spolu so vstupom:
Po vykonaní pipeline, ako môžete vidieť, model predpovedal, že naša poskytnutá sekvencia bude klasifikovaná:
Ďalšie informácie: Ak chcete zrýchliť výkon modelu, musíte použiť GPU. Ak áno, potom na tento účel môžete zadať argument zariadenia do kanála a nastaviť ho na „ 0 “ na využitie GPU.
Ak chcete klasifikovať text vo viac ako jednej sekvencii/vstupnom textovom príkaze, môžete ich pridať do zoznamu a odovzdať ako vstup do potrubí. Na tento účel si pozrite útržok kódu:
nasl = [ „Korektúry a úpravy sú nevyhnutné súčasti na zabezpečenie jasnosti, súdržnosti a bezchybného obsahu“ ,„V tejto modernej dobe je SEO optimalizácia nevyhnutná na to, aby sa články dobre umiestnili a oslovili širšie publikum.“ ]
textový_klasifikátor ( nasl , lab )
Výkon
To je všetko! Zostavili sme najjednoduchší spôsob klasifikácie textu pomocou transformátorov.
Záver
Transformátory sa používajú na vykonávanie úloh jazykového modelovania, ako je generovanie textu, klasifikácia textu a strojový preklad, ako aj úlohy počítačového videnia vrátane rozpoznávania objektov a klasifikácie obrázkov. V tomto návode sme ilustrovali proces vykonávania klasifikácie textu pomocou Transformers.