Táto príručka vysvetlí zoznam prehľadávačov v AWS.
Čo sú zoznamové prehľadávače v AWS?
Crawler je komponent AWS Glue, ktorý sa používa na prehľadávanie umiestnenia údajov a odvodzuje tieto informácie späť do katalógu. Informácie, ktoré prehľadávač zhromažďuje, môžu byť typy údajov, štruktúra schémy alebo inými slovami, zbiera metaúdaje. Crawler možno použiť aj s katalógom údajov, ktorý sa používa, keď sa údaje presúvajú v rámci ekosystému Glue pri používaní úloh ETL atď.
Čo je služba Amazon Glue Service?
AWS Glue je služba Amazon Extract Transform and Load, ktorá umožňuje používateľovi organizovať, lokalizovať, presúvať a transformovať všetky údaje. AWS Glue je bez servera, pretože používateľ nevyžaduje poskytovanie a konfiguráciu serverov ani správu životných cyklov. Katalóg údajov a prehľadávače sú komponenty AWS Glue, ktoré funguje ako trvalé úložisko metadát:
Ako vytvoriť prehľadávač na AWS?
Ak chcete vytvoriť prehľadávač na AWS, navštívte službu AWS Glue z konzoly AWS Management Console:
Zamierte do „ Crawlery ” stránku kliknutím na jej názov v ľavom paneli:
Klikni na ' Vytvorte prehľadávač tlačidlo ”:
Zadajte názov prehľadávača a kliknite na „ Ďalšie tlačidlo ”:
Vyberte možnosť mapovania pre lepiace tabuľky a kliknite na „ Pridajte zdroj ” tlačidlo na získanie údajov z:
Vyberte službu S3 a kliknite na „ Prehľadávať S3 “, aby ste získali umiestnenie zdroja:
Jednoducho vyberte priečinok S3 a kliknite na „ Vyberte si tlačidlo ”:
Po pridaní miesta do zdroja jednoducho kliknite na „ Pridajte zdroj údajov S3 tlačidlo ”:
Klikni na ' Ďalšie tlačidlo ”:
Klikni na ' Vytvorte novú rolu IAM ” tlačidlo z “ Nakonfigurujte nastavenia zabezpečenia sekcia:
Zadajte názov roly a kliknite na „ Vytvorte tlačidlo ”:
Potom stačí kliknúť na „ Ďalšie tlačidlo ”:
Vyberte cieľovú databázu a zadajte názov, ktorý sa použije pre tabuľku:
Naplánujte prehľadávač na „ Na požiadanie “ a kliknite na „ Ďalšie tlačidlo ”:
Skontrolujte konfiguráciu a kliknite na „ Vytvorte prehľadávač tlačidlo ”:
Prehľadávač bol úspešne vytvorený a možno ho použiť na načítanie údajov zo zdroja kliknutím na „ Bežať tlačidlo ”:
To je všetko o zoznamových prehľadávačoch v AWS.
Záver
ListCrawler je súčasťou služby AWS Glue, ktorú možno použiť na prehľadávanie informácií zo zdrojov a návrat do katalógu. Katalógy údajov a prehľadávače môžu byť použité na zhromažďovanie údajov na získanie informácií o údajoch, ktoré sú známe ako metaúdaje. Používateľ môže tiež vytvoriť prehľadávač z AWS Glue na získanie údajov zo služby S3 alebo iných zdrojov a umiestniť tabuľky na vytvorenie do databázy. Táto príručka vysvetlila ListCrawlers v AWS a ako ich vytvoriť.