„Comma-Separated Values (CSV) je jedným z najuniverzálnejších a najľahšie použiteľných dátových formátov. Ide o ľahký dátový formát, ktorý umožňuje vývojárom a aplikáciám prenášať a analyzovať dáta z jedného zdroja do druhého.
Údaje CSV ukladajú údaje v tabuľkovom formáte, kde je každý stĺpec oddelený čiarkou a nový záznam je priradený novému riadku. Vďaka tomu je veľmi dobrou voľbou pre export databáz, ako sú databázy SQL, údaje Cassandra a ďalšie.
Nie je preto žiadnym prekvapením, že sa stretnete so scenárom, v ktorom budete musieť importovať súbor CSV do databázy.
Cieľom tohto návodu je ukázať vám rýchly a jednoduchý spôsob importovania súboru CSV do vášho klastra Elasticsearch pomocou ovládacieho panela Kibana.“
Poďme na to.
Požiadavky
Pred ponorením sa uistite, že máte nasledujúce požiadavky:
- Klaster Elasticsearch so zeleným zdravotným stavom.
- Server Kibana pripojený k vášmu klastru Elasticsearch.
- Dostatočné povolenia na správu indexov vo vašom klastri.
Vzorový súbor CSV
Ako obvykle, prvou požiadavkou je váš zdrojový súbor CSV. Je dobré sa uistiť, že údaje vo vašom súbore CSV sú správne naformátované a neobsahujú žiadne chyby.
Na účely ilustrácie použijeme bezplatný súbor údajov, ktorý obsahuje filmy a televízne relácie od Amazon Prime.
Otvorte prehliadač a prejdite na zdroj nižšie:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Postupujte podľa pokynov na stiahnutie súboru údajov do vášho lokálneho počítača. Stiahnutý archív môžete extrahovať príkazom:
$ rozopnúť a~ / K stiahnutiu / archív.zip
Importovať súbor CSV
Keď budete mať svoj zdrojový súbor pripravený, môžeme pokračovať a diskutovať o tom, ako ho importovať.
Začnite tým, že prejdete na svoj domovský panel Kibana a vyberiete možnosť „nahrať súbor“.
V spúšťacom okne vyhľadajte cieľový súbor CSV, ktorý chcete importovať.
Vyberte zdrojový súbor a kliknite na tlačidlo Nahrať.
Umožnite Elasticsearch a Kibana analyzovať nahraný súbor. Týmto sa analyzuje súbor CSV a určí sa formát údajov, polia, typy údajov atď.
POZNÁMKA: V závislosti od konfigurácie klastra a veľkosti údajov môže tento proces chvíľu trvať. Uistite sa, že hlavný uzol reaguje, aby ste sa vyhli časovým limitom.
Po dokončení procesu by ste mali získať vzorku obsahu súboru a štatistiku súboru analyzovanú spoločnosťou Elastic.
Môžete prispôsobiť množstvo parametrov, napríklad oddeľovač, riadky hlavičiek atď. Napríklad môžeme prispôsobiť výstup vyššie, aby sme Elasticu povedali, že náš súbor CSV obsahuje súbory hlavičiek.
Potom môžeme kliknúť na použiť a znova analyzovať údaje. To by malo naformátovať údaje v správnom formáte vrátane polí.
Ďalej môžeme kliknúť na import a prejsť na importovaný informačný panel.
Tu musíme vytvoriť index, v ktorom sú uložené údaje CSV. Svojmu indexu môžete priradiť akýkoľvek podporovaný názov.
Ak chcete prispôsobiť vlastnosti indexu, ako je počet zlomkov, replík, mapovaní atď., Vyberte rozšírenú možnosť a upravte nastavenia podľa svojich predstáv.
Nakoniec kliknite na importovať a sledujte, ako Kibana robí svoje „kúzlo“. Po dokončení môžete pristupovať k svojmu indexu buď prostredníctvom rozhrania Elasticsearch API alebo pomocou dashboardu Kibana.
A máte hotovo!!
Záver
V tomto príspevku sme sa zaoberali procesom načítania a importu vašej množiny údajov CSV do vášho klastra Elasticsearch pomocou informačného panela Kibana.
Ďakujem za prečítanie a prajem príjemné kódovanie!!