Dáta sú všade okolo nás, či už vo forme súborov denníkov generovaných zákazníkmi pomocou mobilných alebo webových aplikácií, obchodných nákupov, aktivity hráčov hier a mnohých ďalších zdrojov. Presnejšie povedané, služby AWS Kinesis a Kafka sa využívajú aj na správu a riadenie tokov údajov a prípravu pomocou SQL na uloženie do úložných služieb AWS.
Táto príručka podrobne vysvetlí Kinesis a Kafku.
Čo je Kinesis?
Správa obrovského množstva údajov je pomerne zložitá práca, ktorá si vyžaduje ich zhromažďovanie, ukladanie a analýzu. Služba AWS Kinesis sa používa na kontrolu týchto informácií s vysokou priepustnosťou a pomáha používateľovi zostať v obraze s ich podnikaním, organizáciou a zákazníkmi:
Služby Kinesis
Kinesis zahŕňa tieto služby:
Kinesis Stream : Kinesis stream ponúka príjem streamovania s nízkou latenciou vo veľkom rozsahu.
Kinesis Analytics : Používa sa na zachytávanie údajov z rôznych zdrojov a aplikovanie SQL na vykonávanie analýzy prúdov v reálnom čase:
Kinesis Firehose : Používa sa na konzistentnú prípravu a načítanie streamov do služieb AWS ako S3, Redshift, ElasticSearch atď.:
Čo je Kafka?
Kafka je distribuovaná platforma na streamovanie správ, ktorá na streamovanie údajov využíva mechanizmus zverejňovania a odberu. Amazon Spravované streamovanie pre Apache Kafka “ (MSK) je plne riadená služba, ktorá sa používa na vytváranie kanálov na streamovanie v reálnom čase. Pre nepredvídateľné a neznáme pracovné zaťaženia však platforma zavádza Amazon MSK serverless:
Základné koncepty Kafku
Niektoré zo základných konceptov Kafky sú uvedené nižšie:
Fronta : Poskytuje mechanizmus na odosielanie a prijímanie asynchrónnych správ a ponúka komunikáciu medzi službami:
PubSub : Ide o asynchrónnu službu zasielania správ, čo znamená, že pomáha používateľovi odosielať, prijímať a filtrovať dátové toky:
Je Kinesis rovnaká ako Kafka?
Apache Kafka je open-source riešenie na odosielanie správ PubSub a Kinesis je spravovaná služba AWS, ktorá je modelovaná po Kafkovi. MSK ukladá kľúčové hodnoty dát (Témy) do partícií a Kinesis ukladá dátové záznamy do Shards. Kinesis aj Kafka sú navrhnuté tak, aby poskytovali takmer rovnaké služby, ale rozdiel spočíva v koncepte fan-out.
Záver
Aby som to zhrnul, služby AWS Kinesis a Kafka sú navrhnuté tak, aby vykonávali činnosti, ako je ponúkanie vysokej priepustnosti a pracovného zaťaženia s nízkou latenciou. Kinesis sa používa na správu veľkých dát pomocou streamovania a ukladania dát na úložných službách AWS. Amazon MSK je služba na streamovanie správ PubSub, ktorá tiež používa mechanizmus radenia.