Hosting a správa údajov v databázach a dátových skladoch bola vždy hektickou a problematickou úlohou. Na pochopenie dát si vyžaduje veľa zdrojov a výpočtového výkonu. Amazon Web Services má na tento účel komplexné riešenie. Má službu s názvom Amazon Redshift, ktorá plne spravuje dátové sklady používateľov.
Tento článok podrobne vysvetlí Amazon Redshift spolu s jeho architektúrou dátového skladu. Všetky komponenty architektúry systému dátového skladu Redshift budú podrobne vysvetlené.
Čo je to Amazon Redshift?
IT je služba skladovania údajov poskytovaná spoločnosťou Amazon. Efektívne spravuje a analyzuje veľké množiny údajov pre analýzu a vytváranie prehľadov. Je postavená na stĺpcovom modeli úložiska. Využíva klastre výpočtových uzlov riadených vedúcim uzlom na poskytovanie vysokovýkonného spracovania údajov.
Berie údaje z rôznych zdrojov a spája ich, aby vytvoril dátový sklad. Ponúka rôzne funkcie, ako napríklad zdieľanie údajov a analýzu v reálnom čase. Pozrite si obrázok nižšie, aby ste pochopili funkcie a možnosti Amazon Redshift:
Poďme teraz k architektúre jeho systému dátového skladu.
Čo je architektúra systému Amazon Redshift Data Warehouse?
Táto systémová architektúra má tri základné časti. Tieto časti sú:
- Skladovanie
- Zrýchlenie
- Výpočet
Poďme pochopiť ich účel:
Skladovanie
Úložná časť sa zaoberá ukladacími službami, ktoré má Redshift. Má vlastnú možnosť spravovaného úložiska, ako aj možnosť S3 bucket.
Zrýchlenie
Urýchlovacia časť závisí od používanej úložnej služby a použitého výpočtového výkonu. Úložisko spravované Redshiftom je rýchlejšie v porovnaní s inými možnosťami ukladania
Výpočet
Výpočtová časť sa výlučne zaoberá používaným výpočtovým výkonom. Výpočet sa vykonáva s klastrami a klastre majú uzly. Uzly majú zase rezy.
Pre lepšie pochopenie všetkých prvkov a komponentov tejto architektúry si pozrite obrázok nižšie:
Poďme pochopiť jeho zložky jeden po druhom.
Aké sú architektonické komponenty Amazon Redshift?
Nasledujú architektonické komponenty Amazon Redshift:
- Zhluky
- Uzly
- Uzlové rezy
- Skladovanie
- Vnútorná sieť
- databázy
Poďme o nich diskutovať jeden po druhom:
Zhluky
Klaster je základná a základná jednotka. Zahŕňa množstvo uzlov. Ak sa klaster skladá z viacerých výpočtových uzlov, zakročí ďalší vedúci uzol, aby koordinoval aktivity týchto výpočtových uzlov a riadi externú komunikáciu.
Uzly
Uzly v klastroch sú dvoch typov. Toto sú:
- Vedúci uzol
- Výpočtový uzol
Poďme pochopiť tieto po jednom:
Vedúci uzol
Riadi komunikáciu s klientskymi programami a koordinuje interakcie s výpočtovými uzlami. Vedúci uzol hrá dôležitú úlohu pri vykonávaní zložitých dotazov. Kompiluje kód na základe vykonávacieho plánu, ktorý je distribuovaný do výpočtových uzlov a priraďuje dátové časti každému jednotlivému výpočtovému uzlu.
Výpočtový uzol
Výpočtové uzly sú chrbticou architektúry Amazon Redshift. Vykonávajú ukladanie a spracovanie údajov. Tieto majú vyhradené zdroje, ako je pamäť a CPU.
Uzlové rezy
Výpočtové uzly sa ďalej delia na rezy. Tieto rezy spolupracujú pri spracovaní priradených pracovných zaťažení a dosahujú paralelizmus na zlepšenie spracovania dotazov.
Skladovanie
Ukladanie dát v rámci Amazon Redshift spravuje „Redshift Managed Storage (RMS)“. Má schopnosť nezávisle škálovať úložisko pomocou úložiska „Amazon S3“. RMS používa vysokovýkonné lokálne úložisko založené na SSD ako vyrovnávaciu pamäť vrstvy 1, ktorá optimalizuje výkon.
Vnútorná sieť
Táto interná sieť v Amazon Redshift pomáha pri rýchlej a bezpečnej komunikácii medzi vedúcimi uzlami a výpočtovými uzlami. Táto sieť nie je priamo prístupná klientskym aplikáciám.
databázy
Klastre majú jednu alebo viac databáz. Údaje z týchto databáz sú na výpočtových uzloch. Klientske aplikácie komunikujú s vedúcim uzlom. Výpočtový uzol riadi vykonávanie dotazov naprieč výpočtovými uzlami.
Toto je všetko o Amazon Redshift a jeho architektonických prvkoch. Tento článok komplexne vysvetlil pracovné komponenty Amazon Redshift
Záver
Architektúra Amazon Redshift je dôvodom, na ktorom stoja jeho schopnosti. Vedúci uzol riadi a spravuje výpočtové uzly a segmenty uzlov pomáhajú pri paralelnom spracovaní. Redshift Managed Storage využíva úložisko založené na SSD na zvýšenie výkonu. Tento článok vysvetľuje architektúru systému Amazon Redshift Data Warehouse.