Táto príručka vysvetlí krížovú validáciu a jej fungovanie pomocou služby AWS.
Čo je krížová validácia?
Cross-Validation umožňuje vývojárom porovnávať rôzne modely strojového učenia a získať predstavu o ich práci v reálnom živote. Pomáha používateľovi zistiť, ktorý model strojového učenia (ML) alebo hlbokého učenia (DL) bude fungovať lepšie pre jeden konkrétny údaj alebo scenár. Existujú situácie, keď je možné použiť viacero modelov pre jeden súbor údajov, tu vývojári používajú krížovú validáciu na získanie vhodného modelu na dosiahnutie optimalizovaných výsledkov:
Ako funguje krížová validácia?
Na kontrolu modelov ML na množine údajov musí používateľ odhadnúť vlastnosti modelu, ktorý sa nazýva trénovanie algoritmu. Ďalšou vecou, ktorú je potrebné skontrolovať, je hodnotenie modelu, aby ste zistili, ako dobre fungoval, a nazýva sa testovanie modelu. Nie je dobrý nápad testovať model na všetkých údajoch, 75 % údajov však používame na tréning a 25 % na testovanie, aby sme dosiahli lepšie výsledky. Krížová validácia vykonáva testovanie na každých 25 % údajov, aby sa zistilo, ktorý blok funguje najlepšie:
Čo je Amazon SageMaker?
Krížovú validáciu v AWS je možné vykonať pomocou služby Amazon SageMaker, pretože je určená na vytváranie, trénovanie a nasadzovanie modelov strojového učenia. Pomáha vedcom a vývojárom údajov pripraviť údaje na vytváranie efektívnych modelov ML alebo DL spojením účelových funkcií. Tieto možnosti sú užitočné pri vytváraní optimalizovaných a presných modelov, ktoré sa budú môcť časom zlepšovať:
Funkcie Amazon SageMaker
Amazon SageMaker je riadená služba a nevyžaduje správu prostredí ML. Potrebuje veľa údajov na trénovanie a zostavovanie modelov ML, takže sa dobre spája so službami Amazon S3 alebo Amazon Redshift na zhromažďovanie údajov. Získanie informácií z nespracovaných údajov môže byť náročné, preto si tiež vyžadujú funkcie na vytváranie modelov. Potom použite údaje na trénovanie modelov a potom na nich vykonajte testy s použitím každých 25 % údajov, aby ste dosiahli lepšie výsledky/predpovede:
To je všetko o krížovej validácii v AWS.
Záver
Krížová validácia je proces získania optimálneho modelu strojového učenia alebo hlbokého učenia údajov, aby sa dosiahli lepšie výsledky. Vykoná testovanie pre každú 25% časť údajov, aby pochopil, ktorý blok poskytuje maximálny výkon, čo z neho robí vhodný vhodný model. AWS poskytuje službu SageMaker na vykonávanie krížovej validácie a vytváranie modelov strojového učenia v cloude. Táto príručka vysvetľuje proces krížového overenia a jeho fungovanie v AWS.