Grid Search s MLflow

Výhody vyhľadávania v mriežke

• Automatizované ladenie hyperparametrov: Grid search automatizuje ladenie hyperparametrov, čo umožňuje systematické skúmanie bez manuálnych pokusov a omylov.
• Reprodukovateľnosť: Vyhľadávanie v mriežke zabezpečuje platnosť testu reprodukovateľným získavaním reprodukovateľných výsledkov, čo zlepšuje komunikáciu a spoľahlivosť.
• Vyčerpávajúce vyhľadávanie: GS efektívne nájde optimálne hyperparametre pre model vyčerpávajúcim hľadaním kombinácií.
• Robustnosť: Vyhľadávanie v mriežke je robustná technika, ktorá je odolná voči dátovému šumu, čím sa znižuje nadmerné prispôsobenie.
• Jednoduché použitie: Vyhľadávanie v mriežke je jednoduché na používanie a pochopenie, čo z neho robí životaschopnú metódu ladenia hyperparametrov.
• Porovnania modelov: Vyhľadávanie v mriežke zjednodušuje porovnávanie modelov a výber metrík hodnotenia.

Nevýhody vyhľadávania v mriežke

• Výpočtové náklady: Vyhľadávanie v mriežke je výpočtovo nákladné pre ladenie veľkého počtu hyperparametrov.
• Časovo náročné: Je to časovo náročné na zložité úpravy hyperparametrov.
• Nie vždy potrebné: Teraz je to vždy potrebné; Najlepšou alternatívou je náhodné vyhľadávanie.

Príklad: Nájdenie najlepších nastavení modelu pre univerzitný prijímací systém

Pozrime sa na príklad vyhľadávania mriežky pre ladenie hyperparametrov v rámci online prijímacieho systému na univerzitu. V tomto príklade používame scikit-learn a jednoduchý klasifikátor Gradient Boosting Classifier (GBC) na predpovedanie pravdepodobnosti prijatia študenta na univerzitu na základe faktorov, ako sú body GPA, skóre SAT, skóre ACT a mimoškolské aktivity. Na vyhľadávanie mriežky namiesto GBC je k dispozícii viacero možností vrátane Logistic Regression (LR), SVM (Support Vector Machine) atď.

Generujte náhodné údaje pre online prijímací systém pomocou MLflow pre vyhľadávanie v sieti

Python's Pandas a náhodné balíčky možno použiť na vytvorenie fiktívneho súboru údajov pre prijímací systém. S náhodnými hodnotami pre stĺpce APP_NO, GPA, SAT Score, ACT Score, Extracurricular Activities a Admission Status tento kód generuje syntetickú množinu údajov o prijatí. Premenná num_students riadi počet riadkov v množine údajov.

Stav prijatia je náhodne nastavený na základe 70% miery prijatia a náhodný modul sa používa na vytváranie náhodných hodnôt pre niekoľko stĺpcov. Na demonštračné účely nasledujúci kus kódu vytvorí falošný súbor údajov o prijatí s náhodnými hodnotami a uloží sa do súboru std_admission_dataset.csv:

Úryvok kódu:

Spustenie kódu:

Pomocou príkazu Python skompilujte kód a potom pomocou príkazu pip nainštalujte konkrétny modul, ak narazíte na chybu modulu. Ak je Python verzie 3.X alebo vyššej, na inštaláciu danej knižnice použite príkaz pip3 install.

Úspešná realizácia:

Snímka obrazovky s ukážkovými údajmi:

Krok 1: Importujte knižnice

• Knižnica MLflow na sledovanie experimentov strojového učenia
• Knižnica Pandas na spracovanie a analýzu údajov, ako aj balík mlflow.sklearn na integráciu modelov Scikit-Learn
• Štvrtý riadok importuje knižnicu „varovania“ na potlačenie chýb
• Trieda ParameterGrid pre vyhľadávanie v mriežke v module sklearn.model_selection
• GridSearchCV a GradientBoostingClassifier zo sklearn.model_selection a ensemble, v tomto poradí, pre vyhľadávanie v mriežke a modely klasifikátorov so zosilnením gradientu
• Funkcie presnosť_skóre a klasifikácia_report z modulu sklearn.metrics na výpočet presnosti modelu a generovanie správ o klasifikácii
• Kód importuje modul OS a nastaví premennú prostredia GIT_PYTHON_REFRESH na tichý.

Úryvok kódu:

Krok 2: Nastavte identifikátor URI sledovania

Identifikátor URI sledovania servera MLflow sa nastavuje pomocou funkcie mlflow.set_tracking_uri(), ktorá zabezpečuje lokálny počítač na porte 5000 pre experimenty a modely.

Krok 3: Načítajte a pripravte súbor údajov o prijatí

Importujte knižnicu Pandas ako panda_obj na manipuláciu a analýzu údajov. Funkcia read_csv() sa použije na načítanie množiny údajov o prijatí. Cesta k množine údajov je jediným argumentom, ktorý funkcia read_csv() vyžaduje. Cesta k množine údajov v tomto prípade je std_admission_dataset.csv. Použitím funkcie read_csv() sa súbor údajov načíta do Pandas DataFrame.

Kód najskôr odstráni stĺpec Admission_Status z dátového rámca std_admissions_data DataFrame. Keďže tento stĺpec obsahuje cieľovú premennú, predbežné spracovanie nie je potrebné.

Potom kód vytvorí dve nové premenné: „F“ a „t“. Vlastnosti sú obsiahnuté v premennej „F“, zatiaľ čo cieľová premenná je obsiahnutá v premennej „t“.

Údaje sa potom distribuujú do testovacích a tréningových súborov. To sa dosiahne pomocou funkcie tts() z balíka sklearn.model_selection. Vlastnosti, cieľová premenná, veľkosť testu a náhodný stav sú štyri argumenty, ktoré funkcia tts() vyžaduje. Parameter test_size určuje časť údajov, ktorá sa používa na testovacie účely. Keďže veľkosť testu je v tomto prípade nastavená na 0,2, na test sa použije 20 % údajov.

Voľba random_state určuje základ generátora náhodných čísel. To sa robí, aby sa zabezpečilo, že údaje sú oddelené náhodne. Tréningové a testovacie sady sú teraz uložené v premenných F_training, F_testing, t_training a t_testing. Tieto sady možno použiť na vyhodnotenie a trénovanie modelov strojového učenia.

Úryvok kódu:

Krok 4: Nastavte názov experimentu MLflow

Krok 5: Definujte klasifikátor zosilnenia gradientu

Model klasifikátora zosilňovania gradientu je teraz uložený v premennej gbc_obj. Vstupný súbor údajov možno použiť na testovanie a trénovanie tohto modelu. Hodnota argumentu random_state je 42. To zaručuje, že model je trénovaný pomocou presne rovnakého zdroja generátora náhodných čísel, vďaka ktorému sú výsledky opakovateľné.

Krok 6: Definujte mriežku hyperparametrov

Kód na začiatku vytvorí slovník param_grid. Tento slovník obsahuje hyperparametre, ktoré sa upravujú pomocou vyhľadávania v mriežke. Tri kľúče tvoria slovník param_grid: n_estimators, learning_rate a max_depth. Toto sú hyperparametre modelu klasifikátora zvyšujúceho gradient. Počet stromov v modeli je určený hyperparametrom n_estimators. Rýchlosť učenia modelu je špecifikovaná pomocou hyperparametra learning_rate. Hyperparameter max_depth definuje najvyššiu možnú hĺbku stromov modelu.

Úryvok kódu:

Krok 7: Vykonajte vyhľadávanie v mriežke pomocou sledovania MLflow

Kód potom iteruje cez slovník param_grid. Pre každú sadu hyperparametrov v slovníku kód robí nasledovné:

• Spustí nový chod MLflow
• Skonvertuje hyperparametre na zoznam, ak ešte nie sú zoznamom
• Zaznamená hyperparametre do MLflow
• Trénuje model vyhľadávania mriežky so špecifikovanými hyperparametrami
• Získa najlepší model z vyhľadávania v mriežke
• Vytvára predpovede na testovacích údajoch, ktoré fungujú ako najlepší model
• Vypočíta presnosť modelu
• Vytlačí správu o hyperparametroch, presnosti a klasifikácii
• Zaznamená presnosť a model do MLflow

Úryvok kódu:

Krok 8: Spustite program pomocou Pythonu

Tu je výstup na serveri MLflow:

Záver

Nástroj na vyhľadávanie mriežky MLflow automatizuje ladenie, sledovanie výsledkov a úpravu hyperparametrov v modeloch strojového učenia. Pomáha určiť ideálne hyperparametre a zaisťuje spoľahlivé výsledky, ale pri rozsiahlych experimentoch s hyperparametrami môže byť výpočtovo nákladná.