Logistická regresia PySpark

V tejto príručke najprv uvidíme prístup a potom predpovedáme mozgovú príhodu každej osoby pomocou analýzy údajov krok za krokom.

Logistická regresia

Logistická regresia, nazývaná aj „Logit Model“, sa používa v prediktívnej analýze klasifikačných problémov. Toto je model strojového učenia, ktorý funguje iba na klasifikácii na klasifikáciu tried (kategórií). Napríklad v našom scenári existujú dve kategórie (osoba, ktorá je postihnutá mŕtvicou a osoba, ktorá nie je postihnutá mŕtvicou). Najlepšími aplikáciami modelu sú predpoveď srdcových chorôb, predpoveď pohlavia, predpoveď života plodín atď.

Kroky:

1. Zhromažďovanie údajov: Údaje sú potrebné na vykonanie akýchkoľvek predpovedí/analýz. Môže byť okrem iného vo forme CSV/XLSX. To môžeme načítať do prostredia Spark (DataFrame) pomocou metódy spark.read.csv().

2. Analýza údajov : Analýza atribútov/stĺpcov je známa ako „analýza údajov“. Stĺpce, ktoré pomáhajú predpovedať triedu, sú známe ako „nezávislé atribúty“. Stĺpec, ktorý vedie k predikcii, je známy ako „závislý alebo cieľový atribút“. V tomto scenári môžeme použiť vlastnosť columns na zobrazenie všetkých stĺpcov. Metóda different() sa používa na zobrazenie jedinečných hodnôt.

3. Predspracovanie údajov: Filtrovanie nulových/chýbajúcich hodnôt je známe ako „predspracovanie“. V tejto fáze odstránime všetky chýbajúce hodnoty. Stroj pozná iba binárny jazyk. Všetky kategórie reťazcov by sa teda mali previesť na číselné kategorické hodnoty. V PySpark môžeme použiť „StringIndexer“, čo je dostupná trieda v module pyspark.ml.feature na konverziu kategórií reťazcov na číselné. Automaticky ich interne konvertuje. Nemusíme poskytovať hodnoty. Môžete použiť nasledujúcu syntax:

4. Zostavenie vektorov: Teraz máte údaje, ktorým stroj rozumie. V tejto fáze by mali byť všetky nezávislé atribúty vektorizované do jedného stĺpca. Dá sa to urobiť pomocou triedy VectorAssembler. Má dva parametre: Prvý parameter je inputCols, ktorý má zoznam nezávislých atribútov. Druhý parameter je outputCol, ktorý vektorizuje všetky inputCols do tejto premennej.

5. Transformácia: Teraz pripravte svoje údaje transformáciou aktualizovaných stĺpcov (krok 3) pomocou funkcie transform().

6. Príprava údajov na školenie a testovanie: V tejto fáze rozdeľujeme údaje na „tréning“ a „testovanie“. Bude lepšie, ak rozdelíme 70 % údajov na trénovanie modelu a 30 % údajov na testovanie modelu. Dá sa to dosiahnuť pomocou metódy randomSplit(). Vyžaduje si zoznam, ktorý obsahuje dve plávajúce hodnoty: jednu pre testovacie rozdelenie a druhú pre vlakové rozdelenie.

7. Montáž a hodnotenie modelu : Je čas prispôsobiť sa modelu logistickej regresie. Model logistickej regresie je dostupný v module pyspark.ml.classification. Trvá to štítok triedy/cieľový stĺpec. Výsledkom sú stĺpce rawPrediction, pravdepodobnosti a predpovede. Naše výsledky sú uložené v stĺpci predikcie.

8. Presnosť a výsledky: Toto je posledná fáza, v ktorej testujeme presnosť modelu pomocou akýchkoľvek testovacích techník.

Pozrime sa na nasledujúci projekt, v ktorom pomocou modelu logistickej regresie predpovedáme, či je osoba postihnutá mozgovou príhodou alebo nie.

Predikcia mŕtvice

9. Nainštalujte modul PySpark do svojho prostredia. Nasleduje príkaz na inštaláciu:

10. Vytvorme PySpark DataFrame s 10 záznamami, ktoré súvisia s detailmi úderov 10 osôb. Pre demonštráciu vytvoríme DataFrame bez CSV. V tomto DataFrame je 7 stĺpcov. „Pohlavie“, „Hladina glukózy“, „ženatý“, „vek“, „choroba srdca“, „hyper_tenzia“ sú nezávislé atribúty a „mŕtvica“ je označenie triedy alebo závislý atribút. To znamená, že mŕtvica človeka závisí od týchto nezávislých atribútov.

Výkon:

11. Zobrazte nezávislé stĺpce pomocou metódy select().

Výkon:

12. Zobrazte jedinečné hodnoty, ktoré sú prítomné v cieľovom atribúte (Stroke).

Výkon:

13. Vráťte typ údajov všetkých stĺpcov pomocou funkcie printSchema().

Výkon:

Vidíme, že 4 stĺpce sú typu reťazec. Preveďme ich na kategorické číselné hodnoty.

14. Skonvertujme kategorické hodnoty reťazca na číselné kategorické hodnoty pomocou StringIndexer v stĺpcoch „Gender“, „heart_disease“, „hyper_tension“ a „married“ a zapíšme ich do stĺpcov Categotical_Gender, Categotical_heart_disease, Categotical_hypertical_ried a Categotical_ried. Uložte stĺpce do dátového rámca indexed_data pomocou metódy fit().

Výkon:

15. Preveďte nezávislé stĺpce na vektor pomocou vektorového assembleru. Názov vektora je „vlastnosti“.

16. Transformujte predchádzajúce údaje na konečný DataFrame pomocou funkcie transform() a zobrazte ho pomocou funkcie show().

Výkon:

17. Pripravte údaje na tréning a testovanie tak, že ich rozdelíte na 70-30. „Features“ sú uložené v train_data a „Stroke“ je uložené v test_data.

18. Nasaďte model logistickej regresie a vyhodnoťte ho.

Výkon:

19. Na kontrolu presnosti modelu použite BinaryClassificationEvaluator. Vidíme, že náš model je 100% presný.

Záver

Pomocou modelu logistickej regresie v PySpark ste schopní predpovedať problém klasifikácie v reálnom svete. Odstránenie nulových/chýbajúcich hodnôt je dôležité, pretože znižujú hodnotenie a presnosť modelu. Predspracovanie je nevyhnutným krokom pred nasadením akéhokoľvek modelu strojového učenia. Uistite sa, že tento krok robíte správne a presne.