PySpark SelectExpr()

Pyspark.sql.DataFrame.selectExpr()

Funkcia selectexpr() berie stĺpce/množinu výrazov a vracia DataFrame na základe špecifikovaných výrazov/stĺpcov. V tejto funkcii je možné zadať viacero výrazov, ktoré sú oddelené čiarkou. Na zobrazenie DataFrame môžeme použiť funkcie show()/collect().

Syntax:

Tu je objekt pyspark_DataFrame_object vstupným objektom PySpark DataFrame.

Scenár 1: Vyberte stĺpce

V tomto scenári uvidíme, ako vybrať konkrétne stĺpce z dátového rámca PySpark pomocou funkcie selectExpr().

Použitý výraz je „existujúci_stĺpec ako nový_názov“. Existujúci_stĺpec je tu názov stĺpca, ktorý je prítomný v DataFrame a zobrazuje sa ako nový_názov (Aliasing).

Príklad:

Vytvorte dátový rámec PySpark s názvom „agri_df“ s 5 riadkami a stĺpcami. Získajte stĺpce „Soil_status“ a „Soil_Type“ ako „STATUS“ a „TYPE“.

Výkon:

Scenár 2: Určenie podmienených výrazov

V tomto scenári uvidíme, ako vyhodnotiť podmienky v rámci funkcie selectExpr().

Výraz, ktorý sa používa, je „hodnota operátora existujúceho_stĺpca“. V tomto prípade je existujúci_stĺpec názov stĺpca, ktorý sa nachádza v dátovom rámci a každú hodnotu v tomto stĺpci porovnávame s reťazcom/hodnotou.

Príklad 1:

Skontrolujte, či je krajina „USA“ alebo nie. Používa sa tu operátor rovná sa (=).

Výkon:

Príklad 2:

Skontrolujte, či má Soil_Type hodnotu NULL alebo nie. Kľúčové slovo NULL kontroluje, či je hodnota NULL alebo nie. Ak je hodnota null, vráti sa true. V opačnom prípade sa vráti false. Konečný výraz je „Soil_Type IS NULL“

Výkon:

Scenár 3: Hodnotenie výrazov

V tomto scenári uvidíme, ako špecifikovať matematické výrazy. Použitý výraz je „existujúci_stĺpec matematický_výraz“.

Príklad:

1. Zobrazte skutočný stĺpec „Acre“.
2. Pridajte 100 do stĺpca „Acre“.
3. Odpočítajte 100 zo stĺpca „Acre“.
4. Vynásobte 100 stĺpcom „Acre“.
5. Vydeľte stĺpec „Acre“ číslom 100.

Výkon:

Scenár 4: Použitie agregačných funkcií

SUM(názov_stĺpca) – Vyhodnocuje celkovú hodnotu v zadanom stĺpci.

MEAN(názov_stĺpca) – Vyhodnocuje priemernú hodnotu v zadanom stĺpci.

MIN(názov_stĺpca) – Vráti minimálny prvok spomedzi všetkých prvkov v zadanom stĺpci.

MAX(názov_stĺpca) – Vráti maximálny prvok spomedzi všetkých prvkov v zadanom stĺpci.

Príklad:

1. Nájdite celkový, priemer, počet, minimum a maximum prvkov „Akrov“.
2. Nájdite minimum a maximum prvkov v stĺpci „Soil_status“.

Výkon:

Záver

Diskutovali sme o funkcii selectExpr(), ktorá berie stĺpce/množiny výrazov a vracia DataFrame na základe špecifikovaných výrazov/stĺpcov. V rámci toho sme sa naučili štyri hlavné scenáre, v ktorých je selectExpr() použiteľný. V tejto funkcii je možné zadať viacero výrazov, ktoré sú oddelené čiarkou. Na použitie funkcie selectExpr() nie je potrebné vytvárať TEMPORARY VIEW.