Introducere în PySpark SQL
Unii dintre programatorii începători nu ar fi conștienți de PySpark SQL. Înainte de a parcurge PySpark SQL mai întâi, ar trebui să avem o idee despre ce este Spark SQL. Să începem cu Spark SQL, este un modul de Apache Spark. Spark SQL folosit pentru a lucra cu date structurate. PySpark SQL este dezvoltat pentru a sprijini Python în Spark.
PySpark SQL este colaborarea Python cu Spark SQL. Se folosește în principal în procesarea datelor structurate și semi-structurate. API furnizată de acesta poate citi date dintr-un număr mare de surse & Aceste surse de date pot fi în diferite formate de date.
Ce este PySpark SQL?
Este un instrument pentru a sprijini python cu Spark SQL. Este dezvoltat pentru a sprijini Python în Spark. Pentru o înțelegere corectă a PySpark, este necesară cunoașterea Python, Big Data & Spark. PySpark SQL câștigă încet popularitate în programatorii de baze de date datorită caracteristicilor sale importante.
PySpark SQL funcționează pe sistemul distribuit și poate fi, de asemenea, scalabil de ce este foarte utilizat în știința datelor. În PySpark SQL Machine învățarea este asigurată de biblioteca python. Această bibliotecă Python este cunoscută ca o bibliotecă de învățare automată.
Caracteristici ale PySpark SQL
Unele dintre caracteristicile importante ale PySpark SQL sunt prezentate mai jos:
- Viteza: este mult mai rapid decât cadrele tradiționale mari de procesare a datelor, cum ar fi Hadoop.
- Caching puternic: PySpark oferă un strat de programare simplu care ajută în memorie în cache decât celelalte cadre de memorie în cache.
- Real-Time: Calculul în PySpark SQL are loc în memorie, de aceea este în timp real.
- Implementare: Se poate implementa prin intermediul Hadoop sau al propriului manager de cluster.
- Poliglot: acceptă programarea în Scala, Java, Python și R.
Este utilizat în Big Data și acolo unde există Date mari implică cea legată de analiza datelor. Este cel mai tare instrument de pe piața Big Data Analytics.
Utilizări majore ale PySpark SQL
Mai jos sunt prezentate câteva dintre sectoarele în care Pyspark este utilizat în majoritate:
Industria comerțului electronic
În industria comerțului electronic, PySpark adaugă un rol major. Este utilizat în îmbunătățirea accesibilității utilizatorului, oferind oferte clienților vizați, publicitate către clienți autentici. Diferite industrii de comerț electronic precum eBay, Alibaba, Flipkart, Amazon, etc. le folosesc pentru a obține date autentice în scopuri de marketing.
Mass-media
Diferite industrii de conducere a mediilor precum Youtube, Netflix, Amazon, etc. folosesc în majoritate PySpark pentru a prelucra date mari pentru a le pune la dispoziția utilizatorilor. Această procesare a datelor are loc în timp real pentru aplicațiile din server.
Bancar
Banca este un alt sector important în care PySpark este utilizat la un nivel foarte vast. Ajută sectorul financiar să proceseze tranzacții în timp real pentru milioane de procesări record, reclamă pentru clienți autentici, evaluare a riscului de credit etc.
Module PySpark
Unele dintre clasele importante și caracteristicile lor sunt prezentate mai jos:
- pyspark.sql.SparkSession: Această clasă permite programatorilor să programeze în Spark cu funcționalitatea DataFrame și SQL. SparkSession folosit pentru a crea DataFrame, înregistra DataFrame ca tabele, cache tables, execută SQL peste tabele.
- pyspark.sql.DataFrame: Clasa DataFrame joacă un rol important în colectarea distribuită de date. Aceste date sunt grupate în coloane numite. Spark SQL DataFrame este similar cu un tabel de date relaționale. Un DataFrame poate fi creat folosind metodele SQLContext.
- pyspark.sql.Columns: O coloană instanțe în DataFrame poate fi creată folosind această clasă.
- pyspark.sql.Row: Un rând în DataFrame poate fi creat folosind această clasă.
- pyspark.sql.GroupedData: clasa GroupedData furnizează metodele de agregare create de groupBy ().
- pyspark.sql.DataFrameNaFunctions: Această clasă oferă funcționalitatea pentru a lucra cu datele care lipsesc.
- pyspark.sql.DataFrameStatFunctions: Funcțiile statistice sunt disponibile cu DataFrames de Spark SQL. Funcționalitatea funcțiilor statistice este asigurată de această clasă.
- pyspark.sql.functions: Multe funcții încorporate în Spark sunt disponibile pentru a lucra cu DataFrames. Unele dintre funcțiile încorporate sunt prezentate mai jos:
| Metode încorporate | Metode încorporate |
| abs (col) | localizați (substr, str, pos = 1) |
| acos (col) | jurnal (arg1, arg2 = Nici unul) |
| add_months (început, luni) | log10 (col) |
| aproxCountDistinct (col, res = none) | log1p (col) |
| array ((cols)) | log2 (col) |
| array_contains (col, valoare) | inferior (col) |
| asc (col) | ltrim (col) |
| ascii (col) | max (col) |
| asin (col) | md5 (col) |
| un bronz | medie (col) |
| ATAN2 | min (col) |
| avg | minut (col) |
| base64 | monotonically_increasing_id () |
| cos | lună (col) |
| bitwiseNot | months_bet Between (data1, data2) |
| Broadcast | nanvl (col1, col2) |
| Bround | next_day (data, ziuaOfWeek) |
| cbrt | ntile (n) |
| tencui | percent_rank () |
| Coalesce ((col)) | posexplode (col) |
| col (col) | pow (col1, col2) |
| collect_list (col) | sfert (col) |
| collect_set (col) | radiani (col) |
| coloană (col) | rand (sămânță = Nimic |
| CONCAT (*) cols | randn (sămânță = Nimic) |
| concat_ws (sep, * col) | rang() |
| conv (col, de laBase, toBase) | regexp_extract (str, pattern, idx) |
| corr (col1, col2) | regexp_replace (str, model, înlocuire) |
| cos (col) | repeta (col, n) |
| cosh (col) | inversă (col) |
| count (col) | rint (col) |
| countDistinct (col, * cols) | rotund (col, scară = 0) |
| covar_pop (col1, col2) | ROW_NUMBER () |
| covar_samp (col1, col2) | rpad (col, len, pad) |
| crc32 (col) | rtrim (col) |
| create_map (* cols) | al doilea (col) |
| cume_dist () | SHA1 (col) |
| data curenta() | sha2 (col, numBits) |
| current_timestamp () | shiftLeft (col, numBits) |
| data_add (început, zile) | shiftRight (col, numBits) |
| data_format (data, formatul) | shiftRightUnsigned (col, numBits) |
| data_sub (început, zile) | signum (col) |
| dateiff (sfârșit, început) | sin (col) |
| dayofmonth (col) | sinh (col) |
| dayofyear (col) | size (col) |
| decodificați (col, caletă) | asimetrici (col) |
| grade (col) | sort_array (col, asc = True) |
| dense_rank () | soundex (col) |
| desc (col) | spark_partition_id () |
| codare (col, charset) | divizare (str, model) |
| exp (col) | sqrt (col) |
| exploda (col) | stddev (col) |
| expm1 (col) | stddev_pop (col) |
| expr (str) | stddev_samp (col) |
| factorial (col) | struct (* cols) |
| mai întâi (col, ignorenulls = False) | substring (str, pos, len) |
| podea (col) | substring_index (str, delimitare, număr) |
| format_number (col, d) | sum (col) |
| format_string (format, * cols) | sumDistinct (col) |
| from_json (col, schemă, opțiuni = ()) | tan (col) |
| de la_unixtime (timestamp, format = 'aaaa-MM-dd HH: mm: ss') | toDegrees (col) |
| din_utc_timestamp (timestamp, tz) | toRadians (col) |
| get_json_object (col, calea) | to_date (col) |
| cele mai mari (cols *) | to_json (col, opțiuni = ()) |
| gruparea (col) | to_utc_timestamp (timestamp, tz) |
| grouping_id (*) cols | translate (srcCol, potrivire, înlocuire) |
| hash (*) cols | asieta (col) |
| hex (cols) | trunc (data, formatul) |
| oră (col) | udf (f, returnType = StringType) |
| ipotec (col1, col2) | unbase64 (col) |
| INITCAP (col) | unhex (col) |
| input_file_name () | unix_timestamp (timestamp = Nici unul, format = 'aaaa-MM-dd HH: mm: ss') |
| instr (str, substr) | superior (col) |
| isnan (col) | var_pop (col) |
| isnull (col) | var_samp (col) |
| json_tuple (col, * câmpuri) | varianță (col) |
| kurtosis (col) | weekofyear (col) |
| decalaj (col, număr = 1, implicit = Niciunul) | când (condiție, valoare) |
| ultimul (col, ignorenulls = False) | window (timeColumn, windowDuration, slideDuration = Niciunul, startTime = Niciunul) |
| LAST_DAY (data) | ani (col) |
| plumb (col, număr = 1, implicit = Niciunul) | cel mai mic (* cols), aprins (col) |
| Lungimea (col) | levenshtein (stânga, dreapta) |
pyspark.sql.types: Aceste tipuri de clasă utilizate în conversia tipurilor de date. Folosind această clasă, un obiect SQL poate fi transformat într-un obiect Python nativ.
- pyspark.sql.streaming: Această clasă gestionează toate acele întrebări care se execută continuă în fundal. Toate aceste metode utilizate în streaming sunt fără stat. Funcțiile încorporate menționate mai sus sunt disponibile pentru a lucra cu dataFrames. Aceste funcții pot fi utilizate făcând referire la biblioteca de funcții.
- pyspark.sql.Window: Toate metodele furnizate de această clasă pot fi utilizate în definirea și lucrul cu Windows în DataFrames.
Concluzie
Este unul dintre instrumentele utilizate în domeniul Inteligenței artificiale și învățării mașinilor. Este folosit de tot mai multe companii pentru analiză și învățare automată. Profesioniști pricepuți în aceasta vor cere mai mult în viitorul viitor.
Articole recomandate
Acesta este un ghid pentru PySpark SQL. Aici vom discuta despre ce este pyspark SQL, caracteristicile sale, utilizările majore, modulele și metodele încorporate. De asemenea, puteți consulta următoarele articole pentru a afla mai multe -
- Spark DataFrame
- Întrebări la interviu Spark
- Funcția Data SQL
- SQL HAVING Clauza
- Arhitectura Apache Spark cu două implementări
- Cum se utilizează DISTINCT în Oracle?