KURZ: Apache Spark for Data Engineers - Advanced Optimizations

Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů a to nejen v prostředí velkých dat. Jedním z důvodů proč roste popularita Sparku je také jeho programové API, neboli tzv. DataFramy, které nabízejí univerzální datovou abstrakci, již je možné použít ve všech výše zmíněných obl

Program kurzu

Cíle kurzu :

• Rozumět a orientovat se ve fyzických plánech Spark SQL
• Přepsat query za účelem dosažení efektivnějšího plánu
• Používat některá konfigurační nastavení
• Připravit Sparkem data pro efektivní analytiku ve Sparku
• Diagnostikovat botlneck Sparkoveho jobu

* :

• Rozumět a orientovat se ve fyzických plánech Spark SQL
• Přepsat query za účelem dosažení efektivnějšího plánu
• Používat některá konfigurační nastavení
• Připravit Sparkem data pro efektivní analytiku ve Sparku
• Diagnostikovat botlneck Sparkoveho jobu

Garant kurzu : David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
Osnova : Spark SQL internals (Query Execution)

• Logical planning  (Catalog, Analyzer, Cache Management, Optimizer)
  
  • Catalyst API
  • Extending the optimizer
  • Limiting the optimizer
  
  
•  Physical planning
  
  • Query planner, strategies
  • Spark plan
  • Executed plan
  • Understanding operators in the physical plan
  
  
• Cost based optimizer
• How cost-based optimizations work
• Statistics collection
• Statistics usage

Query optimization

• Shuffle elimination
  
  • Bucketing
  • Data repartition (when and how)
  
  
• Optimizing joins
  
  • Shuffle-free join
  • One-side shuffle-free join
  • Broadcast join vs sort-merge join
  
  
• Data reuse
• Caching
• Checkpointing
• Exchange reuse

Optimization tips

• Choose the appropriate number of shuffle partitions
• Nondeterministic expressions
• Configuration settings

Data layout

• Different file formats
  
  • Parquet vs Json
  
  
• Partitioning and bucketing
  
  • How bucketing works
  • How to ensure the proper number of files
  
  
• Tables management
  
  • Working with the Catalog API
  
  
• Delta-io
• Open-source storage layer with ACID transactions

Předpoklady na účastníka:

• Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku.
• Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.

 

Cíl školení - poznámka ke kurzu     Cíle kurzu: Rozumět a orientovat se ve fyzických plánech Spark SQL Přepsat query za účelem dosažení efektivnějšího plánu Používat některá konfigurační nastavení Připravit Sparkem data pro efektivní analytiku ve Sparku Diagnostikovat botlneck Sparkoveho jobu

Podrobnosti o kurzu

• Kurz je určen pro
  Cílová skupina: Datový inženýři, scientisti a další uživatelé Sparku, kteří již mají se Sparkem nějakou zkušenost a chtějí se naučit optimalizovat Sparkové joby pro dosažení maximálního výkonu.
• Lektor kurzu
  : David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
• Pořadatel kurzu
  DataScript s.r.o.
• Obchodní podmínky
  Objednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.

Dotazy a komentáře ke kurzu

Přihláška na kurz

Odesláním formuláře 'Přihláška na kurz' se zaregistruje Vaše přihláška a na zadaný email přijde potvrzení o odeslání této přihlášky. V případě poskytnutí osobních údajů, souhlasíte s archivací těchto údajů v souladu s podmínkami zákona č. 101/2000 Sb., o ochraně osobních údajů, ve znění pozdějších předpisů. Souhlas se zpracováním osobních údajů pro marketingové účely nevyžadujeme, tyto data nezpracováváme. Server pouze zprostředkovává objednávky kurzů & kontakt na jejich pořadatele. Před odesláním přihlášky je nutno souhlasit s obchodními podmínkami účasti na kurzu daného pořadatele kurzu. Neodpovídáme za správnost uvedených údajů. © OBEC.net, sro.

---

URL >> https://skoleni.net/skoleni_83390_apache-spark-for-data-engineers---advanced-optimizations.html

---

ApacheSparkDataEngineersAdvancedOptimizations