SKOLENI.net Školení, kurzy, semináře # elastic stack - ukladani a analyza logu
KURZ: Elastic Stack - ukládání a analýza logů
Kurz Ukládání a analýza logů s Elastic Stack je ideální volbou pro ty, kdo chtějí proniknout do hloubky práce s Elastic Stack a efektivně řešit sběr, správu a analýzu velkých objemů dat. Účastníci se naučí nejen základy ukládání logů, ale také pokročilé techniky pro vyhledávání, vizualizaci a monitorování dat pomocí Kibany. Důraz je kladen na praktické použití Elasticsearch a Kibany, včetně návrhu clusteru, konfigurace a optimalizace pro sběr dat z různých zdrojů. Kurz zahrnuje také detail
Program kurzu
Cíle
kurzu Účastníci se naučí:
- jak ukládat různé logy pomocí Elastic Stack
- jak navrhnout architekturu logování pro různé případy užití
- jak instalovat a konfigurovat jednotlivé komponenty zpracování dat (Beats, Logstash, ElasticSearch, Kibana)
- technologii ElasticSearch více do hloubky, naučí se jak používat nástroje pro práci s úložištěm, jak jej spravovat, škálovat a monitorovat
- vytvářet dashboardy a pracovat s nástrojem Kibana
* Účastníci se naučí:
- jak ukládat různé logy pomocí Elastic Stack
- jak navrhnout architekturu logování pro různé případy užití
- jak instalovat a konfigurovat jednotlivé komponenty zpracování dat (Beats, Logstash, ElasticSearch, Kibana)
- technologii ElasticSearch více do hloubky, naučí se jak používat nástroje pro práci s úložištěm, jak jej spravovat, škálovat a monitorovat
- vytvářet dashboardy a pracovat s nástrojem Kibana
Garant
kurzu PETR NOVOTNÝ
Petrův odborný záběr je od solution architektury přes vlastní development (JavaScript, PHP) přes ElasticSearch, Oracle, PL/SQL až po agilní metodiky a SCRUM. Petr se zároveň věnuje již několik let technologii ElasticSearch a stal se kmenovým lektorem společnosti Datascript.
Osnova Představení Elastic Stack
- Pochopení významu sběru logů, metrik, stop a dat o dostupnosti
- Představení jednotlivých komponent Observability v Elastic Stack
Elasticsearch jako storage logy
- Úvod do Elasticsearch, základní práce s Kibana
- Návrh a sizing clusteru pro sběr logů
- Konfigurace clusteru
- Různé architektury nasazení Elastic Stack
- Indexy a jejich návrh, data streams
- Distribuovaný model Elasticsearch
- Vysvětlení principů Elasticsearch do hloubky, Apache Lucene a další
- Druhy jednotlivých nodes
Mapping
- Mapování dokumentů v Elasticsearch v případě logů
- Dynamic fields
- Runtime fields
- ECS
Vyhledávání v Elasticsearch
- Různé možnosti vyhledávání v Elasticsearch a jak se v nich orientovat
- Lucene
- KQL
- EQL
- SQL
- ES|QL
- Příklady vyhledávání na učících datasetech
Sběr logů
- Sběr logů pomocí Filebeat
- Základní zpracování logů
- Sběr pomocí Elastic Agent
- Fleet server a jeho konfigurace
- Kibana Fleet
Zpracování logů
- Zpracování logů pomocí Ingest node
- Základní procesory pro zpracování logů
- Dissect filter, Grok filter, Attachment a další
Loghstash
- Zapojení Logstash do architektury zpracování logů
- Pipelines, inputs, filters, outputs
- Sběr dat z různých zdrojů
- Logstash queues
- Monitoring
- Logstash-to-logstash a různé architektury použití
APM
- APM server
- APM agents
- Ukázková aplikace a její napojení na Elastic APM
- Errors, Performance Metrics
- SLI, SLO, SLA pomocí APM
- Distributed tracing
- Microservice architecture
Kibana
- Konfigurace, data views
- Rozhraní discover
- Agregace pomocí Kibana
- Kibana Lens
- Tvorba vizualizací
- Dashboardy
- Vyhledávání v datech
- Ukázkové dashboardy, příklady z praxe
Správa dat a indexů
- Plánování kapacity a konfigurace
- Návrh indexů pro logování, data streams
- Rollover, Shrink, Merge
- ILM a rollover indexů v čase
- Searchable snapshots
- Tramsforms
Správa clusteru