Introducció
Beats és una plataforma lleugera de remissió de dades que envia dades de diverses fonts a Elasticsearch. Beats és una col·lecció d'agents lleugers que poden enviar dades de logs, mètriques, paquets de xarxa, etc., a Elasticsearch. En aquest tema, explorarem com integrar Beats amb Elasticsearch per recollir i analitzar dades.
Objectius
- Entendre què és Beats i els seus components.
- Aprendre a instal·lar i configurar Beats.
- Integrar Beats amb Elasticsearch.
- Realitzar una anàlisi bàsica de les dades recollides per Beats.
Components de Beats
Beats inclou diversos agents, cadascun dissenyat per a un tipus específic de dades:
- Filebeat: Recull i envia logs.
- Metricbeat: Recull mètriques del sistema i serveis.
- Packetbeat: Monitora el tràfic de xarxa.
- Winlogbeat: Recull logs d'esdeveniments de Windows.
- Auditbeat: Monitora esdeveniments de seguretat del sistema.
- Heartbeat: Monitora la disponibilitat dels serveis.
Instal·lació de Beats
Pas 1: Descarregar i Instal·lar Beats
-
Descarregar Beats:
- Visita la pàgina de descàrrega de Beats: Beats Downloads
- Selecciona el Beat que vols instal·lar (per exemple, Filebeat) i descarrega el paquet corresponent al teu sistema operatiu.
-
Instal·lar Beats:
- Descomprimeix el paquet descarregat.
- Mou el directori descomprimit a la ubicació desitjada.
Pas 2: Configurar Beats
Cada Beat té un fitxer de configuració principal (filebeat.yml
, metricbeat.yml
, etc.). A continuació, es mostra un exemple de configuració bàsica per a Filebeat:
filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log output.elasticsearch: hosts: ["localhost:9200"]
Pas 3: Iniciar Beats
Un cop configurat, pots iniciar el Beat utilitzant la línia de comandes:
Integració de Beats amb Elasticsearch
Configuració de l'Output
Per enviar dades a Elasticsearch, has de configurar l'output en el fitxer de configuració del Beat. Aquí tens un exemple per Filebeat:
Carregar Dashboards de Kibana
Molts Beats venen amb dashboards predefinits per a Kibana. Pots carregar aquests dashboards utilitzant la següent comanda:
Verificar la Integració
Un cop Beats està enviant dades a Elasticsearch, pots verificar-ho accedint a Kibana i cercant els indexos creats per Beats. Per exemple, pots cercar l'index filebeat-*
a Kibana.
Anàlisi de Dades amb Beats
Visualitzacions a Kibana
Un cop les dades estan a Elasticsearch, pots utilitzar Kibana per crear visualitzacions i dashboards. Aquí tens un exemple de com crear una visualització bàsica:
- Accedeix a Kibana.
- Ves a la secció "Visualize".
- Crea una nova visualització seleccionant el tipus de visualització (per exemple, un histograma).
- Selecciona l'index de Beats (per exemple,
filebeat-*
). - Configura els paràmetres de la visualització segons les teves necessitats.
Exemples de Consultes
Pots utilitzar Elasticsearch Query DSL per realitzar consultes avançades sobre les dades recollides per Beats. Aquí tens un exemple de consulta per cercar logs d'error:
Exercicis Pràctics
Exercici 1: Instal·lar i Configurar Filebeat
- Descarrega i instal·la Filebeat.
- Configura Filebeat per recollir logs del directori
/var/log/
. - Configura l'output per enviar les dades a Elasticsearch.
- Inicia Filebeat i verifica que les dades estan arribant a Elasticsearch.
Exercici 2: Crear un Dashboard a Kibana
- Carrega els dashboards predefinits de Filebeat a Kibana.
- Crea una nova visualització a Kibana utilitzant les dades de Filebeat.
- Afegeix la visualització a un nou dashboard.
Solucions
Solució a l'Exercici 1
- Descarrega i instal·la Filebeat des de Beats Downloads.
- Configura el fitxer
filebeat.yml
:
filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log output.elasticsearch: hosts: ["localhost:9200"]
- Inicia Filebeat:
- Verifica que les dades estan arribant a Elasticsearch accedint a Kibana i cercant l'index
filebeat-*
.
Solució a l'Exercici 2
- Carrega els dashboards predefinits:
-
Crea una nova visualització a Kibana:
- Accedeix a Kibana.
- Ves a "Visualize" i crea una nova visualització.
- Selecciona l'index
filebeat-*
. - Configura la visualització segons les teves necessitats.
-
Afegeix la visualització a un nou dashboard:
- Ves a "Dashboard" i crea un nou dashboard.
- Afegeix la visualització creada anteriorment.
Conclusió
En aquest tema, hem après què és Beats i com integrar-lo amb Elasticsearch per recollir i analitzar dades. Hem vist com instal·lar i configurar Beats, enviar dades a Elasticsearch i crear visualitzacions a Kibana. Els exercicis pràctics proporcionats t'ajudaran a consolidar els coneixements adquirits. En el proper tema, explorarem com utilitzar Elasticsearch amb altres eines de l'ecosistema.
Curs d'Elasticsearch
Mòdul 1: Introducció a Elasticsearch
- Què és Elasticsearch?
- Instal·lant Elasticsearch
- Conceptes Bàsics: Nodes, Clústers i Índexs
- Arquitectura d'Elasticsearch
Mòdul 2: Començant amb Elasticsearch
Mòdul 3: Tècniques Avançades de Cerca
Mòdul 4: Modelatge de Dades i Gestió d'Índexs
Mòdul 5: Rendiment i Escalabilitat
- Optimitzant el Rendiment de la Cerca
- Escalant Elasticsearch
- Monitorització i Manteniment
- Còpia de Seguretat i Restauració
Mòdul 6: Seguretat i Control d'Accés
- Assegurant Elasticsearch
- Autenticació i Autorització d'Usuaris
- Control d'Accés Basat en Rols
- Auditoria i Compliment
Mòdul 7: Integracions i Ecosistema
- Elasticsearch amb Logstash
- Elasticsearch amb Kibana
- Elasticsearch amb Beats
- Elasticsearch amb Altres Eines