Introducció

Beats és una plataforma lleugera de remissió de dades que envia dades de diverses fonts a Elasticsearch. Beats és una col·lecció d'agents lleugers que poden enviar dades de logs, mètriques, paquets de xarxa, etc., a Elasticsearch. En aquest tema, explorarem com integrar Beats amb Elasticsearch per recollir i analitzar dades.

Objectius

  • Entendre què és Beats i els seus components.
  • Aprendre a instal·lar i configurar Beats.
  • Integrar Beats amb Elasticsearch.
  • Realitzar una anàlisi bàsica de les dades recollides per Beats.

Components de Beats

Beats inclou diversos agents, cadascun dissenyat per a un tipus específic de dades:

  • Filebeat: Recull i envia logs.
  • Metricbeat: Recull mètriques del sistema i serveis.
  • Packetbeat: Monitora el tràfic de xarxa.
  • Winlogbeat: Recull logs d'esdeveniments de Windows.
  • Auditbeat: Monitora esdeveniments de seguretat del sistema.
  • Heartbeat: Monitora la disponibilitat dels serveis.

Instal·lació de Beats

Pas 1: Descarregar i Instal·lar Beats

  1. Descarregar Beats:

    • Visita la pàgina de descàrrega de Beats: Beats Downloads
    • Selecciona el Beat que vols instal·lar (per exemple, Filebeat) i descarrega el paquet corresponent al teu sistema operatiu.
  2. Instal·lar Beats:

    • Descomprimeix el paquet descarregat.
    • Mou el directori descomprimit a la ubicació desitjada.

Pas 2: Configurar Beats

Cada Beat té un fitxer de configuració principal (filebeat.yml, metricbeat.yml, etc.). A continuació, es mostra un exemple de configuració bàsica per a Filebeat:

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.elasticsearch:
  hosts: ["localhost:9200"]

Pas 3: Iniciar Beats

Un cop configurat, pots iniciar el Beat utilitzant la línia de comandes:

./filebeat -e

Integració de Beats amb Elasticsearch

Configuració de l'Output

Per enviar dades a Elasticsearch, has de configurar l'output en el fitxer de configuració del Beat. Aquí tens un exemple per Filebeat:

output.elasticsearch:
  hosts: ["localhost:9200"]
  username: "elastic"
  password: "changeme"

Carregar Dashboards de Kibana

Molts Beats venen amb dashboards predefinits per a Kibana. Pots carregar aquests dashboards utilitzant la següent comanda:

./filebeat setup --dashboards

Verificar la Integració

Un cop Beats està enviant dades a Elasticsearch, pots verificar-ho accedint a Kibana i cercant els indexos creats per Beats. Per exemple, pots cercar l'index filebeat-* a Kibana.

Anàlisi de Dades amb Beats

Visualitzacions a Kibana

Un cop les dades estan a Elasticsearch, pots utilitzar Kibana per crear visualitzacions i dashboards. Aquí tens un exemple de com crear una visualització bàsica:

  1. Accedeix a Kibana.
  2. Ves a la secció "Visualize".
  3. Crea una nova visualització seleccionant el tipus de visualització (per exemple, un histograma).
  4. Selecciona l'index de Beats (per exemple, filebeat-*).
  5. Configura els paràmetres de la visualització segons les teves necessitats.

Exemples de Consultes

Pots utilitzar Elasticsearch Query DSL per realitzar consultes avançades sobre les dades recollides per Beats. Aquí tens un exemple de consulta per cercar logs d'error:

{
  "query": {
    "match": {
      "message": "error"
    }
  }
}

Exercicis Pràctics

Exercici 1: Instal·lar i Configurar Filebeat

  1. Descarrega i instal·la Filebeat.
  2. Configura Filebeat per recollir logs del directori /var/log/.
  3. Configura l'output per enviar les dades a Elasticsearch.
  4. Inicia Filebeat i verifica que les dades estan arribant a Elasticsearch.

Exercici 2: Crear un Dashboard a Kibana

  1. Carrega els dashboards predefinits de Filebeat a Kibana.
  2. Crea una nova visualització a Kibana utilitzant les dades de Filebeat.
  3. Afegeix la visualització a un nou dashboard.

Solucions

Solució a l'Exercici 1

  1. Descarrega i instal·la Filebeat des de Beats Downloads.
  2. Configura el fitxer filebeat.yml:
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.elasticsearch:
  hosts: ["localhost:9200"]
  1. Inicia Filebeat:
./filebeat -e
  1. Verifica que les dades estan arribant a Elasticsearch accedint a Kibana i cercant l'index filebeat-*.

Solució a l'Exercici 2

  1. Carrega els dashboards predefinits:
./filebeat setup --dashboards
  1. Crea una nova visualització a Kibana:

    • Accedeix a Kibana.
    • Ves a "Visualize" i crea una nova visualització.
    • Selecciona l'index filebeat-*.
    • Configura la visualització segons les teves necessitats.
  2. Afegeix la visualització a un nou dashboard:

    • Ves a "Dashboard" i crea un nou dashboard.
    • Afegeix la visualització creada anteriorment.

Conclusió

En aquest tema, hem après què és Beats i com integrar-lo amb Elasticsearch per recollir i analitzar dades. Hem vist com instal·lar i configurar Beats, enviar dades a Elasticsearch i crear visualitzacions a Kibana. Els exercicis pràctics proporcionats t'ajudaran a consolidar els coneixements adquirits. En el proper tema, explorarem com utilitzar Elasticsearch amb altres eines de l'ecosistema.

© Copyright 2024. Tots els drets reservats