# Comprovar que Grafana està corrent
kubectl -n monitoratge get pods -l app.kubernetes.io/name=grafana

NAME                                   READY   STATUS    RESTARTS   AGE
monitoratge-grafana-6d84b8c7f9-w2xnk   3/3     Running   0          2d4h

kubectl -n monitoratge port-forward svc/monitoratge-grafana 3000:80
# Obrir http://localhost:3000

kubectl -n monitoratge get secret monitoratge-grafana \
  -o jsonpath='{.data.admin-user}' | base64 -d; echo

kubectl -n monitoratge get secret monitoratge-grafana \
  -o jsonpath='{.data.admin-password}' | base64 -d; echo

admin
canviar-en-produccio

# k8s/entorns/pro/ingress-grafana.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: grafana
  namespace: monitoratge
  annotations:
    cert-manager.io/cluster-issuer: letsencrypt-produccio
    nginx.ingress.kubernetes.io/auth-type: basic          # capa extra
    nginx.ingress.kubernetes.io/auth-secret: grafana-basic-auth
spec:
  ingressClassName: nginx
  tls:
    - hosts: [metriques.rutasnorte.example]
      secretName: grafana-tls
  rules:
    - host: metriques.rutasnorte.example
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: monitoratge-grafana
                port:
                  number: 80

http://monitoratge-kube-pr-prometheus.monitoratge.svc.cluster.local:9090

{__name__="rutasnorte_peticions_total", codi="200", component="api-reserves", entorn="pro", instance="10.244.2.17:9090", job="api-reserves", metode="GET", namespace="rutas-norte-pro", pod="api-reserves-7d9f8c4b5-x2klm", ruta="/api/rutes", versio="2.8.1"}

{{ruta}} · {{codi}}

/api/rutes · 200
/api/reserves · 201
/api/reserves · 422

sum by (le) (rate(rutasnorte_duracio_peticio_segons_bucket{entorn="$entorn"}[$__rate_interval]))

Nom:           entorn
Tipus:         Query
Data source:   Prometheus
Query:         label_values(rutasnorte_peticions_total, entorn)
Sort:          Alphabetical (asc)
Multi-value:   No

Nom:           namespace
Query:         label_values(kube_pod_info{namespace=~"rutas-norte-$entorn"}, namespace)

Nom:           component
Query:         label_values(kube_pod_info{namespace="$namespace"}, created_by_name)
Multi-value:   Sí
Include All:   Sí
All value:     .*

Nom:     interval
Tipus:   Interval
Valors:  1m,5m,15m,30m,1h,6h,24h

# Amb una variable simple
sum(rate(rutasnorte_peticions_total{entorn="$entorn"}[$__rate_interval]))

# Amb una variable multivalor: OBLIGATORI fer servir =~ i el format regex
sum by (pod) (rate(container_cpu_usage_seconds_total{
  namespace="$namespace",
  pod=~"$component.*"
}[$__rate_interval]))

sum(rate(rutasnorte_reserves_confirmades_total{entorn="$entorn"}[$__rate_interval])) * 60

sum(rate(rutasnorte_peticions_total{entorn="$entorn", codi=~"5.."}[$__rate_interval]))
  /
sum(rate(rutasnorte_peticions_total{entorn="$entorn"}[$__rate_interval]))

max(apireserves:latencia_p95:5m{entorn="$entorn"})

sum(kube_deployment_status_replicas_unavailable{namespace="$namespace"})
  +
sum(kube_statefulset_status_replicas_current{namespace="$namespace"}
    - kube_statefulset_status_replicas_ready{namespace="$namespace"})

sum by (ruta) (rate(rutasnorte_peticions_total{entorn="$entorn"}[$__rate_interval]))

# A: taxa d'error de la nostra plataforma
sum(rate(rutasnorte_peticions_total{entorn="$entorn", codi=~"5.."}[$__rate_interval]))
  / sum(rate(rutasnorte_peticions_total{entorn="$entorn"}[$__rate_interval]))

# B: taxa d'error de la passarel·la externa
sum(rate(rutasnorte_passarela_pagaments_crides_total{entorn="$entorn", resultat=~"error|timeout"}[$__rate_interval]))
  / sum(rate(rutasnorte_passarela_pagaments_crides_total{entorn="$entorn"}[$__rate_interval]))

histogram_quantile(0.50, sum by (le) (rate(rutasnorte_duracio_peticio_segons_bucket{entorn="$entorn"}[$__rate_interval])))
histogram_quantile(0.95, sum by (le) (rate(rutasnorte_duracio_peticio_segons_bucket{entorn="$entorn"}[$__rate_interval])))
histogram_quantile(0.99, sum by (le) (rate(rutasnorte_duracio_peticio_segons_bucket{entorn="$entorn"}[$__rate_interval])))

# CPU consumida davant del límit
sum by (pod) (rate(container_cpu_usage_seconds_total{namespace="$namespace", pod=~"api-reserves-.*", container="api"}[$__rate_interval]))
  / sum by (pod) (kube_pod_container_resource_limits{namespace="$namespace", pod=~"api-reserves-.*", resource="cpu"})

# Fracció de períodes estrangulats: la confirmació del throttling
sum by (pod) (rate(container_cpu_cfs_throttled_periods_total{namespace="$namespace", pod=~"api-reserves-.*"}[$__rate_interval]))
  / sum by (pod) (rate(container_cpu_cfs_periods_total{namespace="$namespace", pod=~"api-reserves-.*"}[$__rate_interval]))

# El pool de connexions: el fenomen de 07-01, ara visible
max(rutasnorte_connexions_pool_actives{entorn="$entorn"}) / 20

# Connexions respecte al màxim
pg_stat_database_numbackends{datname="reserves"} / pg_settings_max_connections

# Transaccions per segon (confirmades i revertides)
rate(pg_stat_database_xact_commit{datname="reserves"}[$__rate_interval])
rate(pg_stat_database_xact_rollback{datname="reserves"}[$__rate_interval])

# Mida de la base de dades, amb projecció
pg_database_size_bytes{datname="reserves"}

# Espai lliure al PVC (ve del kubelet, no de l'exportador)
kubelet_volume_stats_available_bytes{persistentvolumeclaim="dades-postgres-reserves-0"}
  / kubelet_volume_stats_capacity_bytes{persistentvolumeclaim="dades-postgres-reserves-0"}

# Interbloqueigs: zero és el normal, qualsevol cosa diferent mereix mirar-se
increase(pg_stat_database_deadlocks{datname="reserves"}[$__interval])

max(rutasnorte_cua_pendents{entorn="$entorn"})
max(rutasnorte_cua_espera_segons{entorn="$entorn"})
sum(rate(rutasnorte_correus_enviats_total{entorn="$entorn", resultat="ok"}[$__rate_interval])) * 60

# Segons des de l'última execució amb èxit
time() - kube_job_status_completion_time{job_name=~"informes-ocupacio.*"}

# Durada de l'última execució
kube_job_status_completion_time{job_name=~"informes-ocupacio.*"}
  - kube_job_status_start_time{job_name=~"informes-ocupacio.*"}

kube_pod_container_status_restarts_total{namespace="$namespace"}

# Fragment dels valors del chart (07-03) que activa el mecanisme
grafana:
  sidecar:
    dashboards:
      enabled: true
      label: grafana_dashboard      # <-- l'etiqueta que busca
      labelValue: "1"
      searchNamespace: ALL          # busca a tots els namespaces
      folderAnnotation: grafana_folder
      provider:
        foldersFromFilesStructure: true

# k8s/base/monitoratge/dashboard-rutas-norte.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: dashboard-rutas-norte
  namespace: monitoratge
  labels:
    grafana_dashboard: "1"          # el sidecar el detecta per aquesta etiqueta
    app.kubernetes.io/part-of: rutas-norte
  annotations:
    grafana_folder: "Rutas Norte"   # carpeta on apareixerà
data:
  rutas-norte-general.json: |
    {
      "title": "Plataforma Rutas Norte — General",
      "uid": "rutasnorte-general",
      "tags": ["rutas-norte", "produccio"],
      "timezone": "Europe/Madrid",
      "refresh": "30s",
      "time": { "from": "now-6h", "to": "now" },
      "templating": {
        "list": [
          {
            "name": "entorn",
            "type": "query",
            "datasource": { "type": "prometheus", "uid": "prometheus" },
            "query": "label_values(rutasnorte_peticions_total, entorn)",
            "current": { "text": "pro", "value": "pro" },
            "sort": 1
          },
          {
            "name": "namespace",
            "type": "query",
            "datasource": { "type": "prometheus", "uid": "prometheus" },
            "query": "label_values(kube_pod_info{namespace=~\"rutas-norte-$entorn\"}, namespace)",
            "sort": 1
          }
        ]
      },
      "panels": [
        {
          "id": 1,
          "title": "Reserves confirmades per minut",
          "type": "stat",
          "gridPos": { "h": 5, "w": 6, "x": 0, "y": 0 },
          "datasource": { "type": "prometheus", "uid": "prometheus" },
          "targets": [
            {
              "expr": "sum(rate(rutasnorte_reserves_confirmades_total{entorn=\"$entorn\"}[$__rate_interval])) * 60",
              "legendFormat": "reserves/min"
            }
          ],
          "fieldConfig": {
            "defaults": {
              "unit": "short",
              "decimals": 1,
              "thresholds": {
                "mode": "absolute",
                "steps": [
                  { "color": "red",   "value": null },
                  { "color": "yellow","value": 1 },
                  { "color": "green", "value": 5 }
                ]
              }
            }
          },
          "options": { "graphMode": "area", "colorMode": "background" }
        },
        {
          "id": 2,
          "title": "Taxa d'error 5xx",
          "type": "stat",
          "gridPos": { "h": 5, "w": 6, "x": 6, "y": 0 },
          "datasource": { "type": "prometheus", "uid": "prometheus" },
          "targets": [
            {
              "expr": "sum(rate(rutasnorte_peticions_total{entorn=\"$entorn\", codi=~\"5..\"}[$__rate_interval])) / sum(rate(rutasnorte_peticions_total{entorn=\"$entorn\"}[$__rate_interval]))",
              "legendFormat": "taxa error"
            }
          ],
          "fieldConfig": {
            "defaults": {
              "unit": "percentunit",
              "decimals": 2,
              "thresholds": {
                "mode": "absolute",
                "steps": [
                  { "color": "green",  "value": null },
                  { "color": "yellow", "value": 0.005 },
                  { "color": "red",    "value": 0.02 }
                ]
              }
            }
          }
        },
        {
          "id": 3,
          "title": "Latència d'api-reserves",
          "type": "timeseries",
          "gridPos": { "h": 9, "w": 12, "x": 0, "y": 5 },
          "datasource": { "type": "prometheus", "uid": "prometheus" },
          "targets": [
            {
              "expr": "histogram_quantile(0.50, sum by (le) (rate(rutasnorte_duracio_peticio_segons_bucket{entorn=\"$entorn\"}[$__rate_interval])))",
              "legendFormat": "p50"
            },
            {
              "expr": "histogram_quantile(0.95, sum by (le) (rate(rutasnorte_duracio_peticio_segons_bucket{entorn=\"$entorn\"}[$__rate_interval])))",
              "legendFormat": "p95"
            },
            {
              "expr": "histogram_quantile(0.99, sum by (le) (rate(rutasnorte_duracio_peticio_segons_bucket{entorn=\"$entorn\"}[$__rate_interval])))",
              "legendFormat": "p99"
            }
          ],
          "fieldConfig": {
            "defaults": { "unit": "s", "custom": { "fillOpacity": 10 } }
          }
        }
      ]
    }

kubectl apply -f k8s/base/monitoratge/dashboard-rutas-norte.yaml

# El sidecar el detecta en segons; verificar-ho al seu log
kubectl -n monitoratge logs deploy/monitoratge-grafana -c grafana-sc-dashboard --tail=10

{"time": "2026-08-06T11:42:03", "msg": "Working on configmap monitoratge/dashboard-rutas-norte"}
{"time": "2026-08-06T11:42:03", "msg": "Writing /tmp/dashboards/rutas-norte-general.json"}

- alert: ApiReservesTaxaErrorAlta
  expr: |
    sum(rate(rutasnorte_peticions_total{entorn="pro", codi=~"5.."}[5m]))
      /
    sum(rate(rutasnorte_peticions_total{entorn="pro"}[5m]))
    > 0.05
  for: 5m
  labels:
    severity: critica
    component: api-reserves
    equip: plataforma
  annotations:
    summary: "api-reserves retorna més d'un 5% d'errors"
    description: >
      La taxa d'errors 5xx d'api-reserves en producció és del
      {{ $value | humanizePercentage }} durant els últims 5 minuts.
      Els clients no poden completar reserves.
    runbook_url: "https://runbooks.rutasnorte.example/api-reserves-errors-5xx"
    dashboard_url: "https://metriques.rutasnorte.example/d/rutasnorte-general"

# k8s/base/monitoratge/alertes-rutas-norte.yaml
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: alertes-rutas-norte
  namespace: monitoratge
  labels:
    app.kubernetes.io/part-of: rutas-norte
    prometheus: monitoratge
spec:
  groups:
    # =====================================================================
    # GRUP 1: SÍMPTOMES. El que el client percep. Màxima prioritat.
    # =====================================================================
    - name: rutasnorte.simptomes
      interval: 30s
      rules:

        - alert: PlataformaSenseVendes
          expr: |
            sum(rate(rutasnorte_reserves_confirmades_total{entorn="pro"}[10m])) == 0
            and
            sum(rate(rutasnorte_peticions_total{entorn="pro"}[10m])) > 0.5
          for: 10m
          labels:
            severity: critica
            equip: plataforma
          annotations:
            summary: "Rutas Norte no ha confirmat CAP reserva en 10 minuts"
            description: >
              Hi ha trànsit entrant ({{ $value | humanize }} peticions/s) però
              zero reserves confirmades. La plataforma no està venent.
              Aquesta és l'alerta més important del sistema.
            runbook_url: "https://runbooks.rutasnorte.example/sense-vendes"

        # Justificació: la condició "hi ha trànsit" evita que dispari de
        # matinada, quan és normal no vendre res durant deu minuts.

        - alert: ApiReservesTaxaErrorAlta
          expr: |
            sum(rate(rutasnorte_peticions_total{entorn="pro", codi=~"5.."}[5m]))
              / sum(rate(rutasnorte_peticions_total{entorn="pro"}[5m])) > 0.05
          for: 5m
          labels:
            severity: critica
            component: api-reserves
            equip: plataforma
          annotations:
            summary: "api-reserves retorna més d'un 5% d'errors"
            description: >
              Taxa d'error del {{ $value | humanizePercentage }} durant
              5 minuts. Els clients no poden completar les seves compres.
            runbook_url: "https://runbooks.rutasnorte.example/api-errors-5xx"

        - alert: ApiReservesLatenciaAlta
          expr: apireserves:latencia_p95:5m{entorn="pro"} > 1
          for: 10m
          labels:
            severity: avis
            component: api-reserves
            equip: plataforma
          annotations:
            summary: "El p95 de latència d'api-reserves supera 1 segon"
            description: >
              El percentil 95 és de {{ $value | humanizeDuration }} a la
              ruta {{ $labels.ruta }}. L'SLO de Rutas Norte són 500 ms.
            runbook_url: "https://runbooks.rutasnorte.example/api-latencia"

        - alert: BotigaWebCaiguda
          expr: |
            sum(kube_deployment_status_replicas_available{
              namespace="rutas-norte-pro", deployment="botiga-web"}) == 0
          for: 2m
          labels:
            severity: critica
            component: botiga-web
            equip: plataforma
          annotations:
            summary: "No queda cap rèplica de botiga-web disponible"
            description: "www.rutasnorte.example està caiguda per a tots els clients."
            runbook_url: "https://runbooks.rutasnorte.example/botiga-web-caiguda"

    # =====================================================================
    # GRUP 2: CAUSES I CAPACITAT. Avisen abans que hi hagi símptoma.
    # =====================================================================
    - name: rutasnorte.capacitat
      interval: 60s
      rules:

        - alert: DiscPostgresSOmplira
          expr: |
            predict_linear(
              kubelet_volume_stats_available_bytes{
                persistentvolumeclaim="dades-postgres-reserves-0"}[6h],
              4 * 3600
            ) < 0
          for: 30m
          labels:
            severity: critica
            component: postgres-reserves
            equip: plataforma
          annotations:
            summary: "El disc de postgres-reserves s'omplirà en menys de 4 hores"
            description: >
              Segons la tendència de les últimes 6 hores, el volum
              dades-postgres-reserves-0 es quedarà sense espai en menys de
              4 hores. Queden {{ $value | humanize1024 }}B lliures.
              Ampliar el PVC (procediment de 05-05) ABANS que passi:
              una base de dades amb el disc ple deixa d'acceptar escriptures.
            runbook_url: "https://runbooks.rutasnorte.example/ampliar-pvc-postgres"

        # predict_linear ajusta una recta de regressió sobre la finestra [6h]
        # i extrapola 4*3600 segons cap endavant. Si el resultat és
        # negatiu, significa que la recta creua el zero abans de 4 hores.
        # És la diferència entre avisar d'un problema i avisar del futur.

        - alert: PostgresConnexionsExhaurintse
          expr: |
            pg_stat_database_numbackends{datname="reserves"}
              / pg_settings_max_connections > 0.85
          for: 10m
          labels:
            severity: avis
            component: postgres-reserves
            equip: plataforma
          annotations:
            summary: "postgres-reserves al {{ $value | humanizePercentage }} de connexions"
            description: >
              Quan s'esgotin, api-reserves fallarà la readiness i sortirà
              dels Endpoints. Revisar consultes lentes i el pool de l'API.
            runbook_url: "https://runbooks.rutasnorte.example/postgres-connexions"

        - alert: CertificatCaducaAviat
          expr: |
            (certmanager_certificate_expiration_timestamp_seconds - time()) / 86400 < 15
          for: 1h
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "El certificat {{ $labels.name }} caduca en {{ $value | humanize }} dies"
            description: >
              cert-manager hauria de renovar-lo automàticament (04-05). Que no
              ho hagi fet indica un problema amb l'emissor o amb el repte ACME.
            runbook_url: "https://runbooks.rutasnorte.example/certificats"

        - alert: ContenidorAmbThrottlingSever
          expr: |
            sum by (namespace, pod, container) (
              rate(container_cpu_cfs_throttled_periods_total{namespace=~"rutas-norte-.*"}[5m]))
            / sum by (namespace, pod, container) (
              rate(container_cpu_cfs_periods_total{namespace=~"rutas-norte-.*"}[5m]))
            > 0.30
          for: 15m
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "{{ $labels.container }} estrangulat el {{ $value | humanizePercentage }} del temps"
            description: >
              El contenidor està arribant al seu limits.cpu de manera sostinguda.
              Revisar la recalibració de recursos de 07-02.
            runbook_url: "https://runbooks.rutasnorte.example/throttling-cpu"

    # =====================================================================
    # GRUP 3: SALUT DELS OBJECTES. Font: kube-state-metrics.
    # =====================================================================
    - name: rutasnorte.workloads
      interval: 60s
      rules:

        - alert: PodEnCrashLoop
          expr: |
            increase(kube_pod_container_status_restarts_total{
              namespace=~"rutas-norte-.*"}[15m]) > 3
          for: 10m
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "{{ $labels.pod }} s'ha reiniciat més de 3 vegades en 15 min"
            description: >
              Contenidor {{ $labels.container }} a {{ $labels.namespace }}.
              Causes freqüents: OOMKilled, error d'arrencada, o una
              livenessProbe massa agressiva (07-01).
              Recollir evidències amb 'kubectl logs --previous' ABANS de tocar res.
            runbook_url: "https://runbooks.rutasnorte.example/crashloop"

        - alert: CronJobInformesNoExecutat
          expr: |
            time() - max(kube_job_status_completion_time{
              job_name=~"informes-ocupacio.*"}) > 100000
          for: 30m
          labels:
            severity: avis
            component: informes-ocupacio
            equip: dades
          annotations:
            summary: "El CronJob informes-ocupacio no s'ha executat amb èxit"
            description: >
              Han passat {{ $value | humanizeDuration }} des de l'última
              execució correcta. El CronJob nocturn s'hauria d'executar cada
              24 hores. Sense informes, el departament comercial es queda cec.
            runbook_url: "https://runbooks.rutasnorte.example/cronjob-informes"

        # 100000 segons ≈ 27,8 h: un marge sobre les 24 h del cron que
        # tolera un retard puntual sense generar falsos positius.

        - alert: JobFallit
          expr: kube_job_status_failed{namespace=~"rutas-norte-.*"} > 0
          for: 5m
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "El Job {{ $labels.job_name }} ha fallat"
            runbook_url: "https://runbooks.rutasnorte.example/job-fallit"

        - alert: CuaNotificacionsCreixent
          expr: |
            max(rutasnorte_cua_espera_segons{entorn="pro"}) > 900
          for: 10m
          labels:
            severity: avis
            component: worker-notificacions
            equip: plataforma
          annotations:
            summary: "Correus de confirmació amb més de 15 minuts de retard"
            description: >
              El missatge més antic porta {{ $value | humanizeDuration }}
              en cua. Hi ha clients que han pagat i no han rebut res.
            runbook_url: "https://runbooks.rutasnorte.example/cua-notificacions"

    # =====================================================================
    # GRUP 4: META. Alertes sobre el propi sistema de monitoratge.
    # =====================================================================
    - name: rutasnorte.meta
      interval: 60s
      rules:

        - alert: ObjectiuPrometheusCaigut
          expr: up{namespace=~"rutas-norte-.*|monitoratge"} == 0
          for: 5m
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "Prometheus no pot escanejar {{ $labels.job }}"
            description: >
              Objectiu {{ $labels.instance }} inabastable. Revisar
              NetworkPolicies, l'endpoint /metrics i la readiness del pod.
            runbook_url: "https://runbooks.rutasnorte.example/objectiu-caigut"

        - alert: HPASenseMetriques
          expr: |
            kube_horizontalpodautoscaler_status_condition{
              condition="ScalingActive", status="false"} == 1
          for: 5m
          labels:
            severity: critica
            equip: plataforma
          annotations:
            summary: "L'HPA {{ $labels.horizontalpodautoscaler }} no pot escalar"
            description: >
              L'autoescalat està inactiu, probablement perquè
              metrics-server no respon (07-02). Durant un pic de trànsit
              la plataforma NO escalarà i ningú se n'adonarà.
            runbook_url: "https://runbooks.rutasnorte.example/hpa-inactiu"

kubectl apply -f k8s/base/monitoratge/alertes-rutas-norte.yaml

# L'operador ha carregat les regles?
kubectl -n monitoratge get prometheusrule alertes-rutas-norte

# Prometheus les està avaluant?
curl -s localhost:9090/api/v1/rules | jq -r '
  .data.groups[] | select(.name | startswith("rutasnorte")) |
  .rules[] | "\(.name)\t\(.state // "recording")"'

PlataformaSenseVendes	inactive
ApiReservesTaxaErrorAlta	inactive
ApiReservesLatenciaAlta	pending
BotigaWebCaiguda	inactive
DiscPostgresSOmplira	inactive

# Provocar deliberadament que un objectiu caigui
kubectl -n rutas-norte-dev scale deployment api-reserves --replicas=0
# Esperar el for i comprovar que l'alerta passa a firing

# k8s/base/monitoratge/alertmanager-config.yaml
apiVersion: v1
kind: Secret
metadata:
  name: alertmanager-monitoratge-kube-pr-alertmanager
  namespace: monitoratge
stringData:
  alertmanager.yaml: |
    global:
      resolve_timeout: 5m
      smtp_smarthost: 'smtp.rutasnorte.example:587'
      smtp_from: '[email protected]'

    # -----------------------------------------------------------------
    # ARBRE DE RUTES: s'avalua de dalt a baix; la primera coincidència
    # guanya, tret que es marqui continue: true.
    # -----------------------------------------------------------------
    route:
      receiver: 'equip-plataforma-slack'     # receptor per defecte

      # Quines alertes s'agrupen en una mateixa notificació.
      # Agrupar per alertname + namespace significa: "totes les
      # PodEnCrashLoop de rutas-norte-pro arriben en un únic missatge".
      group_by: ['alertname', 'namespace', 'component']

      # Després de la PRIMERA alerta d'un grup nou, esperar 30 s per si
      # n'arriben més i enviar-les juntes. És el que converteix 13 missatges
      # en 1 quan cau un node.
      group_wait: 30s

      # Si arriben alertes NOVES a un grup ja notificat, esperar 5 min
      # abans d'enviar l'actualització.
      group_interval: 5m

      # Si l'alerta continua activa, repetir l'avís cada 4 hores.
      # Ni tan curt que saturi ni tan llarg que s'oblidi.
      repeat_interval: 4h

      routes:
        # 1. Alertes de prova i de desenvolupament: a un canal a part, sense
        #    despertar ningú. Evita que el soroll de dev arribi a la guàrdia.
        - matchers:
            - namespace =~ "rutas-norte-(dev|pre)"
          receiver: 'canal-desenvolupament'
          group_wait: 5m
          repeat_interval: 24h

        # 2. Alertes crítiques de producció: PagerDuty (desperta algú)
        #    I A MÉS Slack, gràcies a continue: true.
        - matchers:
            - severity = "critica"
            - namespace =~ "rutas-norte-pro|monitoratge"
          receiver: 'guardia-pagerduty'
          group_wait: 10s          # les crítiques, amb menys espera
          repeat_interval: 1h      # i es recorden més sovint
          continue: true

        - matchers:
            - severity = "critica"
          receiver: 'equip-plataforma-slack'

        # 3. Alertes de l'equip de dades: al seu propi canal.
        - matchers:
            - equip = "dades"
          receiver: 'equip-dades-slack'
          repeat_interval: 12h

    # -----------------------------------------------------------------
    # INHIBICIÓ: una alerta greu silencia les derivades.
    # -----------------------------------------------------------------
    inhibit_rules:
      # Si la botiga web està caiguda del tot, no cal avisar
      # també que la seva latència és alta.
      - source_matchers:
          - alertname = "BotigaWebCaiguda"
        target_matchers:
          - severity = "avis"
          - component = "botiga-web"
        equal: ['namespace']

      # Si el node està caigut, no avisar de cada pod que hi ha.
      - source_matchers:
          - alertname = "NodeNotReady"
        target_matchers:
          - alertname =~ "PodEnCrashLoop|ObjectiuPrometheusCaigut"
        equal: ['node']

      # Regla general: si hi ha una crítica del mateix component,
      # els avisos d'aquell component es callen.
      - source_matchers:
          - severity = "critica"
        target_matchers:
          - severity = "avis"
        equal: ['component', 'namespace']

    # -----------------------------------------------------------------
    # RECEPTORS
    # -----------------------------------------------------------------
    receivers:
      - name: 'equip-plataforma-slack'
        slack_configs:
          - api_url_file: /etc/alertmanager/secrets/slack/url
            channel: '#alertes-plataforma'
            send_resolved: true
            title: '{{ if eq .Status "firing" }}🔴{{ else }}✅{{ end }} {{ .CommonLabels.alertname }}'
            text: |
              {{ range .Alerts }}
              *{{ .Annotations.summary }}*
              {{ .Annotations.description }}
              Entorn: `{{ .Labels.namespace }}` · Severitat: `{{ .Labels.severity }}`
              <{{ .Annotations.runbook_url }}|📖 Runbook> · <{{ .Annotations.dashboard_url }}|📊 Quadre de comandament>
              {{ end }}

      - name: 'guardia-pagerduty'
        pagerduty_configs:
          - routing_key_file: /etc/alertmanager/secrets/pagerduty/key
            description: '{{ .CommonAnnotations.summary }}'
            severity: 'critical'
            details:
              runbook: '{{ .CommonAnnotations.runbook_url }}'
              namespace: '{{ .CommonLabels.namespace }}'

      - name: 'canal-desenvolupament'
        slack_configs:
          - api_url_file: /etc/alertmanager/secrets/slack/url
            channel: '#alertes-desenvolupament'
            send_resolved: false

      - name: 'equip-dades-slack'
        slack_configs:
          - api_url_file: /etc/alertmanager/secrets/slack/url
            channel: '#alertes-dades'
            send_resolved: true

      - name: 'correu-responsables'
        email_configs:
          - to: '[email protected]'
            send_resolved: true

kubectl -n monitoratge port-forward svc/monitoratge-kube-pr-alertmanager 9093:9093 &

# Silenciar totes les alertes de postgres-reserves durant 2 hores
curl -s -X POST http://localhost:9093/api/v2/silences \
  -H 'Content-Type: application/json' \
  -d '{
    "matchers": [
      {"name": "component", "value": "postgres-reserves", "isRegex": false},
      {"name": "namespace", "value": "rutas-norte-pro", "isRegex": false}
    ],
    "startsAt": "2026-08-07T02:00:00Z",
    "endsAt":   "2026-08-07T04:00:00Z",
    "createdBy": "joan.costa",
    "comment": "Ampliació programada del PVC de postgres-reserves (tiquet OPS-1842)"
  }'

# Llistar silencis actius
curl -s http://localhost:9093/api/v2/silences | \
  jq -r '.[] | select(.status.state=="active") |
  "\(.id)\t\(.comment)\tfins \(.endsAt)"'

SLO de disponibilitat d'api-reserves: 99,5 % en 30 dies
Pressupost d'error = 100 % − 99,5 % = 0,5 %

En temps:  30 dies × 24 h × 0,5 % = 3 h 36 min d'indisponibilitat al mes
En peticions: amb ~4 milions de peticions/mes → 20 000 peticions poden fallar

- name: rutasnorte.slo
  interval: 60s
  rules:
    # Ràtio d'èxit a la finestra de 30 dies
    - record: apireserves:slo_disponibilitat:30d
      expr: |
        1 - (
          sum(increase(rutasnorte_peticions_total{entorn="pro", codi=~"5.."}[30d]))
          /
          sum(increase(rutasnorte_peticions_total{entorn="pro"}[30d]))
        )

    # Pressupost d'error CONSUMIT, en tant per u.
    # 0 = intacte, 1 = esgotat, >1 = SLO incomplert.
    - record: apireserves:pressupost_error_consumit:30d
      expr: |
        (
          sum(increase(rutasnorte_peticions_total{entorn="pro", codi=~"5.."}[30d]))
          /
          sum(increase(rutasnorte_peticions_total{entorn="pro"}[30d]))
        ) / 0.005

    # SLO de latència: fracció de peticions sota 500 ms
    - record: apireserves:slo_latencia:30d
      expr: |
        sum(increase(rutasnorte_duracio_peticio_segons_bucket{entorn="pro", le="0.5"}[30d]))
        /
        sum(increase(rutasnorte_duracio_peticio_segons_count{entorn="pro"}[30d]))

- alert: PressupostErrorConsumitRapid
  expr: |
    (
      sum(rate(rutasnorte_peticions_total{entorn="pro", codi=~"5.."}[1h]))
      / sum(rate(rutasnorte_peticions_total{entorn="pro"}[1h]))
    ) > (14.4 * 0.005)
  for: 5m
  labels:
    severity: critica
    equip: plataforma
  annotations:
    summary: "S'està consumint el pressupost d'error 14 vegades més ràpid del sostenible"
    description: >
      A aquest ritme, el pressupost de 30 dies s'esgotarà en uns 2 dies.
      Taxa d'error actual: {{ $value | humanizePercentage }}.
    runbook_url: "https://runbooks.rutasnorte.example/pressupost-error"

- alert: PressupostErrorGairebeExhaurit
  expr: apireserves:pressupost_error_consumit:30d > 0.90
  for: 30m
  labels:
    severity: avis
    equip: plataforma
  annotations:
    summary: "Queda menys del 10% del pressupost d'error del mes"
    description: >
      Consumit el {{ $value | humanizePercentage }} del pressupost.
      Considerar congelar els desplegaments no relacionats amb fiabilitat.

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: alertes-equip
  namespace: monitoratge
spec:
  groups:
    - name: alertes
      rules:
        - alert: CPUAlta
          expr: |
            sum by (pod) (rate(container_cpu_usage_seconds_total{namespace="rutas-norte-pro"}[5m])) > 0.5
          labels:
            severity: critica
          annotations:
            summary: "CPU alta"

        - alert: PodReiniciat
          expr: kube_pod_container_status_restarts_total{namespace="rutas-norte-pro"} > 0
          for: 1m
          labels:
            severity: critica
          annotations:
            summary: "Un pod s'ha reiniciat"

        - alert: MemoriaAlta
          expr: container_memory_working_set_bytes{namespace="rutas-norte-pro"} > 400000000
          for: 30s
          labels:
            severity: critica
          annotations:
            summary: "Memòria alta a {{ $labels.pod }}"

redis_memory_used_bytes
redis_memory_max_bytes
redis_keyspace_hits_total
redis_keyspace_misses_total
redis_evicted_keys_total

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: alertes-equip
  namespace: monitoratge
  labels:
    app.kubernetes.io/part-of: rutas-norte
spec:
  groups:
    - name: rutasnorte.recursos
      interval: 60s
      rules:

        # Substitueix CPUAlta: alerta sobre l'efecte real (throttling),
        # relatiu al límit del propi contenidor, no absolut.
        - alert: ContenidorEstrangulat
          expr: |
            sum by (namespace, pod, container) (
              rate(container_cpu_cfs_throttled_periods_total{namespace="rutas-norte-pro"}[5m]))
            / sum by (namespace, pod, container) (
              rate(container_cpu_cfs_periods_total{namespace="rutas-norte-pro"}[5m]))
            > 0.30
          for: 15m
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "{{ $labels.container }} estrangulat el {{ $value | humanizePercentage }} del temps"
            description: >
              El contenidor {{ $labels.container }} del pod {{ $labels.pod }}
              arriba al seu limits.cpu de manera sostinguda i això degrada la latència.
              Revisar la recalibració de recursos de 07-02.
            runbook_url: "https://runbooks.rutasnorte.example/throttling-cpu"

        # Substitueix PodReiniciat: fa servir increase() sobre una finestra,
        # exigeix diversos reinicis i baixa la severitat.
        - alert: PodEnCrashLoop
          expr: |
            increase(kube_pod_container_status_restarts_total{
              namespace="rutas-norte-pro"}[15m]) > 3
          for: 10m
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "{{ $labels.pod }} reiniciat més de 3 vegades en 15 minuts"
            description: >
              Contenidor {{ $labels.container }}. Causes freqüents: OOMKilled,
              error de configuració o livenessProbe massa agressiva (07-01).
              Recollir 'kubectl logs --previous' ABANS de tocar res.
            runbook_url: "https://runbooks.rutasnorte.example/crashloop"

        # Substitueix MemoriaAlta: relativa al límit, amb for raonable
        # i filtrant la sèrie agregada del pod.
        - alert: MemoriaAPropDelLimit
          expr: |
            container_memory_working_set_bytes{namespace="rutas-norte-pro", container!=""}
            / on (namespace, pod, container)
            kube_pod_container_resource_limits{namespace="rutas-norte-pro", resource="memory"}
            > 0.90
          for: 15m
          labels:
            severity: avis
            equip: plataforma
          annotations:
            summary: "{{ $labels.container }} al {{ $value | humanizePercentage }} del seu límit de memòria"
            description: >
              El contenidor és a prop del seu limits.memory i serà OOMKilled
              si el supera. Revisar si hi ha una fuita o si el límit és curt.
            runbook_url: "https://runbooks.rutasnorte.example/memoria-limit"

        # Alerta sobre el SÍMPTOMA real: el contenidor JA va ser mort.
        - alert: ContenidorOOMKilled
          expr: |
            increase(kube_pod_container_status_last_terminated_reason{
              namespace="rutas-norte-pro", reason="OOMKilled"}[15m]) > 0
          for: 1m
          labels:
            severity: critica
            equip: plataforma
          annotations:
            summary: "{{ $labels.container }} ha estat mort per falta de memòria"
            description: >
              El kernel ha mort el contenidor per superar el seu limits.memory
              (codi de sortida 137). Ampliar el límit o corregir la fuita.
            runbook_url: "https://runbooks.rutasnorte.example/oomkilled"

sum(rate(redis_keyspace_hits_total{entorn="pro"}[5m]))
  /
(
  sum(rate(redis_keyspace_hits_total{entorn="pro"}[5m]))
  +
  sum(rate(redis_keyspace_misses_total{entorn="pro"}[5m]))
)

- alert: RedisCacheSOmplira
  expr: |
    predict_linear(
      (redis_memory_max_bytes{entorn="pro"} - redis_memory_used_bytes{entorn="pro"})[2h:],
      2 * 3600
    ) < 0
  for: 20m
  labels:
    severity: avis
    component: redis-cache
    equip: plataforma
  annotations:
    summary: "redis-cache s'omplirà en menys de 2 hores"
    description: >
      Segons la tendència de les últimes 2 hores, redis-cache arribarà al seu
      maxmemory d'1 GiB en menys de 2 hores i començarà a expulsar claus.
      Memòria lliure actual: {{ $value | humanize1024 }}B.
      Acció: ampliar maxmemory o revisar el TTL de les claus de disponibilitat.
    runbook_url: "https://runbooks.rutasnorte.example/redis-memoria"

predict_linear(redis_memory_used_bytes{entorn="pro"}[2h], 2*3600)
  > avg(redis_memory_max_bytes{entorn="pro"})

- alert: RedisTaxaEncertsDegradada
  expr: |
    (
      sum(rate(redis_keyspace_hits_total{entorn="pro"}[10m]))
      / (sum(rate(redis_keyspace_hits_total{entorn="pro"}[10m]))
         + sum(rate(redis_keyspace_misses_total{entorn="pro"}[10m])))
    ) < 0.80
  for: 15m
  labels:
    severity: avis
    component: redis-cache
    equip: plataforma
  annotations:
    summary: "La taxa d'encerts de redis-cache ha caigut al {{ $value | humanizePercentage }}"
    description: >
      El normal és un 95%. Amb una taxa baixa, api-reserves consulta
      postgres-reserves molt més del previst i la latència puja.
      Comprovar si redis-cache està expulsant claus per falta de memòria.
    runbook_url: "https://runbooks.rutasnorte.example/redis-encerts"

- alert: RedisExpulsantClaus
  expr: sum(rate(redis_evicted_keys_total{entorn="pro"}[5m])) > 10
  for: 10m
  labels:
    severity: avis
    component: redis-cache
    equip: plataforma
  annotations:
    summary: "redis-cache expulsa {{ $value | humanize }} claus/s per falta de memòria"
    runbook_url: "https://runbooks.rutasnorte.example/redis-memoria"

inhibit_rules:
  # Si Redis ja està expulsant claus, la predicció que s'omplirà
  # ja no aporta res: el fet ha passat.
  - source_matchers:
      - alertname = "RedisExpulsantClaus"
    target_matchers:
      - alertname = "RedisCacheSOmplira"
    equal: ['component', 'namespace']

  # Si la latència d'api-reserves està disparada (símptoma que pateix el
  # client), els avisos de redis-cache són la causa: no calen dues
  # notificacions separades del mateix incident.
  - source_matchers:
      - alertname = "ApiReservesLatenciaAlta"
      - severity = "critica"
    target_matchers:
      - component = "redis-cache"
      - severity = "avis"
    equal: ['namespace']

time_intervals:
  - name: horari-laboral
    time_intervals:
      - weekdays: ['monday:friday']
        times:
          - start_time: '08:00'
            end_time: '20:00'
        location: 'Europe/Madrid'

  - name: fora-dhorari
    time_intervals:
      - weekdays: ['monday:friday']
        times:
          - start_time: '20:00'
            end_time: '24:00'
          - start_time: '00:00'
            end_time: '08:00'
        location: 'Europe/Madrid'
      - weekdays: ['saturday', 'sunday']
        location: 'Europe/Madrid'

route:
  receiver: 'equip-plataforma-slack'
  group_by: ['alertname', 'namespace', 'component']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h

  routes:
    # ------------------------------------------------------------------
    # 1. Equip de dades: SEMPRE al seu canal, MAI a PagerDuty.
    #    Va primer perquè la primera coincidència guanya.
    # ------------------------------------------------------------------
    - matchers:
        - equip = "dades"
      receiver: 'equip-dades-slack'
      repeat_interval: 12h

    # ------------------------------------------------------------------
    # 2. dev i pre: no desperten mai ningú.
    # ------------------------------------------------------------------
    - matchers:
        - namespace =~ "rutas-norte-(dev|pre)"
      receiver: 'canal-desenvolupament'
      group_wait: 5m
      repeat_interval: 24h

    # ------------------------------------------------------------------
    # 3. FORA D'HORARI: només les crítiques de producció desperten.
    # ------------------------------------------------------------------
    - matchers:
        - severity = "critica"
        - namespace =~ "rutas-norte-pro|monitoratge"
      active_time_intervals: ['fora-dhorari']
      receiver: 'guardia-pagerduty'
      group_wait: 10s
      repeat_interval: 1h
      continue: true          # que també quedi registre a Slack

    # 3b. La resta, fora d'horari, només a Slack: es llegeix al matí.
    - matchers:
        - namespace =~ "rutas-norte-pro|monitoratge"
      active_time_intervals: ['fora-dhorari']
      receiver: 'equip-plataforma-slack'
      group_wait: 5m
      repeat_interval: 12h     # sense insistir de matinada

    # ------------------------------------------------------------------
    # 4. HORARI LABORAL: tot a Slack, amb les crítiques més àgils.
    # ------------------------------------------------------------------
    - matchers:
        - severity = "critica"
      active_time_intervals: ['horari-laboral']
      receiver: 'equip-plataforma-slack'
      group_wait: 10s
      repeat_interval: 1h

    - active_time_intervals: ['horari-laboral']
      receiver: 'equip-plataforma-slack'

kubectl -n monitoratge port-forward svc/monitoratge-kube-pr-alertmanager 9093:9093 &

curl -s -X POST http://localhost:9093/api/v2/silences \
  -H 'Content-Type: application/json' \
  -d '{
    "matchers": [
      {"name": "component", "value": "postgres-reserves", "isRegex": false},
      {"name": "namespace", "value": "rutas-norte-pro",   "isRegex": false}
    ],
    "startsAt": "2026-05-02T00:00:00Z",
    "endsAt":   "2026-05-02T03:15:00Z",
    "createdBy": "[email protected]",
    "comment": "Migració programada de postgres-reserves 02:00-05:00 CEST. Tiquet OPS-1842. Aprovada al comitè de canvis del 28/04. Responsable de guàrdia: Marta Ruiz."
  }' | jq -r '.silenceID'

# Comprovar QUINES alertes queden cobertes pel silenci abans d'aplicar-lo:
# les de la plataforma completa (PlataformaSenseVendes, BotigaWebCaiguda) NO
# porten l'etiqueta component=postgres-reserves, així que continuen actives.
# Això és deliberat: si la migració deixa la plataforma sense vendre, cal
# assabentar-se'n immediatament encara que la causa sigui la migració mateixa.

curl -s http://localhost:9093/api/v2/alerts | \
  jq -r '.[] | select(.status.silencedBy | length > 0) | .labels.alertname'

# Confirmar que el silenci ha expirat i no en queda cap d'oblidat
curl -s http://localhost:9093/api/v2/silences | \
  jq -r '.[] | select(.status.state=="active") |
  "\(.id)\t\(.createdBy)\t\(.comment)\tfins \(.endsAt)"'