Observabilidad

  • Lección 27 de 40
  • 11 min
  • Intermedio
  • 9 pasos

Un sistema repartido en muchos servicios falla de formas que nadie ve a simple vista. La observabilidad es lo que te deja preguntarle qué le pasa y obtener una respuesta en minutos.

Tiempo en enterarte
2 min
Tiempo hasta la causa
5 min
Latencia p99
430 ms
Señales
métricas + logs + trazas
compradoresGatewayGatewayPedidosPedidosInventarioInventarioBD pedidosPagosPagosAntifraudeexternoAntifraude????p99 10 msp99 40 msp99 2,5 sp99 2,4 sp99 2,6 sPanel · p99 por serviciogateway2,6 spedidos2,5 spagos2,4 sinventario40 msBD pedidos10 msvalores de ejemploSLO: se gasta 15× más rápidop99 40 msp99 2,4 sSLO del pagoSLIpagos en menos de 1 sSLO99,9 % en 30 díaspresupuesto0,1 % puede ir lentoúltima hora1,5 % lento = 15× → avisovalores de ejemploreq=r7c22,2 s en una sola llamadaLogs · filtro req=r7c214:02:12.204gateway: POST /checkout14:02:12.209pedidos: stock reservado14:02:12.251pagos: llama a antifraude14:02:14.449pagos: antifraude ok (2198 ms)horas de ejemplo2,2 sTraza r7c2 · 2,6 sgateway2,6 spedidos2,55 sinventario40 mspagos2,4 santifraude2,2 svalores de ejemplotimeout 300 ms + cachép99 430 msTraza k4m9 · 430 msgateway430 ms› pedidos380 ms›› inventario40 ms›› pagos230 ms››› antifraude30 ms (caché)valores de ejemplocambio de config 03:10errores 6 %Pagos con error · última hora02:550,1 %03:050,1 %03:10 cambio de config0,1 %03:126 %03:17 revertido0,1 %valores de ejemplop99 430 msPost-mortem · errores en el pagoimpacto~6 % de pagos fallan, 5 mincausatimeout de inventario: 2 s → 20 mstiemposaviso 1 min · revertido en 4 minaccióndespliegue canary de configacciónvalidar timeouts antes de aplicarp99 430 ms
  • petición
  • respuesta
  • petición lenta
  • petición fallida

Paso 1 de 9

Problema

«El pago tarda muchísimo». ¿Dónde?

Llegan quejas: pagar el carrito tarda varios segundos. Cada compra pasa por el gateway, el servicio de pedidos, el de inventario, el de pagos, una base de datos y un servicio antifraude externo.

En el diagrama ves una petición atascada en algún punto, pero el equipo no ve nada de eso. La CPU de todos los servidores parece normal y nadie sabe por dónde empezar a buscar.

Paso 2 de 9

Técnica

Métricas: números a lo largo del tiempo

Cada servicio mide unas pocas cifras de las peticiones que atiende, siguiendo el método RED: Rate (peticiones por segundo), Errors (porcentaje que falla) y Duration (percentiles de latencia). Las envía a una base de datos de series temporales y se dibujan en un panel.

Con el panel delante el mapa cambia: inventario y la base de datos responden rápido; la lentitud está en el camino de pagos.

Qué cambió

  • Métricas RED en cada servicio
  • Panel con el p99 de cada servicio

Paso 3 de 9

Técnica

Alerta por lo que nota el usuario

Despertar a alguien porque la CPU pasó del 80 % genera avisos a todas horas que casi nunca significan nada. Es mejor alertar por síntomas que el usuario sí nota.

Elige un SLI (por ejemplo, el porcentaje de pagos que terminan en menos de 1 s), fija un objetivo o SLO (99,9 % en 30 días) y alerta cuando gastas el presupuesto de error restante demasiado deprisa. Aquí, el 1,5 % de pagos lentos en la última hora es 15 veces el 0,1 % permitido: hay que avisar ya.

Qué cambió

  • SLO: 99,9 % de pagos en menos de 1 s
  • Alerta por consumo del presupuesto de error

Paso 4 de 9

Técnica

Logs: lo que pasó, línea a línea

Las métricas dicen dónde; los logs cuentan qué pasó. Cada servicio escribe eventos con hora, pero con miles de peticiones por segundo las líneas de unas y otras se mezclan y no se entiende nada.

La solución: el gateway asigna un id de petición, cada servicio lo reenvía en sus llamadas y lo escribe en cada línea. Filtras por ese id y lees la historia completa de una sola compra.

Qué cambió

  • Id de petición en cada línea de log

Paso 5 de 9

Solución

Trazas: sigue una petición por todo el sistema

Una traza distribuida registra cada salto de una petición como un span, con su inicio y su duración, todos unidos por el mismo id de traza. Dibujada como cascada, muestra exactamente en qué se va el tiempo.

En esta compra, 2,2 de sus 2,6 segundos (alrededor del 85 %) se pasan esperando al servicio antifraude externo.

Qué cambió

  • Id de traza propagado entre servicios
  • Causa: antifraude, ~85 % del tiempo

Paso 6 de 9

Solución

Arréglalo y demuestra que funcionó

Con la causa a la vista el arreglo es rápido: llamar al antifraude con un timeout de 300 ms, guardar en caché las puntuaciones recientes y, si no responde a tiempo, aprobar el pago y revisarlo después.

Los mismos paneles confirman el resultado: el p99 baja de 2,6 s a 430 ms y la alerta del SLO se apaga. Incluso cuando la caché falla y se espera el timeout completo, la compra queda por debajo de 1 s.

Qué cambió

  • Timeout de 300 ms y caché en antifraude
  • p99 del pago: 2,6 s → 430 ms

Paso 7 de 9

Problema

Caso: a las 3 de la mañana suben los errores

Suena la alerta: los pagos con error pasan del 0,1 % al 6 % a las 03:12. El panel señala a inventario, y el registro de despliegues muestra un cambio de configuración en ese servicio a las 03:10: su timeout bajó de 2 s a 20 ms por error.

Lo correcto es mitigar primero: revertir el cambio y recuperar el servicio. La causa de fondo se investiga después, con calma, y no al revés.

Qué cambió

  • Cambio de config en inventario a las 03:10
  • Pagos con error: 0,1 % → 6 %
  • Revertido a las 03:17

Paso 8 de 9

Concepto

Aprende del fallo: el post-mortem

Pasado el incidente, el equipo escribe un post-mortem: la cronología, el impacto, la causa raíz y las acciones para que no se repita.

Es sin culpables: la pregunta es cómo el sistema dejó pasar el error, no quién lo cometió. En este caso, los cambios de configuración pasan a desplegarse por etapas (canary), igual que el código.

Qué cambió

  • Post-mortem escrito
  • Acción: despliegue canary también para config

Paso 9 de 9

Resumen

Resumen

Las métricas RED (tasa, errores, duración) muestran dónde duele.

Alerta por SLO, lo que nota el usuario, y no por CPU.

Los logs con id de petición cuentan la historia de una petición.

Las trazas siguen una petición por todos los servicios.

En un incidente, primero mitiga; después, un post-mortem sin culpables.

Instrumenta antes de necesitarlo: en plena caída es tarde para añadir logs.

Aprenderás

  • Por qué «va lento» es tan difícil de investigar
  • Métricas y paneles con el método RED
  • Alertas sobre SLO, no sobre CPU
  • Logs con id de petición y trazas distribuidas
  • Cómo llevar un incidente y escribir el post-mortem