Colas de mensajes

  • Lección 21 de 40
  • 12 min
  • Inicial
  • 11 pasos

Responder al instante y hacer el trabajo pesado después, sin perder ninguna tarea por el camino. Verás cómo una cola separa a quien pide el trabajo de quien lo hace y qué hay que cuidar cuando algo falla.

Respuesta de subida
80 ms
Trabajos en cola
60
Workers
4
Trabajos perdidos
0
creadores subiendoServidorwebServidor webCola devídeosCola de vídeosEventos decuentaEventos de cuentaTema4 particionesTemaWorker 1Worker 1Worker 2Worker 2Worker 3Worker 3Worker 4Worker 4Worker 5Worker 5FallidosDLQFallidos96%convirtiendo · 30 ssubida… espera 30 s202 Accepted · 80 msencolar trabajotomar trabajo202 Accepted · 85 msa su ritmoa su ritmoencolar trabajoencolar trabajotomar trabajoCAÍDOencolar trabajoCAÍDOConfirmaciones (ack)1. un worker lo toma → oculto, no borrado2. termina → ack → borrado3. sin ack en 60 s → visible otra vezpuede repetirse → trabajo idempotentefalla 3 de 3tras 3 fallos«borrada» ✓«email cambiado» · tardepartición 0partición 1partición 2partición 3100%100%100%100%503 · reintenta en 60 sel más antiguo: 5 h202 Accepted · 80 ms
  • petición
  • petición lenta
  • esperando en cola

Paso 1 de 11

Problema

El trabajo pesado, dentro de la petición

Los creadores suben vídeos y cada uno hay que convertirlo a varias resoluciones: unos 30 segundos de CPU por vídeo (valor de ejemplo). Hoy el servidor web hace esa conversión dentro de la misma petición de subida.

Resultado: el creador mira un indicador de carga durante 30 s, muchas subidas superan el tiempo de espera del cliente o del proxy y, mientras la CPU está ocupada convirtiendo, el resto de páginas del sitio también van lentas.

Paso 2 de 11

Solución

Una cola en medio

Ahora el servidor web guarda el archivo, deja un mensaje pequeño en una cola de mensajes («convertir el vídeo 123») y responde enseguida con 202 Accepted: lo procesamos y te avisamos.

Otras máquinas, los workers, sacan trabajos de la cola y los convierten a su ritmo. El servidor web es el productor y los workers son los consumidores: ninguno necesita saber cuántos hay del otro lado.

Qué cambió

  • Cola de vídeos
  • 2 workers
  • Respuesta de subida: 30 s → 80 ms

Paso 3 de 11

Concepto

Un pico se convierte en espera

Un creador muy seguido publica y las subidas se multiplican por 10. En este ejemplo cada worker convierte 2 vídeos por minuto, así que 2 workers sacan 4; durante el pico llegan 40 por minuto. La cola crece 36 por minuto: en media hora acumula 1080 trabajos.

Sin la cola, ese pico habría tumbado a los servidores web. Con ella, la web solo encola y sigue respondiendo en unos 85 ms; los trabajos esperan su turno y los workers mantienen su ritmo.

Qué cambió

  • Subidas: ×10 (40 por minuto)
  • Trabajos en cola: 2 → 1080
  • Respuesta de subida: sigue en unos 85 ms

Paso 4 de 11

Técnica

Más workers para vaciarla

El pico ya pasó y vuelven a llegar 4 vídeos por minuto. Con 2 workers también salen 4: la cola no bajaría nunca. Arrancamos 3 más: 5 workers sacan 10 por minuto, la cola baja 6 por minuto y pasa de 1080 a 300 en unos 130 minutos.

Todos leen de la misma cola y cada trabajo se entrega a un solo worker a la vez: es el patrón de consumidores competidores. Como los workers no guardan estado, añadir o quitar es fácil, y es habitual escalarlos de forma automática según el tamaño de la cola.

Qué cambió

  • 3 workers más (5 en total)
  • Trabajos en cola: 1080 → 300 y bajando

Paso 5 de 11

Problema

Un worker se cae a mitad de trabajo

El worker 5 se cae. Para no pedir trabajos de uno en uno, cada worker se reserva 12 por adelantado (valor de ejemplo). Si la cola borra cada mensaje en cuanto lo entrega, esos 12 vídeos desaparecen con el worker y sus creadores esperan para siempre.

Las máquinas se caen, se reinician y se reemplazan todo el tiempo. La cola tiene que dar por hecho que va a pasar.

Qué cambió

  • Worker 5 caído
  • 12 trabajos perdidos

Paso 6 de 11

Solución

Confirmar al terminar

La solución: al entregar un mensaje, la cola no lo borra, solo lo oculta. Cuando el worker termina envía un ack (confirmación) y entonces sí se borra. Si el ack no llega en 60 s, el mensaje vuelve a estar visible y otro worker lo toma. Ese plazo debe ser mayor que lo que tarda un trabajo (aquí, 30 s).

El precio: un trabajo puede ejecutarse dos veces, por ejemplo si el worker termina pero se cae justo antes de enviar el ack. Por eso los trabajos deben ser idempotentes: repetirlos deja el mismo resultado.

Qué cambió

  • Ack al terminar cada trabajo
  • Sin ack en 60 s, el mensaje se entrega otra vez
  • Trabajos perdidos: 12 → 0 (vuelven a la cola: 300 → 312)

Paso 7 de 11

Técnica

Mensajes venenosos y cola de fallidos

Una subida trae un archivo corrupto. El worker que lo toma falla, el mensaje vuelve a la cola, el siguiente worker falla igual… y así para siempre, gastando workers y retrasando al resto.

Por eso las colas cuentan los intentos de cada mensaje. Tras, por ejemplo, 3 fallos, lo mueven a una cola de mensajes fallidos (DLQ, del inglés dead-letter queue) para que una persona o un script lo revise.

Qué cambió

  • Worker 5 retirado
  • Cola de mensajes fallidos (DLQ)
  • Tras 3 fallos, el mensaje se aparta
  • Trabajos en cola: 312 → 60 una hora después

Paso 8 de 11

Problema

Caso: mensajes fuera de orden

Otra cola transporta eventos de cuentas: creada, email cambiado, borrada. Con varios workers en paralelo, uno lento puede terminar «email cambiado» después de que otro ya procesó «borrada», y la cuenta borrada vuelve a tener datos.

Muchas colas no garantizan ningún orden, e incluso las que lo hacen lo pierden en cuanto varios consumidores trabajan a la vez.

Qué cambió

  • Eventos: creada → email cambiado → borrada
  • Procesados: creada → borrada → email cambiado

Paso 9 de 11

Solución

Orden por clave con particiones

Los sistemas de mensajería basados en un log dividen un tema (topic) en particiones. Los mensajes con la misma clave, por ejemplo el id de la cuenta, van siempre a la misma partición, y cada partición la lee un solo worker del grupo, en orden.

Así, los eventos de una misma cuenta se procesan en orden, y las cuentas distintas se siguen procesando en paralelo en particiones distintas.

Qué cambió

  • 4 particiones por id de cuenta
  • Cada worker lee una partición
  • Los eventos de cada cuenta mantienen su orden

Paso 10 de 11

Técnica

Cuando la cola nunca se vacía

Una cola absorbe picos, pero si durante horas llegan trabajos más rápido de lo que se terminan, crece sin fin. En este ejemplo llegan 12 por minuto y los 4 workers sacan 8: la cola sube 4 por minuto y en 10 horas acumula 2400. A 8 por minuto, el último en llegar espera unas 5 horas.

Vigila la edad del mensaje más antiguo, no solo cuántos hay, y aplica contrapresión: escala los workers, pon un tope a la cola y pide a los productores que frenen (o rechaza trabajos nuevos con 503 y Retry-After).

Qué cambió

  • Alerta: mensaje más antiguo con más de 10 min
  • Tope de 2400 en la cola: la web responde 503 y pide reintentar en 60 s

Paso 11 de 11

Resumen

Resumen

Saca el trabajo lento de la petición: encola un mensaje y responde al momento.

La cola absorbe picos; más workers la vacían, siempre que saquen más de lo que entra.

Confirma con ack al terminar; lo que no se confirma se reintenta, así que los trabajos deben ser idempotentes.

Aparta en una cola de mensajes fallidos lo que falla una y otra vez.

Conserva el orden por clave con particiones y vigila la edad de la cola para frenar a tiempo.

Aprenderás

  • Por qué el trabajo lento no va dentro de una petición
  • Productores, colas y consumidores
  • Cómo una cola absorbe un pico
  • Acks, reintentos y colas de mensajes fallidos
  • Orden por clave, particiones y contrapresión