Rate limiting
- Lección 25 de 40
- 10 min
- Intermedio
- 9 pasos
Un solo cliente descontrolado puede dejar sin servicio a todos los demás. Verás cómo repartir la capacidad con límites por cliente y qué hacer cuando ni así alcanza.
- Script con bug
- 10 pet/s
- Usuarios atendidos
- 100%
- CPU de la API
- 40%
- Rechazadas en la puerta
- 0 pet/s
- petición
- petición lenta
- esperando en cola
- petición fallida
Paso 1 de 9
Problema
Un script con prisa y todos esperando
Un cliente despliega un script con un bug: llama a tu API dentro de un bucle sin pausa, 4.000 peticiones por segundo. Casi toda la CPU de la API se va en atenderlo.
Las peticiones de los usuarios reales hacen cola detrás de esa avalancha y muchas terminan en timeout. Nadie te está atacando: un solo cliente se lleva la capacidad que era de todos.
Paso 2 de 9
Solución
Un portero en la entrada
Pon un rate limiter en un gateway delante de la API. Cada cliente se identifica (por API key, id de usuario o IP) y recibe un presupuesto: en este ejemplo, 10 peticiones por segundo.
Lo que cabe en el presupuesto pasa; el resto se rechaza en el acto con 429 Too Many Requests, sin tocar la API. El script pierde 3.990 de sus 4.000 peticiones por segundo.
Qué cambió
- Gateway con rate limiter
- Script limitado a 10 pet/s
- CPU de la API: 98 % → 40 %
- Usuarios atendidos: 58 % → 100 %
Paso 3 de 9
Técnica
Cómo cuenta: el token bucket
El algoritmo más usado es el token bucket (cubeta de fichas). Cada cliente tiene una cubeta de hasta 10 fichas que se rellena a 10 por segundo. Cada petición gasta una ficha; con la cubeta vacía, la respuesta es 429.
Un usuario normal casi nunca la vacía: ahora le quedan 8 de 10. El script la deja a cero en cuanto recibe fichas nuevas, así que casi todo lo que envía se rechaza.
Qué cambió
- Una cubeta por cliente
Paso 4 de 9
Técnica
Ventanas frente a cubetas
La ventana fija cuenta peticiones por minuto de reloj y vuelve a cero en cada minuto exacto. Es sencilla, pero tiene un borde: con un límite de 60 por minuto, un cliente puede mandar 60 a las 0:59 y otras 60 a la 1:00, 120 en unos 2 segundos.
La ventana deslizante mira siempre los últimos 60 segundos y elimina ese borde. El token bucket admite ráfagas controladas. Por eso los gateways suelen ofrecer uno de estos dos.
Paso 5 de 9
Problema
Dos gateways, un solo presupuesto
Un gateway ya no da abasto y pones dos detrás de un balanceador. Si cada uno cuenta por su lado, un cliente que reparte sus peticiones entre ambos consigue el doble de su límite; con 10 gateways, diez veces.
La salida es guardar los contadores en un almacén compartido y rápido, como Redis: cada petición hace un incremento atómico (INCR) y compara el total con el límite.
Qué cambió
- Segundo gateway
- Almacén de contadores compartido
- Los contadores de cada cliente viven en el almacén
Paso 6 de 9
Técnica
Dile al cliente cuándo volver
Un buen 429 no solo dice que no: indica cuándo volver con la cabecera Retry-After: 30 (en segundos) y suele informar del límite y de lo que queda con cabeceras como X-RateLimit-Remaining, muy extendidas aunque no son estándar.
Un cliente bien hecho espera ese tiempo antes de reintentar. El dueño del script arregla su bucle y ahora usa 10 pet/s, su parte justa, sin un solo rechazo.
Qué cambió
- Cabeceras Retry-After y de límite
- El script baja a 10 pet/s
- Rechazadas: 3.990/s → 0
Paso 7 de 9
Problema
Caso: una empresa con 8.000 usuarios
Vendes tu API a empresas. Una lanza cada noche una importación con 8.000 usuarios; ninguno pasa de su límite personal, pero juntos suman 2.400 pet/s, el 60 % de una capacidad de 4.000 (valores de ejemplo). Cada noche, el resto de clientes va lento.
Un límite por usuario no ve el problema. Añade una cuota por inquilino (la cuenta de la empresa) según su plan, encima del límite por usuario: con una cuota de 1.500 pet/s, las 900 que sobran reciben 429.
Qué cambió
- Cuota por inquilino según su plan
- La importación queda en 1.500 pet/s
Paso 8 de 9
Técnica
Cuando todos llegan a la vez: descartar carga
Los límites evitan que un cliente acapare. Pero el día de un lanzamiento llegan todos a la vez, cada uno dentro de su límite, y el total supera lo que puedes servir: 6.000 pet/s para una capacidad de 4.000 (valores de ejemplo).
Ahí entra el load shedding: el gateway descarta primero el trabajo de segundo plano (precargas, recomendaciones, analítica), 2.400 pet/s. Quedan 3.600, el 90 % de la capacidad, y los logins y pagos siguen funcionando.
Qué cambió
- Pico de usuarios reales
- El gateway descarta lo de baja prioridad
- Logins y pagos: 100 % atendidos
Paso 9 de 9
Resumen
Resumen
Da a cada cliente un presupuesto y rechaza el exceso pronto, con 429.
El token bucket tolera ráfagas cortas y limita la media; la ventana deslizante evita el borde de la fija.
Con varios gateways, guarda los contadores en un almacén compartido.
Apila límites por usuario, por inquilino y por endpoint, y usa Retry-After para decir cuándo volver.
Si todo el sistema se satura, descarta primero el trabajo de baja prioridad.
← → paso · R repetir · Espacio pausa
Aprenderás
- Por qué un solo cliente puede dejar sin servicio a los demás (visto)
- Cómo cuentan el token bucket y las ventanas (visto)
- Cómo compartir el límite entre varios gateways (visto)
- Respuestas 429, reintentos y cuotas por inquilino (visto)
- Descartar carga cuando todos llegan a la vez (visto)