Latencia y throughput

  • Lección 2 de 40
  • 11 min
  • Inicial
  • 10 pasos

Dos preguntas que parecen la misma: cuánto tarda una petición y cuántas aguanta el sistema. Verás por qué no lo son y qué pasa cuando el servidor se llena.

Latencia p50
120 ms
Latencia p99
190 ms
Rendimiento
350 pet/s
Uso
35%
7000 usuariosServidorde appsServidor de appsBúsquedafan-outBúsquedaEscritorde eventosEscritor de eventosBase de datosÍndice 1Índice 2Índice 3Índice 4Índice 5Índice 610%≈ 120 ms ida y vuelta70%Latencia frente a usolatenciauso →70%96%Latencia frente a usolatenciauso →96%70%Percentilesmedia180 msparece sanap50160 msla mitad tarda menosp99600 ms1 de cada 100 tarda másel 1 % lento no se ve en la media35%Latencia frente a usolatenciauso →35%35%Madrid≥ 90 ms más por ida y vuelta35%≈ 42 en cursoLey de Littleen curso = rendimiento × latencia350 pet/s × 0,12 s ≈ 42con 1 s de latencia → 35040%lento esta vezEsperar al más lentocada servidor va lento 1 de cada 100 veces1 servidor1 % lentas100 servidores1 − 0,99¹⁰⁰ ≈ 63 %35%lote: 100 filas / 50 msINSERT de 100 filasFilas por segundo1 fila por INSERT2000/s100 filas por INSERT50.000/scada fila espera ≤ 50 ms35%Latencia frente a usolatenciauso →35%
  • petición
  • respuesta
  • petición lenta
  • esperando en cola
  • lote

Paso 1 de 10

Concepto

Latencia y throughput no son lo mismo

Latencia: cuánto tarda una petición en ir y volver. Sigue un punto desde la multitud hasta el servidor y de vuelta.

Throughput (rendimiento): cuántas peticiones termina el sistema por segundo. Cuenta los puntos que llegan.

Paso 2 de 10

Problema

El mismo servidor, siete veces más gente

Ahora llegan 7000 usuarios. El rendimiento sube a 350 pet/s porque el servidor todavía puede con ello: en este ejemplo su techo ronda las 500 pet/s, así que está ocupado el 70 % del tiempo.

Fíjate en la entrada del servidor: a veces una petición llega, lo encuentra ocupado y espera. El tiempo en cola también es latencia.

Qué cambió

  • Usuarios: 1000 → 7000
  • Rendimiento: 50 → 350 pet/s
  • Una cola corta en la entrada

Paso 3 de 10

Problema

Cerca del 100 %, la latencia se dispara

Un tercio más de usuarios y el uso llega al 96 %. El rendimiento apenas sube (480 pet/s, casi el techo), pero la latencia se multiplica: el p99 pasa de 600 ms a 4,2 s.

Las peticiones no llegan en fila ordenada sino a ráfagas. Con margen, una ráfaga se despacha enseguida; sin margen, cada ráfaga se suma a la cola que ya había y tarda mucho en vaciarse. Por eso la curva tiene forma de palo de hockey.

Qué cambió

  • Usuarios: 7000 → 9600
  • Uso: 70 % → 96 %
  • Cola: 2 → 6 en espera
  • p99: 600 ms → 4,2 s

Paso 4 de 10

Concepto

La media miente

Volvemos al 70 % de uso. Casi todas las peticiones son rápidas, pero unas pocas se atascan detrás de trabajo lento (los puntos oscuros). La media sale en unos 180 ms y parece sana: las pocas lentas se diluyen.

Por eso se mide con percentiles. El p50 es el tiempo por debajo del cual queda la mitad de las peticiones; el p99, el que solo supera 1 de cada 100.

Qué cambió

  • Volvemos a 7000 usuarios
  • Algunas peticiones lentas
  • p99: 4,2 s → 600 ms

Paso 5 de 10

Solución

Más margen, menos espera

Duplicamos los núcleos del servidor. Las mismas 350 pet/s ahora son solo el 35 % de su capacidad: la cola desaparece y bajan el p50 y el p99.

El rendimiento no cambia porque la demanda no cambió. Lo que ganamos es margen para que las ráfagas no se acumulen.

Qué cambió

  • Servidor: 4 → 8 núcleos
  • Uso: 70 % → 35 %
  • La cola
  • p99: 600 → 190 ms

Paso 6 de 10

Concepto

La distancia también es latencia

Ahora el servidor está en Madrid y los usuarios en Ciudad de México. El servidor no se ha vuelto más lento, pero cada viaje tarda más: mira cuánto tardan los puntos en cruzar.

La luz en la fibra recorre unos 200 km por milisegundo. Entre las dos ciudades hay unos 9000 km, así que cada ida y vuelta suma al menos ~90 ms, y en la práctica algo más, porque los cables no van en línea recta.

Qué cambió

  • Servidor movido a Madrid
  • ≥ 90 ms por cada ida y vuelta
  • p50: 120 → 210 ms

Paso 7 de 10

Técnica

Cuántas peticiones hay en curso

Una regla une los tres números: en curso = rendimiento × latencia. Con 350 pet/s y 0,12 s cada una, hay unas 42 peticiones a medias en cualquier momento.

Cada una ocupa un hilo, una conexión o memoria. Si la latencia sube a 1 s con el mismo rendimiento, pasan a ser 350 en curso, y un pool pensado para 50 se agota.

Qué cambió

  • ≈ 42 peticiones en curso

Paso 8 de 10

Problema

Una búsqueda, muchos servidores

Una búsqueda consulta 100 servidores de índice a la vez (aquí ves 6) y tiene que esperar al más lento. Cada uno responde rápido el 99 % de las veces, pero con 100 casi siempre alguno va lento.

1 − 0,99¹⁰⁰ ≈ 63 %: casi dos de cada tres búsquedas esperan al p99 de alguien. Lo raro en un servidor se vuelve lo normal para la página.

Qué cambió

  • 100 servidores de índice (se ven 6)
  • La búsqueda espera al más lento
  • p99: 190 → 900 ms

Paso 9 de 10

Compromiso

Agrupar: más rendimiento a cambio de algo de latencia

Guardar eventos de analítica fila a fila deja a la base de datos en unas 2000 inserciones por segundo en este ejemplo: casi todo el coste es la sobrecarga de cada sentencia.

Si juntamos eventos durante hasta 50 ms y escribimos 100 filas por sentencia (los cuadrados), el rendimiento sube a 50.000 filas/s. A cambio, cada evento espera hasta 50 ms más.

Qué cambió

  • Lotes de 100 filas cada 50 ms
  • 2000 → 50.000 filas/s
  • Cada evento espera hasta 50 ms

Paso 10 de 10

Resumen

Resumen

La latencia es el tiempo de una petición; el rendimiento, cuántas terminan por segundo.

Cerca del 100 % de uso la latencia se dispara: deja margen.

Mira el p99, no la media: la cola es lo que nota el usuario.

La distancia pone un mínimo que ningún servidor puede quitar.

En curso = rendimiento × latencia; el fan-out convierte lo raro en habitual y los lotes cambian latencia por rendimiento.

Aprenderás

  • Distinguir latencia y throughput
  • Por qué la latencia se dispara cerca del 100 % de uso
  • Leer el p50 frente al p99
  • Por qué la distancia pone un mínimo de latencia
  • Ley de Little, fan-out y lotes