Azure Container Apps usa scale rules declarativas para hacer management de un escalado horizontal. Sólo defines las condiciones y ACA se encarga de todo.
Podemos escalar por:
- HTTP rules
- TCP rules
- Memory/CPU rules
- Custom metric rules
Scale definitions
Scale definitions se compone de 3 partes:
- limits: define el número mínimo y máximo de réplicas permitido por container app
- rules: especifican los triggers que determinan cuándo tiene lugar el escalado
- behaviour: describe como la plataforma toma decisiones de escalado en el tiempo, incluyendo timing y algoritmos
El escalado de Azure Container Apps (ACA) funciona a través de KEDA (Kubernetes Event-driven Autoscaling). Cuando configuras reglas, la plataforma traduce tus settings a KEDA specifications que ajustan el número de replicas acordes
Los valores por defecto son hasta 10 réplicas y un mínimo de 0 cuando ingress está habilitado y no hay reglas custom definidas.
Si ingress está desactivado y no se especifica un número mínimo de réplicas, la container app escala a 0 y no se puede reiniciar porque no hay trigger para activarlo. Para solucionar esto se puede poner un mínimo de 1 y así la aplicación está siempre disponible sin esperar al escalado.
El billing depende del número de replicas. Si se escala a 0, no hay cargos de computing; Si se ejecutan réplicas pero es idle (sin procesos activos), estas se cobran más bajo. Si configuramos a mínimo una réplica, suben los costes respecto a configs de 0 réplicas.
Configurar HTTP scale rules
El escalado HTTP se basa en el número de requests HTTP por segundo (de los últimos 15 segundos). El valor por defecto del escalado HTTP es 10 requests / segundo / réplica. Es un equilibrio entre coste / utilización.
Container Apps Jobs NO pueden usar HTTP scaling rules, porque los jobs no exponen endpoints HTTP
Ejemplo que crea un contenedor con una regla de escalado HTTP, la cual escala al exceder 50 llamadas / segundo / réplica
az containerapp create \
--name order-api \
--resource-group rg-ecommerce \
--environment my-environment \
--image myregistry.azurecr.io/order-api:v1 \
--min-replicas 1 \
--max-replicas 10 \
--scale-rule-name http-scaling \
--scale-rule-type http \
--scale-rule-http-concurrency 50
Configurar TCP scale rules
TCP scaling se basa en conexiones simultáneas de TCP a la Container App. Este escalado es para aplicaciones que mantienen conexiones persistentes TCP. La plataforma cuenta el número de conexiones activas y escala cuando excede el límite.
TCP scaling se usa para
- WebSocket servers
- gRPC services
- aplicaciones de BBDD que tengan connection pools
Se mide con el mismo limite de average de 15 segundos que HTTP scaling.
Se configura mediante --scale-rule-tcp-concurrency y también soporta scale-to-zero.
Configurar escalado por límites de CPU y memoria
Este tipo de scaling se basa en la utilización de recursos a lo largo de todas tus réplicas.
Las reglas por CPU y memoria NO soportan scale-to-zero - obligatorio tener mínimo 1 réplica
CPU scaling se usa para cargas CPU-intensivas como
- image processing
- video transcoding
- ML
Memory scaling para:
- caching
- data aggregation
ejemplo de configuración con reglas HTTP y CPU
scale:
minReplicas: 1
maxReplicas: 20
rules:
- name: http-scaling
http:
metadata:
concurrentRequests: "100"
- name: cpu-scaling
custom:
type: cpu
metadata:
type: Utilization
value: "70"
Understand scale behavior
Lo rápido que responda el sistema a un incremento de demanda para hacer scaling depende de las reglas y su tiempo de comprobación
- CPU, memoria, even-driven triggers - se comprueba cada 30 segundos
- HTTP, TCP rules - cada 15 segundos
El cool-down period es cuanto espera la plataforma quitar escalado. El periodo por defecto es 300 segundos (5 mins).
El escalado funciona en dobles: 1, 4, 8, 16, 32 y se dobla a cada paso hasta que se alcanza el maximum replica count.
El límite máximo de réplicas en ACA es de 1000 por revision.
Best practices
- Configurar número acorde de réplicas mínimas: 1 para evitar cold start, 0 para trabajos de background o ahorrar costes
- Usar HTTP scaling para APIs
- Combinas múltiples reglas de escalado: Combinas por ej. HTTP con CPU o memoria cuando tenga sentido
- Ajustar cool-down period si hace falta: Los 300 segundos antes de quitar escalado puede afectar al coste para trabajos de tipo burst.