En Azure Container Apps, se ajustan los recursos por réplica y se escalan los límites juntos.
Per-replica sizing y coste total
Container Apps escala añadiendo o quitando réplicas. La CPU y la memoria se configura por-réplica y afectan al coste directo de la misma. El coste total es una combinación del tamaño por-réplica y el número de réplicas requerido para manejar la carga máxima.
- Para APIs de AI es importante medir la latencia junto a concurrencia y ver si hay CPU throttling.
- Para background workers es importante medir el throughput y controlar los límites de memoria, que pueden causar reinicios.
update de límites de CPU y memoria
az containerapp update \
--name <app-name>
--resource-group <resource-group> \
--cpu <cores> \
--memory <size>
Scaling por tipo de carga
Difiere según el tipo que tenemos
- Para APIs de IA - necesitan estar siempre listas y tener una latencia predecible, por lo que es mejor tener un número mínimo de replicas encendidas para reducir los cold starts
- Para background workers - suelen soportar un scale-to-zero al ser event-driven
En ambos casos hay que tener en cuenta el tiempo de arranque que le cueste a las réplicas estar disponibles.
Best practices
- Ajustar tamaño para el bottleneck: aumentar la CPU cuando se vea throttling, aumentar la memoria cuando se vean reinicios por falta de ella
- Alinear concurrencia con la CPU: si la API necesita una alta concurrencia, validar que la CPU de las réplicas la tolera sin picos de latencia
- Usar las réplicas mínimas intencionalmente: Tener una réplicas mínimas reduce los cold starts, pero aumenta el coste base
- Reevaluar con cambios de modelo