Optimizar recursos de contenedor y scaling (Azure Container Apps)

En Azure Container Apps, se ajustan los recursos por réplica y se escalan los límites juntos.

Per-replica sizing y coste total

Container Apps escala añadiendo o quitando réplicas. La CPU y la memoria se configura por-réplica y afectan al coste directo de la misma. El coste total es una combinación del tamaño por-réplica y el número de réplicas requerido para manejar la carga máxima.

  • Para APIs de AI es importante medir la latencia junto a concurrencia y ver si hay CPU throttling.
  • Para background workers es importante medir el throughput y controlar los límites de memoria, que pueden causar reinicios.

update de límites de CPU y memoria

az containerapp update \
	--name <app-name>
	--resource-group <resource-group> \
	--cpu <cores> \
	--memory <size>

Scaling por tipo de carga

Difiere según el tipo que tenemos

  • Para APIs de IA - necesitan estar siempre listas y tener una latencia predecible, por lo que es mejor tener un número mínimo de replicas encendidas para reducir los cold starts
  • Para background workers - suelen soportar un scale-to-zero al ser event-driven

En ambos casos hay que tener en cuenta el tiempo de arranque que le cueste a las réplicas estar disponibles.

Best practices

  • Ajustar tamaño para el bottleneck: aumentar la CPU cuando se vea throttling, aumentar la memoria cuando se vean reinicios por falta de ella
  • Alinear concurrencia con la CPU: si la API necesita una alta concurrencia, validar que la CPU de las réplicas la tolera sin picos de latencia
  • Usar las réplicas mínimas intencionalmente: Tener una réplicas mínimas reduce los cold starts, pero aumenta el coste base
  • Reevaluar con cambios de modelo

Additional resources

Scaling in Azure Container Apps