El hosting plan que se elige para la Function App determina como inician las instancian, como escala la app bajo carga y cuanta memoria hay disponible.
Los dos planes enfocados a serverless AI workloads son: El Flex Consumption y el Premium plan
Cold start and why it matters for AI
Cold start es el delay que ocurre cuando la Azure Functions platform:
- aloca una nueva instancia
- carga el runtime
- inicializa las dependencias de la app
Todo esto antes de que la instancia esté lista para manejar su primera request.
Cada serverless hosting plan que escala a zero sufre este cold start ya que no hay preallocated compute cuando llega la invocación inicial.
Las AI apps suelen amplificar el cold start por las grandes dependencias de grados y librerias de ML que tienen, además de los SDKs y entornos de ejecución de código.
El cold start es por instancia. Solo afecta a la primera request que se enrute a una nueva instancia.
Flex Consumption vs Premium
Son los dos planes enfocados a AI backends.
Flex Consumption
Flex consumption es el recomendado by default.
Características
- Plan linux-only
- scaling per-function
- virtual network connectivity
- memoria configurable por instancia (512 MB,2048 MB,4096 MB)
- always-ready instances
Escala hasta 1000 instancias y cobra basado en active execution time + always-ready baseline.
El always-ready permite mantener un número mínimo de instancias calientes para funciones que sean sensibles a la latencia, mientas que otras Functions en la misma Function App se mantienen fully serverless y escaladas a 0.
Premium
Elimina el cold start del todo y mantiene siempre al menos una instancia en caliente.
Características
- ofrece siempre al menos una pre-warmed instance
- custom Linux image support
- virtual network connectivity
Elige Premium cuando:
- tus funciones se ejecutan continuamente (o casi)
- el coste de always-on esté justificado
- tengas cargas de computación más grandes de las que ofrece el flex
- necesites desplegar functions usando custom container images
Otros planes
- Dedicated (App Service) plan: cuando tienes underutilized App Service capacity ya existente y quieres ejecutar tus functions en esas instancias sin coste adicional
- Container Apps hosting: Cuando las functions necesitan GPU access para model inference, custom OS-level packages o ejecutarse al mismo nivel que microservicios contenerizados en el mismo env
- Consumption plan (Linux): Legacy serverless plan. Los nuevos proyectos deben usar Flex Consumption
Configure scaling and concurrency
El plan Flex Consumption introduce per-function scaling. Cada tipo de trigger escala de manera independiente basándose en su propia demanda por tipo.
Todas las HTTP functions de una Function App escalan juntas como grupo. El resto de tipos como queue triggers, timer triggers o Service Bus triggers escalan de manera independiente. Esta separacion significa que un aumento de peticiones de las queue, no compite por recursos con un aumento de las peticiones HTTP.
Instance memory el default son 2048 MB. Se puede subir a 4096 MB cuando tengamos cargas más grandes o para subir CPU-cores (van proporcionales).
Long-running AI tasks
MUY IMPORTANTE
Las HTTP functions tienen un timeout de 230 segundos impuesto por el Azure Load Balancer que no se puede cambiar, independiente del functionTimeout setting in host.json.
Todas las requests que se pasen de este tiempo devuelven un error al caller, aunque la function se puede seguir ejecutando en el backend. Esto es especialmente peligroso para las AI apps.
La recomendación es usar async request-reply pattern: La HTTP function
- acepta la request
- valida el input
- escribe un mensaje a la Service Bus queue
- devuelve inmediatamente un
202 Acceptedcon una URL de status
Entonces una function separada con Service Bus trigger pilla ese mensaje y ejecuta la long-running task sin ningún tipo de constraint, ya que las service bus-trigger Functions poder ejecutarse de manera indefinida en los planes Flex y Premium.
De este modo, cada componente - HTTP endpoint y Service Bus trigger - escalan de manera independiente.
/MUY IMPORTANTE