Session execution boundary
Cada session asignada se ejecuta en su propia sandbox Hyper-V-aislada (la ejecución de código se aísla de procesos, file system, host y otras sesiones). Esto permite ejecutar código generado por IA, aislado de todo lo importante.
flujo de como el backend mantiene access control, mientras que la session pool procesa el código aislado
User request
|
v
AI application ---- model or orchestration layer
|
| validated code, files, and application-generated identifier
v
Dynamic session pool
|
v
Isolated session ---- execution result and generated files
El backend autentica con la pool y manda el trabajo en nombre del usuario. Los usuarios finales no reciben pool access tokens ni reciben IDs que puedan dirigirse a la sesión de otros usuarios.
La sesión mantiene un estado de ejecución efímero, mientras que la app almacena inputs y resultados persistentes fuera de la pool.
Esto se hace porque si ejecutáramos código arbitrario de IA en el mismo contenedor que la app principal, el código generado competería por recursos (CPU/memoria) con el programa principal, y podrá acceder a ficheros, credenciales o env vars.
Crear un contenedor separado para cada request tampoco lo soluciona, ya que suma tiempo el tiempo de iniciar el contenedor a cada imagen y empeora el lifecycle
Choose built-in code interpreter
El built-in code interpreter provee de un runtime administrado por la plataforma y una API para ejecución de código.
Tu aplicación sólo envía código, sube input files y descarga output files a través de la API.
Usar el built-in interpreter si puedes completar la operación sin dependencias custom
Operaciones expuestas
POST <POOL_MANAGEMENT_ENDPOINT>/executions?api-version=<API_VERSION>&identifier=<SESSION_ID>
POST <POOL_MANAGEMENT_ENDPOINT>/files?api-version=<API_VERSION>&identifier=<SESSION_ID>
GET <POOL_MANAGEMENT_ENDPOINT>/files/<FILE_NAME>/content?api-version=<API_VERSION>&identifier=<SESSION_ID>
Esta API está limitada de manera intencionada. Si necesitas algo que no está soportado, entonces el built-in interpreter no es la elección correcta.
Choose an application integration
Una vez elegido el built-in code interpreter, hay que decidir si la app llama directamente a la REST API o si usa un adapter para un AI orchestration framework.
El acceso directo de API da control explicito sobre la autenticación, session identifiers, execution requests, file operations.
El adapter nos sirve si nuestro caso de uso coincide con el existente. Por ejemplo para un agente de LangChain, el langchain-azure-dynamic-sessions integration nos da SessionsPythonREPLTool. Esta tool permite al agente ejecutar Python en una session sin tener que implementar cada REST request.
Choose a custom container
Una session pool para un custom container usa la imagen que tu le des. ACA provee la pool, aislamiento y limpieza automática, pero tu imagen define el runtime y la API que recibe requests. Esta opción da flexibilidad al coste de desarrollo y mantenimiento adicional.
Elegir custom container cuando la workload requiera de dependencias custom, herramientas propietarias o su propio protocolo. Poder elegir una session pool para un custom container requiere workload profiles activado en ACA y tú eres el responsable para estos custom environments.
- mantenimiento de la imagen
- app ingress
- logging
- health checks
Match the pool to the workload
El mejor pool type es la opción menos compleja que sea suficiente para tu caso. Si solo necesitas el aislamiento para la ejecución, no elijas la custom image ya que lleva más mantenimiento.
Ejemplos de escenarios:
- Analizar un CSV subido: Elige el built-in python interpreter si las dependencias que necesitan están soportadas
- Ejecutar un converter propietario: Elige un custom container cuando el converter requiera dependencias privadas
- Proveer un workspace de tenant aislado: Elige custom container donde cada tenant necesita una app o environment especializado
- Ejecutar código de un agente para cálculos: Usar el built-in interpreter para ejecutar fragmentos de código que solo necesitan resultados y output de ficheros
Independientemente del pool type, trata las sessions como efímeras. Una session puede preservar ficheros y estado de procesos, pero eventualmente se borra el environment. Todo lo que quieras que sea permanente se debe guardar en application storage
Additional resources
Dynamic sessions in Azure Container Apps
Serverless Code Interpreter Sessions in Azure Container Apps
Custom container sessions in Azure Container Apps