Azure Event Grid

Azure Event Grid es un servicio fully managed que conecta productores y consumidores de eventos, de forma desacoplada. Event Grid está preparado para manejar millones de eventos / s con una latencia mínima (<1s).

Opera como un servicio pub-sub que enruta eventos de productores a consumidores sin tener que administrar nosotros la infraestructura. El servicio ingesta eventos de otros servicios Azure, custom apps y/o partner systems y o bien entrega esos eventos a los endpoints de los consumidores, basándose en subscription filters, o son los mismos consumidores los que hacen pull de los eventos para leer a su ritmo.

Soporta dos modos de delivery:

  • push delivery: envía eventos al endpoint que especifiques. (ej: webhook, Azure Function, Service Bus queue)
  • pull delivery: permite a tu consumer app conectarse a Event Grid y leer eventos a su propio ritmo

Ambos modelos sirven modelos de arquitectura diferentes. La elección se basa en si los consumidores aceptan incoming HTTP requests o queremos que consuman eventos a demanda.

Event grid se integra con otros servicios de Azure a través de system topics y soporta custom app events a través de custom topics.
Esta combinación permite a tu app reaccionar a ambos tipos de eventos usando la misma infraestructura.

  • application-level: se completa una inferencia; un modelo acaba su entrenamiento
  • infrastructure-level: un blob aparece en un storage; una container image se envía al registry

Core components of Event Grid architecture

Events

Un event es una lightweight notification que describe un state change. Los eventos indican que algo ha ocurrido sin transportar el recurso completado entero (ej: “blob created”; “model training completed”). Si el consumer necesita los detalles del mensaje completo, el mismo hace retrieve del recurso.

Este diseño mantiene los eventos pequeños y rápidos de entregar.

Cada evento contiene metadata, que identifica que ha ocurrido, donde y cuando. El event body incluye un data payload con detalles de la operacion, pero el payload se espera que sea pequeño y compacto. (ej: la creación de un blob solo conllevaria el blob URL y el content type, pero no el blob en si mismo)

Event sources

Los event sources son servicios de Azure o custom apps que emiten eventos. Servicios como Blob Storage o Container Registry automáticamente publican eventos como system topics.

Custom apps pueden publicar eventos sobre custom topics que tu mismo crees. Una misma app puede actuar como ambos productor y consumidor.

Topics

Los topics son endpoints que reciben eventos de los productores. Hay de varios tipos

  • System topics: Event Grid crea system topics automaticamente para eventos de servicios de Azure. Cuando creas una event subscription para un recurso de Azure, el system topic aparece automaticamente. No puedes publicar directamente a system topics porque están restringidos para servicios de Azure.
  • Custom topics: user-defined endpoints donde tus custom apps envían eventos. Creas tu propio custom topic, configuras el input schema y publicas eventos al endpoint
  • Namespace topics: parte del Event Grid namespace resource y soporta ambos push y pull delivery. Namespace topics ofrecen capacidades adicionales como MQTT support y tienes más control sobre el consumo de eventos

No hay por que usar exclusivamente uno. Una app normal puede usar ambos por ej system y custom topics.

Event subscriptions

Un event subscription es un recurso de configuración que define que eventos vas a recibir de un determinado topic y donde se tienen que enviar.

Cada subscripcion especifica un topic en el que escucha, con filtros opcionales para seleccionar eventos, y un endpoint de destino (el event handler). Puedes crear multiples subscripciones sobre el mismo topic para filtrar eventos a diferentes handlers. Los filtros permiten reducir y seleccionar los eventos que cada subscripcion recibe por: event type, subject path o data attributes.

Event handlers

Los event handlers son los servicios de destino que reciben y procesan eventos.

Event Grid soporta varios handler types para push delivery:

  • Azure Functions: lightweight stateless event processing
  • Azure Event Hubs: ingesta eventos en una pipe de high-throughput
  • Azure Service Bus queues y topics: queues donde necesitas procesar con un orden
  • Webhooks: envia eventos a cualquier endpoint HTTP (incluidos custom services)
  • Azure Storage queues: Queue events para async processing por consumers

How AI architectures benefit from event-driven patterns

Los AI workflows conllevan muchos componentes loose coupled que necesitan coordinarse y comunicarse sin dependencias. Event-driven architecture pushea notificaciones a las partes interesadas tal y como ocurren los cambios.

Cuando llega un nuevo dataset al Blob Storage, Event Grid notifica inmediatamente a la pipe correspondiente, en vez de esperar un tiempo determinado para comprobar cambios. Este cambio reduce la latencia de minutos a segundos.

Event-driven también mejora el aislamiento de fallos. Si un consumidor experiencia un fallo, otros consumidores continúan recibiendo y procesando eventos de manera independiente.

Apply event-driven patterns to AI workload

Reactive data processing

Te subscribes a Blob Storage events (Microsoft.Storage.BlobCreated) como triggers para una AI pipe cada vez que hay nuevos datos o llegan docs. La pipe recibe el evento, hace retrieve del blob usando la URL del event data y procesa el evento.

Este patrón funciona para escenarios como document ingestion, RAG pipe, image classification o dataset preparation para model retraining.

Pipeline stage coordination

Multi-step AI pipes se benefician de custom events que señalen cambios entre transiciones.

Cuando un paso de la generacion de embeddings se completa, se envia un evento que hace trigger del proximo paso. Cada paso oepra independientemente y escala basandose en su propio workload.

Model lifecycle management

Puedes publicar custom events para model training completion, validar resultados y hacer promotions. Los servicios se subscriben a estos eventos para hacer update de sus endpoints, refrescar caches o enviar notificaciones