Posts Tagged - event-grid

Publish custom events (Event Grid)

Create custom topic for AI events

Un custom topic tiene un user-defined endpoint donde tu app postea eventos.

Antes de poder publicar eventos, tienes que crear y configurar el topic y el schema de tus eventos.

Usa el input schema a cloudeventsschemav1_0 al crear el topic para que los eventos usen el formato standard CloudEvents.

az eventgrid topic create \
	--name ai-pipeline-events \
	--resource-group ai-platform-rg \
	--location eastus \
	--input-schema cloudeventschemav1_0

Después de crear el topic, necesitas credenciales para publicar eventos. Puedes obtener el topic endpoint y access key con Azure CLI

az eventgrid topic show \
	--name ai-pipeline-events \
	--resource-group ai-platform-rg \
	--query "endpoint" \
	--output tsv

az eventgrid topic key list \
	--name ai-pipeline-events \
	--resource-group ai-platform-rg \
	--query "key1" \
	--output tsv

Event Grid soporta 3 metodos de auth:

  • access key auth (header aeg-sas-key)
  • SAS token auth
  • Microsoft Entra ID

Construct events for AI ops

Cada custom event describe e implica un meaningful state change en tu sistema. Un evento bien construido incluye suficiente contexto como para que el consumer comience a procesar, pero sin llegar a meter todos los datos dentro. Los subscribers sacan los datos detallados de un data store usando IDs del event data.

CloudEvents event. type categoriza la op, source la fuente donde se origina, subject provee un path filtrable, data payload incluye metadatos sobre la op y una referencia donde el evento puede encontrar todos los detalles

{
    "specversion": "1.0",
    "type": "com.contoso.ai.InferenceCompleted",
    "source": "/services/content-moderation",
    "id": "evt-20250915-143000-001",
    "time": "2025-09-15T14:30:00Z",
    "subject": "/pipelines/moderation/image-classifier",
    "datacontenttype": "application/json",
    "data": {
        "requestId": "req-78901",
        "modelName": "content-classifier-v3",
        "modelVersion": "3.2.1",
        "processingDurationMs": 1250,
        "resultLocation": "https://results.blob.core.windows.net/output/req-78901.json",
        "status": "completed",
        "itemsProcessed": 1,
        "summary": {
            "classification": "safe",
            "confidence": 0.97
        }
    }
}

Al diseñar eventos:

  • Incluye IDs para correlacion: requestId o pipe run ID para tracear entre servicios distribuidos
  • Referencia resultados en vez de meterlos: Los resultados detallados van a un storage y se manda solo la referencia
  • Operational metadata: Campos como processingDurationMs o modelVersion permiten monitorizar trends
  • Provee un summary: asi los consumidores pueden tomar routing decisions sin tener que descargar el texto completo

Publish events using Event Grid SDK

El EventGridPublisherClient de la libreria azure-eventgrid maneja serializacion, atuh y retries.

crea un client y publica CloudEvent to custom topic

# Code fragment - focus on creating and sending a CloudEvent
from azure.core.credentials import AzureKeyCredential
from azure.core.messaging import CloudEvent
from azure.eventgrid import EventGridPublisherClient

endpoint = os.environ["EVENTGRID_TOPIC_ENDPOINT"]
key = os.environ["EVENTGRID_TOPIC_KEY"]

credential = AzureKeyCredential(key)
client = EventGridPublisherClient(endpoint, credential)

event = CloudEvent(
    type="com.contoso.ai.InferenceCompleted",
    source="/services/content-moderation",
    data={
        "requestId": "req-78901",
        "modelName": "content-classifier-v3",
        "processingDurationMs": 1250,
        "resultLocation": "https://results.blob.core.windows.net/output/req-78901.json",
        "status": "completed"
    },
    subject="/pipelines/moderation/image-classifier"
)

client.send(event)

Para PROD usar DefaultAzureCredential para autenticar con manage identity - no usar keys

# Code fragment - focus on managed identity authentication
from azure.identity import DefaultAzureCredential
from azure.core.messaging import CloudEvent
from azure.eventgrid import EventGridPublisherClient

endpoint = os.environ["EVENTGRID_TOPIC_ENDPOINT"]

credential = DefaultAzureCredential()
client = EventGridPublisherClient(endpoint, credential)

Podemos publicar eventos en batches también

# Code fragment - focus on batch publishing
events = [
    CloudEvent(
        type="com.contoso.ai.StageCompleted",
        source="/services/embeddings",
        data={"pipelineRunId": "run-42", "stage": "embeddings", "status": "completed"},
        subject="/pipelines/rag/run-42"
    ),
    CloudEvent(
        type="com.contoso.ai.StageCompleted",
        source="/services/indexing",
        data={"pipelineRunId": "run-42", "stage": "indexing", "status": "completed"},
        subject="/pipelines/rag/run-42"
    )
]

client.send(events)

Publish events using REST API

Podemos publicar eventos enviando un HTTP POST directos al custom topic endpoint.

curl -X POST \
    -H "Content-Type: application/cloudevents+json; charset=utf-8" \
    -H "aeg-sas-key: $EVENTGRID_TOPIC_KEY" \
    -d '{
        "specversion": "1.0",
        "type": "com.contoso.ai.ModelRetrained",
        "source": "/services/training",
        "id": "evt-20250915-160000-001",
        "time": "2025-09-15T16:00:00Z",
        "subject": "/models/sentiment-v2",
        "datacontenttype": "application/json",
        "data": {
            "modelName": "sentiment-v2",
            "modelVersion": "2.1.0",
            "accuracy": 0.94,
            "trainingDurationMinutes": 45,
            "artifactLocation": "https://models.blob.core.windows.net/trained/sentiment-v2.1.0.tar.gz"
        }
    }' \
    "$EVENTGRID_TOPIC_ENDPOINT"

Read More

Event schemas and properties (Event Grid)

EventGrid vs CloudEvents schema

Event Grid soporta dos event schemas

  • CloudEvents v1.0 schema: recomendado para nuevas implementaciones. Event structure standard y protocol-agnostic. Este standard implica que los eventos producidos por tus AI services pueden interoperar con cualquier sistema que soporte CloudEvents, no solo Event Grid. Simplifica la integración multi-plataforma.
  • Event Grid schema (propietario): se mantiene por backward compatibility. NO se pueden intercambiar mensajes cloudevents-eventgrid

CloudEvents schema structure

IMPORTANTE

{
    "specversion": "1.0",
    "type": "com.contoso.ai.InferenceCompleted",
    "source": "/services/content-moderation",
    "id": "a1b2c3d4-e5f6-7890-abcd-ef1234567890",
    "time": "2025-09-15T14:30:00Z",
    "subject": "/pipelines/moderation/batch-42",
    "datacontenttype": "application/json",
    "data": {
        "modelName": "content-classifier-v3",
        "requestId": "req-78901",
        "resultLocation": "https://storage.blob.core.windows.net/results/batch-42.json",
        "processingDurationMs": 1250,
        "status": "success",
        "itemsProcessed": 150
    }
}

Los atributos requeridos son:

  • specversion identifica la spec version del CloudEvents. Se pone siempre a "1.0"
  • type categoriza el evento. permite filtrar luego por event type. Se usa reverse-DNS naming convention para evitar colisiones
  • source identifica el sistema origen. Combinado con type permite identificar el contexto donde el evento ocurre
  • id es unico de este evento. Los consumers lo usan para detectar y deduplicar deliveries repetidas

Atributos opcionales:

  • subject provee de un path para filtrar. Se usa con valores jerarquicos que reflejen el contexto del evento permitiendo filtrar por prefijos y sufijos
  • time cuando ocurre el evento
  • datacontenttype formato del payload
  • data payload como tal

IMPORTANTE

Design custom event types

Los event types tienen que tener pensamiento detrás y estar bien diseñados. Cada event type tiene que representar un cambio de estado con un significado, que al menos un consumer deba conocer.

Ejemplos:

  • com.contoso.ai.InferenceCompleted
  • com.contoso.ai.EmbeddingsRefreshed
  • com.contoso.ai.AnomalyDetected
  • com.contoso.ai.ContentClassified

El event payload debe ser pequeño y estar enfocado. Incluir suficiente contexto para que el consumer pueda comenzar a procesar como por ej: resource URI, model name, processing duration y result summary.
Si necesitamos incluir muchos datos no meterlos en el payload, pasar una URL y que el consumer haga el fetch de la BBDD o storage.

Configure event type filtering

Las event subscriptions pueden filtrar eventos por type para que cada consumer reciba solo los que realmente necesita.

Puedes configurar event type filtering cuando creas una event subscription con el param --included-event-types

az eventgrid event-subscription create \
	--name inference-handler-sub \
	--source-resource-id /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.EventGrid/topics/ai-events \
	--endpoint https://inference-handler.azurewebsites.net/api/events \
	--included-event-types com.contoso.ai.InferenceCompleted

Puedes incluir múltiples event types en una única subscripción

Subject filtering (granular routing)

El field subject permite un filtrado basado en un path, usando prefijos y sufijos. Ej: /pipelines/embeddings/batch-42

De este modo los subscribers pueden filtrar eventos basándose en la jerarquía donde el evento se originó.

Subject filtering usa dos params en la event subscription

  • subjectBeginsWith: se usa para filtrar pipes o categorías específicas
  • subjectWendsWith: se usa para filtrar por tipo, versión o estado
az eventgrid event-subscription create \
	--name embeddings-sub \ 
	--source-resource-id /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.EventGrid/topics/ai-events \
	--endpoint https://embeddings-handler.azurewebsites.net/api/events \
	--subject-begins-with /pipelines/embeddings

Advanced filtering

Event Grid soporta filtros avanzados para buscar matches dentro del event body o extension attributes. Estos filtros permiten tomar decisiones de routing basándose en el contenido del event data como confidence scores, model names o processing statuses.

Tienen operadores como:

  • StringContains
  • NumberGreaterThan
  • StringBeginsWith
  • BoolEquals
  • IsNotNull

Se pueden definir hasta 25 filtros POR SUBSCRIPCIÓN

crea una subscription que recibe solo eventos donde data.status es igual a "flagged"

az eventgrid event-subscription create \ 
	--name flagged-content-sub \
	--source-resource-id /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.EventGrid/topics/ai-events \
	--endpoint https://review-service.azurewebsites.net/api/events \
	--advanced-filter data.status StringIn flagged

Para AI events, los filtros avanzados permiten hacer target de escenarios especificos y tomar decisiones sobre:

  • Confidence-based routing: Podemos enrutar los eventos a diferentes consumers según el confidence score
  • Model-specific subscriptions: Enrutar según el modelo
  • Status-based workflows: Crear workflows con diferentes consumers o pasos según el estado

Configure input and output schema

Al crear un custom topic el param input-schema controla los schemas que el topic acepta.

IMPORTANTE

Con este valor a cloudeventsschemaV1_0 aceptamos eventos con formato CloudEvents

az eventgrid topic create \
	--name ai-events \
	--resource-group ai-platform-rg \
	--location eastus \
	--input-schema cloudeventschemav1_0

Al crear la event subscription el param event-delivery-schema controla el formato de entrega al handler. Event Grid puede intercambiar entre Event Grid schema y CloudEvents schema durante la entrega, pero no se soporta CloudEvents-to-EventGrid conversion.

/IMPORTANTE

Read More

Configure delivery and retry policies (Event Grid)

How Event Grid delivers events

Event Grid entrega eventos enviando un HTTP POST al subscriber’s endpoint. El subscriber tiene que responder con un status code 20x para hacer acknowledge. Cualquier otra respuesta o ninguna durante el timeout period, hace trigger de un retry.
Event Grid espera 30s para la respuesta después de la entrega de un mensaje. Si el endpoint no responde, se encola el mensaje para retry.

Retry and error handling

Cuando Event Grid recibe un error como respuesta, evalúa el error type y decide si lo reintenta o no. No todos los errores se reintentan.

Los siguientes errores NO se reintentan ya que son issues permanentes:

  • 400 Bad Request: el event payload está mal formado
  • 413 Entity Too Large: el evento excede el size limit del endopint
  • 403 Forbidden

Para webhook endpoints un 401 Unauthorized NO se reintenta. Para Azure resource endpoints, 401 y 404 se reintentan tras 5 minutos

Para otro tipo de errores los reintentos son exponenciales. A los siguientes tiempos se les añade un randomizer para que no ocurran de golpe.

  1. 10s
  2. 30s
  3. 1m
  4. 5m
  5. 10m
  6. 30m
  7. 1h
  8. 3h
  9. 6h
  10. Cada 12 to 24h

Retry policy settings

Hay dos params para controlar el retry (se establecen al crear un event subscription):

(se para cuando se cumpla el primero)

  • Maximum number of attempts: default 30
  • Event TTL en minutos: default 24h
az eventgrid event-subscription create \
	--name moderation-sub \
	--source-resource-id /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.EventGrid/topics/ai-events \
	--endpoint https://moderation-service.azurewebsites.net/api/events \
	--max-delivery-attempts 5 \
	--event-ttl 30

Dead-letter destinations (undeliverable events)

Cuando Event Grid agota todos los retry attempts o el TTL del evento expira, se envia el evento no entregado a la dead-letter destination. Dead-lettering está disabled by default.

Para activarlo tienes que especificar un Azure Blob Storage container como dead-letter endpoint al crear la event subscription.

az eventgrid event-subscription create \
	--name moderation-sub \
	--source-resource-id /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.EventGrid/topics/ai-events \
	--endpoint https://moderation-service.azurewebsites.net/api/events \
	--max-delivery-attempts 5 \
	--event-ttl 30 \
	--deadletter-endpoint /subscriptions/{sub-id}/resourceGroups/{rg}/providers/Microsoft.Storage/storageAccounts/{storage-account}/blobServices/default/containers/dead-letters

Cada evento marcado como dead-letter incluye propiedades que ayudan a entender por qué ha fallado.

  • deadLetterReason ejemplo MaxDeliveryAttemptsExceeded o MaxRetryDurationExceeded
  • deliveryAttempts numero de reintentos
  • lastDeliveryOutcome el resultado del last delivery NotFound, TimedOut, Busy
  • publishTime tiempo en el que Event Grid acepto el evento
  • lastDeliveryAttemptTime

La aparición de dead-letter events indican problemas sistémicos que necesitan investigación. Un batch de dead-letter events puede indicar cambios de URL o fallos generales.

Se puede crear una event subscription al Blob Storage container que contiene las dead-letters. Así puedes notificar un monitoring service cuando llega una nueva dead-letter, permitiendo alertas automáticas o reprocesados.

Transient failures

El mecanismo de retry de Event Grid se encarga automáticamente de los fallos transientes.

Tenemos que diseñar endpoints que soporten este patrón:

  • devolver 200-204 para OK. 503 si el servicio está temporalmente overloaded. 400 para fallos permanentes que no queremos que se reintenten
  • Implementar procesamiento idempotente: Llevar un track de los event IDs ya procesados. Event Grid’s at-least-once guarantee significa que los consumidores pueden recibir el mismo evento más de una vez
  • Procesar (o hacer ack) rápidamente: si tu proceso de inferencia tarda +30s devuelve un 202 (Accepted) inmediatamente y procesa el evento asíncronamente

Output batching (high-throughput workloads)

Usamos batches para sistemas que generan o procesan un gran volumen de requests. Se configura batching en el event subscription con 2 params:

  • Maximum events per batch: 1-5000
  • Preferred batch size (kbs): 1-1024. Un evento que se pase de este tamaño se entrega en su propio batch

IMPORTANTE

Batching usa all-or-none delivery. El handler devuelve un success code para el batch entero. Si algún evento del batch falla, todos se reprocesan. Esto significa que tienes que diseñar el sistema para procesar eventos en batches o rechazar todos.

/IMPORTANTE

Monitor delivery outcomes

Event Grid publica metrics a través de Azure Monitor para tener visibilidad del estado del sistema.

  • Delivery success count
  • Delivery failure count
  • Matched events: eventos que hacen match de al menos un subscription filter
  • Dropped events: eventos que hacen match de una subscripcion pero se pasan de retry limits, sin dead-lettering
  • Dead-lettered events: eventos enviados a dead-letter destination después de un número exhaustivo de retries

Read More

Azure Event Grid

Azure Event Grid es un servicio fully managed que conecta productores y consumidores de eventos, de forma desacoplada. Event Grid está preparado para manejar millones de eventos / s con una latencia mínima (<1s).

Opera como un servicio pub-sub que enruta eventos de productores a consumidores sin tener que administrar nosotros la infraestructura. El servicio ingesta eventos de otros servicios Azure, custom apps y/o partner systems y o bien entrega esos eventos a los endpoints de los consumidores, basándose en subscription filters, o son los mismos consumidores los que hacen pull de los eventos para leer a su ritmo.

Soporta dos modos de delivery:

  • push delivery: envía eventos al endpoint que especifiques. (ej: webhook, Azure Function, Service Bus queue)
  • pull delivery: permite a tu consumer app conectarse a Event Grid y leer eventos a su propio ritmo

Ambos modelos sirven modelos de arquitectura diferentes. La elección se basa en si los consumidores aceptan incoming HTTP requests o queremos que consuman eventos a demanda.

Event grid se integra con otros servicios de Azure a través de system topics y soporta custom app events a través de custom topics.
Esta combinación permite a tu app reaccionar a ambos tipos de eventos usando la misma infraestructura.

  • application-level: se completa una inferencia; un modelo acaba su entrenamiento
  • infrastructure-level: un blob aparece en un storage; una container image se envía al registry

Core components of Event Grid architecture

Events

Un event es una lightweight notification que describe un state change. Los eventos indican que algo ha ocurrido sin transportar el recurso completado entero (ej: “blob created”; “model training completed”). Si el consumer necesita los detalles del mensaje completo, el mismo hace retrieve del recurso.

Este diseño mantiene los eventos pequeños y rápidos de entregar.

Cada evento contiene metadata, que identifica que ha ocurrido, donde y cuando. El event body incluye un data payload con detalles de la operacion, pero el payload se espera que sea pequeño y compacto. (ej: la creación de un blob solo conllevaria el blob URL y el content type, pero no el blob en si mismo)

Event sources

Los event sources son servicios de Azure o custom apps que emiten eventos. Servicios como Blob Storage o Container Registry automáticamente publican eventos como system topics.

Custom apps pueden publicar eventos sobre custom topics que tu mismo crees. Una misma app puede actuar como ambos productor y consumidor.

Topics

Los topics son endpoints que reciben eventos de los productores. Hay de varios tipos

  • System topics: Event Grid crea system topics automaticamente para eventos de servicios de Azure. Cuando creas una event subscription para un recurso de Azure, el system topic aparece automaticamente. No puedes publicar directamente a system topics porque están restringidos para servicios de Azure.
  • Custom topics: user-defined endpoints donde tus custom apps envían eventos. Creas tu propio custom topic, configuras el input schema y publicas eventos al endpoint
  • Namespace topics: parte del Event Grid namespace resource y soporta ambos push y pull delivery. Namespace topics ofrecen capacidades adicionales como MQTT support y tienes más control sobre el consumo de eventos

No hay por que usar exclusivamente uno. Una app normal puede usar ambos por ej system y custom topics.

Event subscriptions

Un event subscription es un recurso de configuración que define que eventos vas a recibir de un determinado topic y donde se tienen que enviar.

Cada subscripcion especifica un topic en el que escucha, con filtros opcionales para seleccionar eventos, y un endpoint de destino (el event handler). Puedes crear multiples subscripciones sobre el mismo topic para filtrar eventos a diferentes handlers. Los filtros permiten reducir y seleccionar los eventos que cada subscripcion recibe por: event type, subject path o data attributes.

Event handlers

Los event handlers son los servicios de destino que reciben y procesan eventos.

Event Grid soporta varios handler types para push delivery:

  • Azure Functions: lightweight stateless event processing
  • Azure Event Hubs: ingesta eventos en una pipe de high-throughput
  • Azure Service Bus queues y topics: queues donde necesitas procesar con un orden
  • Webhooks: envia eventos a cualquier endpoint HTTP (incluidos custom services)
  • Azure Storage queues: Queue events para async processing por consumers

How AI architectures benefit from event-driven patterns

Los AI workflows conllevan muchos componentes loose coupled que necesitan coordinarse y comunicarse sin dependencias. Event-driven architecture pushea notificaciones a las partes interesadas tal y como ocurren los cambios.

Cuando llega un nuevo dataset al Blob Storage, Event Grid notifica inmediatamente a la pipe correspondiente, en vez de esperar un tiempo determinado para comprobar cambios. Este cambio reduce la latencia de minutos a segundos.

Event-driven también mejora el aislamiento de fallos. Si un consumidor experiencia un fallo, otros consumidores continúan recibiendo y procesando eventos de manera independiente.

Apply event-driven patterns to AI workload

Reactive data processing

Te subscribes a Blob Storage events (Microsoft.Storage.BlobCreated) como triggers para una AI pipe cada vez que hay nuevos datos o llegan docs. La pipe recibe el evento, hace retrieve del blob usando la URL del event data y procesa el evento.

Este patrón funciona para escenarios como document ingestion, RAG pipe, image classification o dataset preparation para model retraining.

Pipeline stage coordination

Multi-step AI pipes se benefician de custom events que señalen cambios entre transiciones.

Cuando un paso de la generacion de embeddings se completa, se envia un evento que hace trigger del proximo paso. Cada paso oepra independientemente y escala basandose en su propio workload.

Model lifecycle management

Puedes publicar custom events para model training completion, validar resultados y hacer promotions. Los servicios se subscriben a estos eventos para hacer update de sus endpoints, refrescar caches o enviar notificaciones

Read More