Azure Container Apps (ACA) soporta un gran rango de KEDA scalers fuera de servicios de Azure. Estos scalers permiten tener event-driven scaling basado en Apache Kafka, Redis queue depth y muchos más servicios.
Explorar available KEDA scalers
ACA soporta cualquier ScaledObject basado en KEDA scalers. Estos soportan muchas más herramientas de las aquí puestas como PostgreSQL, MongoDB y APIs externas. Cada scaler monitoriza un event source específico y reporta métricas que derivan en decisiones sobre el escalado.
Configurar Apache Kafka scaling
Kafka es una plataforma event-driven. Permite transportar, almacenar y procesar grandes volúmenes de eventos de forma continua. Se basa en los conceptos Producer/Consumer/Topic
Los triggers de Kafka para el escalado se basan en consumer group lag. El scaler analiza el lag del consumer group y cuando este incrementa, el scaler aumenta las réplicas para procesar más rápido y reducir el backlog.
Los key metadata params para Kafka scaling incluye bootstrapServers, consumerGroup, topic y lagThreshold. Este último permite especificar el lag por partición que hace trigger del escalado. Si ponemos un threshold de 100 y detecta que el consumer group tiene 500 mensajes de lag a lo largo de todas las particiones, el scaler calcula que hacen falta 5 réplicas.
IMPORTANTE
Al igual que los Event Hubs, las particiones de Kafka afectan a su escalado máximo efectivo. Cada partición solo puede tener un consumer activo por consumer group, por lo que solo es efectivo tener tantas réplicas como consumer groups tengamos.
/IMPORTANTE
scale:
minReplicas: 1
maxReplicas: 50
rules:
- name: kafka-scaling
custom:
type: kafka
metadata:
bootstrapServers: "kafka-broker:9092"
consumerGroup: "order-consumers"
topic: "orders"
lagThreshold: "100"
auth:
- secretRef: kafka-credentials
triggerParameter: sasl
Read More