Posts Tagged - KQL

Explore logs (KQL)

Investigate application errors with KQL

El primer paso de una investigación debería ser entender el scope del problema: cuantos errores hay, cuando comenzaron y que tipos hay involucrados.

usamos sum() para producir accurate results cuando el sampling de Application Insights está activo

exceptions
| where timestamp > ago(24h)
| summarize exceptionCount = sum(itemCount) by bin(timestamp, 1h), type
| render timechart

Una vez encontramos el error podemos ir a más detalle para encontrar los most common exception types

agrupawr excepciones por exception type y operation name, produciendo una ranked list de las operaciones que generan más errores

exceptions
| where timestamp > ago(24h)
| summarize exceptionCount = sum(itemCount) by type, operation_Name
| top 10 by exceptionCount desc

Correlate failures across services

En una arquitectura multi servicio, una request puede viajar por muchos servicios diferentes, y un fallo en uno de ellos puede seguir la cadena y resultar en fallos en otros servicios.

Con el operation_id linkeamos todos los telemetry items de una single request distribuida. Haciendo un join a través de este operation_id podemos ver la secuencia completa de eventos que llevan a ese fallo

exceptions
| where timestamp > ago(24h)
| join kind=inner (
    requests
    | project requestName = name, requestDuration = duration, operation_Id, requestRoleName = cloud_RoleName
) on operation_Id
| project timestamp, exceptionType = type, exceptionMessage = outerMessage,
    requestName, requestDuration, cloud_RoleName = requestRoleName
| top 20 by timestamp desc
  • La columna cloud_RoleName identifica que servicio ha generado la excepción
  • La columna requestDuration revela donde ha ido lenta la request

Analyze dependency latency and failures

La tabla dependencies captura cada outgoing call como llamadas a BBDD, HTTP APIs, Azure services y otros.

Es la primera tabla que tenemos que mirar para buscar un bottleneck cuando algo es lento.

dependencies
| where timestamp > ago(24h)
| summarize avg(duration), percentiles(duration, 50, 95, 99) by target, type
| order by percentile_duration_95 desc

Percentile calculations dan un overview mas preciso que tener en cuenta solo los avg. Para ello usamos los percentiles 95th y 99th.

identificar dependencias fallidas

dependencies
| where timestamp > ago(24h)
| where success == false
| summarize failureCount = count() by target, resultCode, cloud_RoleName
| order by failureCount desc

Failure and performance views

Application Insights ofrece vistas que complementan a KQL.

La Failures view agrupa operaciones fallidas por tipo y hace display de los tipos fallidos más comunes

La performance view muestra todas las operaciones con su response time y distribuciones y request counts.

Read More

Build Dashboards for App telemetry (KQL)

Dashboards vs Workbooks

IMPORTANTE

Los dashboards difieren de los workbooks en su diseño e interaccion. Las dashboards están optimizadas para ser visuales, con tiles que se refrescan y muestran los datos automaticamente. El layout es relativamente estatico. Pones las tiles una vez y el dashboard se muestra sin intervencion humana.

Los workbooks están diseñados para una exploracion interactiva donde ajustas params para ver datos dinámicos.

Elegimos dashboards para ongoing operational monitoring y workbooks para investigación de incidentes y ad-hoc analysis.

IMPORTANTE

Azure dashboards for monitoring

Azure dashboards son una surface visual customizable en el azure portal que combina multiples recursos en una unica view.

En ellos podemos ver metrics chart, log query results, Markdown text blob o recursos de la galeria. Los equipos usan estas dashboards para tener un awareness operacional en el day-to-day monitoring para confirmar pipeline health.

Pin metrics to dashboards

Common metrics:

  • server response time (avg y percentiles)
  • failed requests
  • dependency failures (llamadas fallidas a BBDD, APIs, etc)
  • server request rate
  • availability

Pin log query results to a dashboard

Los charts de metricas están limitados a unas en especifico. Si queremos valores custom podemos hacer joins entre tablas y hacer pin de una SQL query para mostrar sus resultados en una dashboard.

ver que servicios contribuyen a los most failures

requests
| where timestamp > ago(24h)
| where success == false
| summarize failedCount = count() by cloud_RoleName
| render barchart

representar tres lineas con los percentiles

requests
| where timestamp > ago(24h)
| summarize p50 = percentile(duration, 50),
    p95 = percentile(duration, 95),
    p99 = percentile(duration, 99)
    by bin(timestamp, 1h)
| render timechart

Organize and share dashboards

Las dashboards se pueden compartir con team members. Publicarlas las hace disponibles para otros usuarios en tu organizacion mediante RBAC

Best practices

  • Separate concerns into different dashboards
  • Limit tile count
  • Use descriptive tile titles
  • Include markdown tile for context

Workbooks for interactive analysis

IMPORTANTE

Azure Monitor Workbooks son una herramienta interactiva de analisis que combinan rich text, KQL, metricas y parametros en reusable reports.

Los workbooks van más alla de dashboards y soportan user interaction: seleccionar un param value, elegir un time range. Esta interactividad hace que los workbooks sean la eleccion natural para troubleshooting, root cause analysis y cualquier escenario donde el investigador necesite ajustar el scope del analisis.

/IMPORTANTE

El Azure Portal incluye una galeria de prebuilt workbook templates organizadas por categoria para usar como starting points y customizar para tu caso.

Add query steps and visualizations

Los workbooks se construyen añadiendo steps verticalmente, donde cada step renferiza un componente del reporte final. Se cuenta como steps, text bloccks para explicaciones e instrucciones, query steps que ejecutan KQL y muestran resultado, metric steps que muestran metricas de recursos de Azure.

Ejemplo de query que funciona como un step de workbook

requests
| where timestamp > ago({TimeRange})
| summarize totalRequests = count(),
    failedRequests = countif(success == false)
    by cloud_RoleName
| extend successRate = round(100.0 * (totalRequests - failedRequests) / totalRequests, 2)
| project cloud_RoleName, totalRequests, failedRequests, successRate

La sintaxis {TimeRange} referencia un param del workbook.

Use params for interactive filtering

Como hemos visto en el paso anterior podemos hacer los workbooks interactivos, donde cada param aparece como control en el top del workbook.

Los params más comunes son:

  • time range
  • dropdown params (para filtrar por service name, environment, etc)
  • resource pìcker para elegir que Application Insight resource analizamos

Configure conditional visibility and linked content

Conditional visibility y grid link actions añaden depth a los workbooks. En vez de enseñar cada detalle upfront de a una, se pueden diseñar los workbooks para que comiencen con un resumen a alto nivel y revelen detalles solo cuando se seleccione un item especifico.

Esto se hace que se muestre o se esconda basándose en un param value que configuramos.

Grid link actions crean tablas interactivas donde al seleccionar una row hace trigger de downstream actions. Cuando configuramos una grid column como un link, hacer click en esa celda de esa column para abrir detalles end-to-end de transacciones para una request especifica, navegar a otro workbook para un analisis mas a fondo o ejecutar otras acciones.

Read More

Set alerts for app failures and anomalies (KQL)

Los dashboards y workbooks dan visibilidad en la salud de la app, pero requieren que haya alguien mirando. La alertas avisan proactivamente a tu equipo de que algo está mal y hay que arreglarlo.

Alert rule structure

Cada Azure Monitor alert rule consiste de 4 coponentes que funcionan juntos para detectar problemas y hacer trigger de respuestas.

  • Scope: recursos que se monitorizan
  • Condition: limite que determina cuando se hace trigger de la alerta
  • Action group: colección de notificaciones o automated actions que se ejecutan cuando se dispara la alerta
  • Severity: 0 (critical), 1 (Error), 2 (Warning), 3 (Informational), 4 (verbose)

Tenemos dos tipos primarios de alertas para telemetria:

  • Metric alerts: evaluan metricas de recursos en intervalos regulares. Se utilizan, por ej. para avisar cuando la CPU excede de un 80% de uso
  • Log search alerts: proveen mas flexibilidad. Se puede definir cualquier KQL query como detection logic, incluyendo joins entre tablas.

Use smart detection for anomaly identification

Azure Monitor tiene smart detection con ML que identifica patrones unusuales en tu app sin necesitar de configuración.

  • Failure anomaly: monitoriza el ratio de requests fallidas y lo compara con valores historicos
  • Performance anomaly: identifica degradacion de tiempo de respuesta, slowdowns con las dependencias o excepciones no normales

Lo mejor es usar el modo smart junto a tus reglas configuradas manualmente.

Read More

Kusto Query Language (KQL)

KQL and Azure Monitor Logs

Kusto Query Language (KQL) es la primary tool que se usa para hacer retrieve y analizar log data almacenada en Azure Monitor, Log Analytics, y Azure Data Explorer. Sigue un modelo de pipe separdo por el caracter |.

Query scoping determina que tablas y nombres de columnas usamos en las queries.
Cuando abres logs desde un recurso de Application Insights, el query scope hace target de recursos usando Application Insigts table names como requests, exceptions y dependencies. Cuando se abre desde un workspace de Log Analytics usa table names como AppRequests, AppExceptions y AppDependencies.

Explore Application Insights table structure

Tablas más relevantes

  • requests almacena incoming HTTP requests con detalles como duration, response code y success status. Cada row representa una requesta
  • dependencies captura outbound calls desde tu app a BBDD, HTTP endpoints, Azure services y otros micros
  • exceptions ambas handled y unhandled
  • traces app log messages de frameworks como ILogger, log4j
  • customEvents almacena custom business events como document classified
  • customMetrics almacena custom numeric measurements como queue depth o model inference confidence score
  • performanceCounters almacena system-level metrics como CPU usage

Hay columnas que son comunes a todas las tablas:

  • timestamp
  • operation_Id linkea los items de una single distributed trace para poder seguir las requests a través de los servicios
  • cloud_RoleName identifica que servicio genera la telemetría
  • customDimension contiene una bag de propiedades dinamicas para enriquecer la telemetria con tus propios datos

Filter and select data with core operators

KQL tiene todos los filtros comunes como where, ==, etc.

Distintos tenemos:

  • project operator - selecciona columnas especificas a incluir en el output. Reduce la width de tus resultados y centra la atencion en los datos que interesan
  • take operator - devuelve un ser arbitrario de n rows de la tabla. Es util para inspeccionar el estado y calidad de los datos con un muestreo
  • top operators - devuelve las primeras n rows, sorteadas por una columna especifica
requests
| where timestamp > ago(1h)
| where success == false
| project timestamp, name, resultCode, duration, cloud_RoleName
| top 20 by duration desc

Aggregate and summarize data

El filtering visto antes muestra records individuales. Para entender trends y patrones necesitamos aggregation.

El operator summarize agrupa rows y aplica funciones de agregacion para producir summary statistics. Cada combinacion unica de valores en el by produce un output row en los results.

Los operadores comunes que funcionan con summarize son avg(), sum(), etc. Los distintos son:

  • dcount() function - estima el count de distinct values. Util para cosas como how many unique users experienced this error
  • count_distinct() - para small datasets. es mas preciso pero mas intensivo de recursos
  • percentile() function - calcula un specific percentile value. util para obtener por ejemplo latency analisys del p95
  • bin() function - agrupa valores continuos como timestamps en intervalos fijos. Ejemplo bin(timestamp, 1h) redondea cada timestamp a la hora más cercana
requests
| where timestamp > ago(24h)
| summarize requestCount = count(), avgDuration = avg(duration)
    by bin(timestamp, 1h), cloud_RoleName

Visualizar query results with the render operator

El render operator sirve para especificar chart types en la query. Añadir render como final step le dice que saque los resultados como un chart en vez de una tabla. Util para visualizar trends y comparaciones.

requests
| where timestamp > ago(24h)
| summarize requestCount = count() by bin(timestamp, 1h), cloud_RoleName
| render timechart

Read More