Kusto Query Language (KQL)

KQL and Azure Monitor Logs

Kusto Query Language (KQL) es la primary tool que se usa para hacer retrieve y analizar log data almacenada en Azure Monitor, Log Analytics, y Azure Data Explorer. Sigue un modelo de pipe separdo por el caracter |.

Query scoping determina que tablas y nombres de columnas usamos en las queries.
Cuando abres logs desde un recurso de Application Insights, el query scope hace target de recursos usando Application Insigts table names como requests, exceptions y dependencies. Cuando se abre desde un workspace de Log Analytics usa table names como AppRequests, AppExceptions y AppDependencies.

Explore Application Insights table structure

Tablas más relevantes

  • requests almacena incoming HTTP requests con detalles como duration, response code y success status. Cada row representa una requesta
  • dependencies captura outbound calls desde tu app a BBDD, HTTP endpoints, Azure services y otros micros
  • exceptions ambas handled y unhandled
  • traces app log messages de frameworks como ILogger, log4j
  • customEvents almacena custom business events como document classified
  • customMetrics almacena custom numeric measurements como queue depth o model inference confidence score
  • performanceCounters almacena system-level metrics como CPU usage

Hay columnas que son comunes a todas las tablas:

  • timestamp
  • operation_Id linkea los items de una single distributed trace para poder seguir las requests a través de los servicios
  • cloud_RoleName identifica que servicio genera la telemetría
  • customDimension contiene una bag de propiedades dinamicas para enriquecer la telemetria con tus propios datos

Filter and select data with core operators

KQL tiene todos los filtros comunes como where, ==, etc.

Distintos tenemos:

  • project operator - selecciona columnas especificas a incluir en el output. Reduce la width de tus resultados y centra la atencion en los datos que interesan
  • take operator - devuelve un ser arbitrario de n rows de la tabla. Es util para inspeccionar el estado y calidad de los datos con un muestreo
  • top operators - devuelve las primeras n rows, sorteadas por una columna especifica
requests
| where timestamp > ago(1h)
| where success == false
| project timestamp, name, resultCode, duration, cloud_RoleName
| top 20 by duration desc

Aggregate and summarize data

El filtering visto antes muestra records individuales. Para entender trends y patrones necesitamos aggregation.

El operator summarize agrupa rows y aplica funciones de agregacion para producir summary statistics. Cada combinacion unica de valores en el by produce un output row en los results.

Los operadores comunes que funcionan con summarize son avg(), sum(), etc. Los distintos son:

  • dcount() function - estima el count de distinct values. Util para cosas como how many unique users experienced this error
  • count_distinct() - para small datasets. es mas preciso pero mas intensivo de recursos
  • percentile() function - calcula un specific percentile value. util para obtener por ejemplo latency analisys del p95
  • bin() function - agrupa valores continuos como timestamps en intervalos fijos. Ejemplo bin(timestamp, 1h) redondea cada timestamp a la hora más cercana
requests
| where timestamp > ago(24h)
| summarize requestCount = count(), avgDuration = avg(duration)
    by bin(timestamp, 1h), cloud_RoleName

Visualizar query results with the render operator

El render operator sirve para especificar chart types en la query. Añadir render como final step le dice que saque los resultados como un chart en vez de una tabla. Util para visualizar trends y comparaciones.

requests
| where timestamp > ago(24h)
| summarize requestCount = count() by bin(timestamp, 1h), cloud_RoleName
| render timechart