KQL and Azure Monitor Logs
Kusto Query Language (KQL) es la primary tool que se usa para hacer retrieve y analizar log data almacenada en Azure Monitor, Log Analytics, y Azure Data Explorer. Sigue un modelo de pipe separdo por el caracter |.
Query scoping determina que tablas y nombres de columnas usamos en las queries.
Cuando abres logs desde un recurso de Application Insights, el query scope hace target de recursos usando Application Insigts table names como requests, exceptions y dependencies.
Cuando se abre desde un workspace de Log Analytics usa table names como AppRequests, AppExceptions y AppDependencies.
Explore Application Insights table structure
Tablas más relevantes
requestsalmacena incoming HTTP requests con detalles como duration, response code y success status. Cada row representa una requestadependenciescaptura outbound calls desde tu app a BBDD, HTTP endpoints, Azure services y otros microsexceptionsambas handled y unhandledtracesapp log messages de frameworks como ILogger, log4jcustomEventsalmacena custom business events como document classifiedcustomMetricsalmacena custom numeric measurements como queue depth o model inference confidence scoreperformanceCountersalmacena system-level metrics como CPU usage
Hay columnas que son comunes a todas las tablas:
timestampoperation_Idlinkea los items de una single distributed trace para poder seguir las requests a través de los servicioscloud_RoleNameidentifica que servicio genera la telemetríacustomDimensioncontiene una bag de propiedades dinamicas para enriquecer la telemetria con tus propios datos
Filter and select data with core operators
KQL tiene todos los filtros comunes como where, ==, etc.
Distintos tenemos:
projectoperator - selecciona columnas especificas a incluir en el output. Reduce la width de tus resultados y centra la atencion en los datos que interesantakeoperator - devuelve un ser arbitrario de n rows de la tabla. Es util para inspeccionar el estado y calidad de los datos con un muestreotopoperators - devuelve las primeras n rows, sorteadas por una columna especifica
requests
| where timestamp > ago(1h)
| where success == false
| project timestamp, name, resultCode, duration, cloud_RoleName
| top 20 by duration desc
Aggregate and summarize data
El filtering visto antes muestra records individuales. Para entender trends y patrones necesitamos aggregation.
El operator summarize agrupa rows y aplica funciones de agregacion para producir summary statistics. Cada combinacion unica de valores en el by produce un output row en los results.
Los operadores comunes que funcionan con summarize son avg(), sum(), etc. Los distintos son:
dcount()function - estima el count de distinct values. Util para cosas como how many unique users experienced this errorcount_distinct()- para small datasets. es mas preciso pero mas intensivo de recursospercentile()function - calcula un specific percentile value. util para obtener por ejemplo latency analisys del p95bin()function - agrupa valores continuos como timestamps en intervalos fijos. Ejemplobin(timestamp, 1h)redondea cada timestamp a la hora más cercana
requests
| where timestamp > ago(24h)
| summarize requestCount = count(), avgDuration = avg(duration)
by bin(timestamp, 1h), cloud_RoleName
Visualizar query results with the render operator
El render operator sirve para especificar chart types en la query. Añadir render como final step le dice que saque los resultados como un chart en vez de una tabla. Util para visualizar trends y comparaciones.
requests
| where timestamp > ago(24h)
| summarize requestCount = count() by bin(timestamp, 1h), cloud_RoleName
| render timechart