Tune PostgreSQL for pgvector
(leer este post muy por encima; saber más o menos para que son, pero esto es ya mucho detalle; doc og)
pgvector compute and memory requirements
Los cálculos de distancias vectoriales son muy diferentes a una BBDD tradicional. Para una búsqueda vectorial de proximidad con 1536 dimensiones cada búsqueda conlleva 1536 operaciones con floats. Buscar en 1.000.000 de vectores sin un índice, requiere de 1.5 billion operaciones por query.
Esto también depende de la función de distancia que escojamos:
- L2 (Euclidean) distance
<->- es la más costosa computacionalmente hablando - Cosine distance
<=>- relación coste/performance media. Recomendada a usar para recommendation engines y semantic search ya que procesa vectores de diferentes magnitudes de manera consistente - Inner product
<#>- es la más rápida pero necesita vectores pre-normalizados. A utilizar si tenemos vectores normalizados ya que requiere menos computación (muchos modelos de OpenAI ya devuelven los vectores normalizados)
IMPORTANTE
Los vectores consumen más almacenamiento que otras columnas de una BBDD relacional. Un vector de 1536 dimensiones guardado como float4 con 1.000.000 de productos necesita 6 GB solo para la columna de los vectores. PostgreSQL carga estos vectores en memoria cuando se hacen operaciones con ellos.
Vectores con más dimensiones ofrecen mejor resolución semántica, pero también aumentan dramaticamente los requisitos de memoria y computacionales. Un vector de 3072 dimensiones requiere x4 el trabajo para cálculos de distancia y x2 de espacio de almacenamiento respecto a vectores con 1536 dimensiones.
/IMPORTANTE
Memory config for vector workloads
La memoria del server de PostgreSQL afecta en gran medida a la vector query performance. Con un buen tuning los indices vectoriales y los datos frecuentemente leidos, se mantienen en memoria.
param shared_buffers
IMPORTANTE
El param shared_buffers controla la shared memory cache donde se guardan estos datos. Para trabajos vectoriales esta cache debería ser lo suficientemente grande como para almacenar todos tus indices vectoriales y hot data. Un cache hit ratio por debajo de 99% indica que shared_buffers puede ser muy pequeño.
Se ajusta automáticamente según tu tier Postgres en Azure, pero se puede ajustar dentro de los limites del tier.
Para apps de búsquedas vectoriales, comenzar con un 25% de la memoria disponible, monitorizar y aumentar / reducir
/IMPORTANTE
-- Check current setting
SHOW shared_buffers;
-- View buffer cache hit ratio
SELECT
sum(heap_blks_hit) / (sum(heap_blks_hit) + sum(heap_blks_read)) AS cache_hit_ratio
FROM pg_statio_user_tables;
param work_mem
El param work_mem controla la memoria disponible para query ops individuales como sorts y hash joins. Se usa especialmente en vector similarity queries, especialmente las que combinan vector search con filtering y ordering.
El default (4 MB) es muy pequeño para vector ops que deben ordenar resultados por similarity.
-- con cuidado
SET work_mem = '256MB'
Usarlo con cuidado ya que esto aplica a por operacion y por conexión. Se puede configurar por session level para queries específicas y no globalmente
param effective_cache_size
El param effective_cache_size le dice al query planner cuanta memoria hay disponible para caching. Settearla al 75% del total system memory. Valores más altos animan al planner a usar indices, lo cual es beneficioso para vector search.
Query planner settings for vector search
El query planner toma decisiones sobre como ejecutar queries basandose en cost estimates. Tunearlos para SSD storage modernos mejora el vector query planning
*(Azure PostgreSQL usa SSDs, por esto es todo este toquetear params).
param random_page_cost
El param random_page_cost estima el coste de leer una random disk page relativa a una page secuencial. Tiene un default de 4.0. Bajarlo a 1,1-1,5 anima al planner a usar index scans.
SET random_page_cost = 1.1;
param effective_io_concurrency
El param effective_io_concurrency dice cuantas I/O ops concurrentes puede manejar el sistema. Settearla a 200 para mejorar performance para queries que combinan vector similarity con metadata filtering
param parallel_tuple_cost
Los params parallel_tuple_cost y parallel_setup_cost controlan la ejecución paralela de queries. Las Vector ops se benefician de ella en escaneos secuenciales de tablas grandes.
SHOW parallel_tuple_cost;
SHOW parallel_setup_cost;
SHOW max_parallel_workers_per_gather;
Configure pgvector-specific parameters
IVFFlat params
Al usar indices IVFFlat el param ivfflat.probes controla cuantas particiones (listas) se buscan por query. Aumentarla sube el recall value por queries pero las hace más lentas. Es un balanceo complicado.
-- Configure IVFFlat search depth
SET ivfflat.probes = 10;
-- Execute vector search
SELECT id, name, embedding <=> $1 AS distance
FROM products
ORDER BY embedding <=> $1
LIMIT 10;
HNSW params
El param hnsw.ef_search controla el tamaño de la dynamic candidate list durante la búsqueda. Valores más grandes exploran más partes del grafo a costa de velocidad.
Monitor and measure performance
NUNCA HACER TUNING SIN MEDIR ANTES Y DESPUÉS.
Usar el comando EXPLAIN ANALYZE para ver como PostgreSQL ejecuta una query y ver sus timings. Para queries vectoriales, esto indica si se usan los indices y donde se ocupa el tiempo.
Si ves scans secuenciales y esperas indices, comprobar los operadores y que se usen.
Hay veces que PostgreSQL decide no usar indices disponibles. Esto puede ocurrir en queries que devuelven una gran parte de la tabla (index overhead excede el sequential scan, outdated statistics o distance op distinto del que tiene el indice)
Best practices for pgvector tuning
- Establish baselines first: Measure antes de hacer cambios, measure después y comparar
- Change only one param at a time and measure again
- Test with production-like data
- Monitor for regressions: con el tiempo la performance se puede degradar
- Document your settings: documentar que cambias, por que y que efecto ha tenido