Los índices vectoriales y los embeddings necesitan ongoing maintenance a medida que tus datos van evolucionando.
Monitor index health and performance
PostgreSQL tiene system views y funciones que revelan si los indices se están usando, cuanto espacio consumen y si las queries se ejecutan como se espera.
La view pg_stat_user_indexes muestra usage patterns para los índices. Si un index muestra cero scans, puede que las queries no la estén usando. Un high scan count confirma que el índice funciona como deberia.
SELECT
schemaname,
relname AS table_name,
indexrelname AS index_name,
idx_scan AS times_used,
pg_size_pretty(pg_relation_size(indexrelid)) AS index_size
FROM pg_stat_user_indexes
WHERE indexrelname LIKE '%embedding%'
ORDER BY idx_scan DESC;
Más allá de las usage statistics, tenemos EXPLAIN ANALYZE para ejecutarlo periodicamente sobre queries representativas, donde debemos hacer un seguimiento del execution time a lo largo del tiempo. Si una query sube de tiempo y los datos no han cambiado, puede que el indice se haya degradado.
Podemos monitorizar el build de un index con pg_stat_progress_create_index, ya que este puede llevar horas.
Rebuild indexes when data distribution change
ANN indexes optimizan su estructura interna basandose en data distribution en el momento que se crea. Cuando se añade un 20-30% de datos nuevos, nuevos dominios o caracteristicas diferentes, el indice ya no particiona los vectores de manera optima. Esta degradacion se presenta como una mayor query latency y/o peores resultados.
Para PROD donde no podemos tener downtime, usamos
CREATE INDEX CONCURRENTLYpara crear un replacement index sin bloquear queries. Toma más tiempo y recursos, pero la app continua sirviendo requests.
- Crear el indice con un nombre temporal
- Comprobar que funciona con
EXPLAIN ANALYZE - Borrar el índice viejo
- Hacer un rename al nuevo para que lo sustituya
-- Create new index concurrently (doesn't block queries)
CREATE INDEX CONCURRENTLY documents_embedding_new_idx
ON documents USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);
-- Verify the new index works, then swap
DROP INDEX documents_embedding_idx;
ALTER INDEX documents_embedding_new_idx RENAME TO documents_embedding_idx;
Para sistemas que pueden tolerar interrupciones tenemos
REINDEX INDEX documents_embedding_idxes más simple pero bloquean queries durante el rebuild
Update embeddings efficiently
Cuando el source content cambia, los embeddings asociados ya no representan el contenido, por lo que hay que sincronizarlos.
Para updates ocasionales, podemos updatear los embeddings en la misma transacción que el contenido para mantener todo consistente. Es más simple y garantiza consistencia, pero añade latencia a cada update.
Para Apps con cambios muy frecuentes de contenido podemos usar batches. Se marcan los documentos que necesitan un update de embeddings usando un flag y luego los actualizamos todos en batches. Esto reduce los costes y mejora la latencia del sistema, pero durante un tiempo el contenido puede estar desactualizado y mostrar resultados desfasados.
Para algunas Apps puede ser necesario hacer una regeneración periódica y no solo cuando el contenido cambie. Implementamos esto como scheduled jobs.
-- Add a column to track embedding status
ALTER TABLE documents ADD COLUMN embedding_stale BOOLEAN DEFAULT FALSE;
-- When content changes, mark for embedding update (fast)
UPDATE documents
SET content = 'New content...', embedding_stale = TRUE, updated_at = NOW()
WHERE id = 42;
-- Background job processes stale embeddings in batches
SELECT id, content FROM documents WHERE embedding_stale = TRUE LIMIT 100;
-- After generating embeddings externally, update in bulk
UPDATE documents
SET embedding = data.embedding, embedding_stale = FALSE
FROM (VALUES (1, '[...]'::vector), (2, '[...]'::vector)) AS data(id, embedding)
WHERE documents.id = data.id;
Handle embedding model changes
Si hacemos un upgrade a un nuevo modelo de embeddings tenemos que regenerar todos los embeddings, ya que modelos diferentes producen vectores diferentes (y puede que con un numero diferente de dimensiones).
No se pueden mezclar embeddings de modelos diferentes en una misma columna
Migration strategy
Migrar a un nuevo embedding model requiere planificarlo bien. No puedes hacer un overwrite de los embeddings y ya porque la app devolvería resultados inconsistentes mientras la migración esté en progreso.
El método más seguro es crear una nueva columna paralela donde metemos los nuevos embeddings que se van generando hasta que este listo y validado y podamos cambiar una columna por otra.
- Creamos la nueva columna
- Creamos el indice para la columna nueva
- Llenamos la columna con embeddings
- Update de las app queries para usar la nueva columna
- Borramos la columna y el indice viejos
Manage storage and cleanup
Los vectores consumen mucho espacio. Un vector de 1536 dimensiones con 1.000.000 de documentos consume 6 GB solo en vector data, más el espacio de los índices.
Reclaim space after updates
Al hacer update o borrado de rows, PostgreSQL no reclama inmediatamente el espacio en disco. Para vector tables con actualizaciones periodicas de vectores esto se puede agravar bastante. Este espacio muerto se puede reclamar con:
-- Standard vacuum (runs concurrently)
VACUUM documents;
-- Full vacuum (reclaims more space but locks the table)
VACUUM FULL documents;
Con tablas con heavy update actividy lo podemos configurar automáticamente
autovacuum cuando el 5% de las filas son modificadas
ALTER TABLE documents SET (
autovacuum_vacuum_scale_factor = 0.05,
autovacuum_analyze_scale_factor = 0.02
);