Implement retrieval patterns for RAG pipelines (PostgreSQL)

(muchisimo detalle - quizas para una segunda vuelta segun vea los examenes de prueba)

Retrieval augmented generation (RAG) mejora las respuestas del modelo, cogiendo contexto relevante de tus datos. El retriever escanea tu knowledge base y devuelve documentos que el LLM usa para generar grounded content.

RAG architecture and retriever role

RAG sigue un patron de 3 pasos:

  1. Query embedding: convertimos la pregunta del user en vectores usando un embedding model
  2. Retrieval: buscamos en la BBDD vectorial documentos similares al query embedding
  3. Generation: Pasamos los documentos obtenidos al LLM como contexto para generar una respuesta

En esta arquitectura, PostgreSQL es el retriever. Si el retriever saca documentos irrelevantes, al LLM le falta contexto para responder y puede generar información correcta. Si en cambio no encuentra documentos, la respuesta puede estar incompleta.

Design schemas for RAG workloads

RAG apps funcionan con chunks (no con documentos enteros).

Separate documents and chunks

Usamos dos tablas. Una para source documents y otra para chunks con embeddings

  • Flexible retrieval: puedes sacar chunks individuales o reconstruir documentos
  • Source tracking: Cada chunk linkea a su documento entero, para citaciones
  • Efficient storage: Document metadata se almacena una unica vez, no duplicada por chunk
  • Easy updates: Reemplazar un doc significa borrar todos sus chunks
CREATE TABLE source_documents (
    id SERIAL PRIMARY KEY,
    title TEXT NOT NULL,
    source_url TEXT,
    document_type TEXT,
    ingested_at TIMESTAMPTZ DEFAULT NOW()
);

CREATE TABLE document_chunks (
    id SERIAL PRIMARY KEY,
    document_id INTEGER REFERENCES source_documents(id) ON DELETE CASCADE,
    chunk_index INTEGER NOT NULL,
    content TEXT NOT NULL,
    embedding vector(1536),
    token_count INTEGER,
    start_char INTEGER,
    end_char INTEGER,
    UNIQUE (document_id, chunk_index)
);

Add metadata for filtering and context

Incluir metadata para poder filtrar

CREATE TABLE document_chunks (
    id SERIAL PRIMARY KEY,
    document_id INTEGER REFERENCES source_documents(id) ON DELETE CASCADE,
    chunk_index INTEGER NOT NULL,
    content TEXT NOT NULL,
    embedding vector(1536),
    token_count INTEGER,
    section_title TEXT,
    page_number INTEGER,
    created_at TIMESTAMPTZ DEFAULT NOW()
);

Crear indices para RAG query patterns

Vector similarity indexes (IVFFlat o HNSW) permite fast embedding lookups. RAG workloads también se benefician de B-tree indexes.

Estos indexes ayudan al hacer retrieve de chunks, al unir de vuelta los source documents para citaciones, y al filtrar u ordenar dentro de un documento por chunk position. Sin estos indices se hace un escaneo de todos los chunks para cada query

-- B-tree index for document lookups (speeds up JOINs to source_documents)
CREATE INDEX document_chunks_document_id_idx
ON document_chunks (document_id);

-- Composite index for chunk ordering (supports context window queries)
CREATE INDEX document_chunks_doc_chunk_idx
ON document_chunks (document_id, chunk_index);

Implement chunk retrieval for context building

diseñar un RAG es un balanceo entre:

  • obtener suficiente contexto relevante
  • mantenerte dentro de los token limits
  • dar suficiente contexto al LLM para entender cada chunk