Choose vector types and indexing strategies (Redis)

Vector data types

Redis usa FLOAT32 o FLOAT64, lo cual impacta en la memoria que consumen tus vectores (junto a la dimensionalidad de los embeddings) y en la precisión de las búsquedas semánticas,

IMPORTANTE

Para la mayoría de AI apps FLOAT64 no provee de ninguna mejora respecto a FLOAT32 porque los modelos no dan valores tan precisos. Para standard work se debe usar FLOAT32

/IMPORTANTE

# Code fragment - focus on vector data type configuration
VectorField(
    "embedding",
    "HNSW",
    {
        "TYPE": "FLOAT32",  # Standard choice for AI embeddings
        "DIM": 1536,
        "DISTANCE_METRIC": "COSINE"
    }
)

Match embeddings dimensions

La dimensionalidad tiene que ser la misma en Redis y en el embedding’s model output

# Code fragment - focus on dimension matching
embedding_models = {
    "small-model": 384,
    "medium-model": 768,
    "large-model": 1536,
    "xlarge-model": 3072,
}

# Create index matching your model
VectorField(
    "embedding",
    "HNSW",
    {
        "TYPE": "FLOAT32",
        "DIM": 1536,  # Must match model output
        "DISTANCE_METRIC": "COSINE"
    }
)

Distance metrics

IMPORTANTE

Para la mayoría de AI apps que envuelven texto, usaremos COSINE

  • COSINE: mide el ángulo entre vectores, ignorando la magnitud. Se usa para text embeddinsg y semantic similarity (OpenAI y lo que la mayoría de LLMs esperan)
  • L2 (Euclidean): mide la distancia recta en el espacio vectorial. Se usa para image embeddings y spatial data donde importan ambos la dirección y la magnitud
  • IP (Inner product): Computa el dot product entre vectores. Se usa solo cuanto tenemos embeddings pre-normalizados o modelos espacializados que lo requieren.

/IMPORTANTE

Es importante tener en cuenta la distancia para la que está entrenado el embeddings model - hay modelos que necesitan distance metrics específicas.

# Code fragment - focus on distance metric selection

# For text embeddings (most common)
VectorField("embedding", "HNSW", {
    "TYPE": "FLOAT32",
    "DIM": 1536,
    "DISTANCE_METRIC": "COSINE"  # Use for OpenAI, Cohere, Sentence Transformers
})

# For image embeddings
VectorField("image_embedding", "HNSW", {
    "TYPE": "FLOAT32",
    "DIM": 768,
    "DISTANCE_METRIC": "L2"  # Use for vision models
})