Vector data types
Redis usa FLOAT32 o FLOAT64, lo cual impacta en la memoria que consumen tus vectores (junto a la dimensionalidad de los embeddings) y en la precisión de las búsquedas semánticas,
IMPORTANTE
Para la mayoría de AI apps FLOAT64 no provee de ninguna mejora respecto a FLOAT32 porque los modelos no dan valores tan precisos. Para standard work se debe usar FLOAT32
/IMPORTANTE
# Code fragment - focus on vector data type configuration
VectorField(
"embedding",
"HNSW",
{
"TYPE": "FLOAT32", # Standard choice for AI embeddings
"DIM": 1536,
"DISTANCE_METRIC": "COSINE"
}
)
Match embeddings dimensions
La dimensionalidad tiene que ser la misma en Redis y en el embedding’s model output
# Code fragment - focus on dimension matching
embedding_models = {
"small-model": 384,
"medium-model": 768,
"large-model": 1536,
"xlarge-model": 3072,
}
# Create index matching your model
VectorField(
"embedding",
"HNSW",
{
"TYPE": "FLOAT32",
"DIM": 1536, # Must match model output
"DISTANCE_METRIC": "COSINE"
}
)
Distance metrics
IMPORTANTE
Para la mayoría de AI apps que envuelven texto, usaremos COSINE
- COSINE: mide el ángulo entre vectores, ignorando la magnitud. Se usa para text embeddinsg y semantic similarity (OpenAI y lo que la mayoría de LLMs esperan)
- L2 (Euclidean): mide la distancia recta en el espacio vectorial. Se usa para image embeddings y spatial data donde importan ambos la dirección y la magnitud
- IP (Inner product): Computa el dot product entre vectores. Se usa solo cuanto tenemos embeddings pre-normalizados o modelos espacializados que lo requieren.
/IMPORTANTE
Es importante tener en cuenta la distancia para la que está entrenado el embeddings model - hay modelos que necesitan distance metrics específicas.
# Code fragment - focus on distance metric selection
# For text embeddings (most common)
VectorField("embedding", "HNSW", {
"TYPE": "FLOAT32",
"DIM": 1536,
"DISTANCE_METRIC": "COSINE" # Use for OpenAI, Cohere, Sentence Transformers
})
# For image embeddings
VectorField("image_embedding", "HNSW", {
"TYPE": "FLOAT32",
"DIM": 768,
"DISTANCE_METRIC": "L2" # Use for vision models
})