La evolución de la búsqueda 'Más como esto': de lo léxico a los embeddings

La función 'More Like This' (MLT) permite buscar documentos similares a partir de un resultado ya seleccionado, en lugar de partir de una consulta escrita. El enfoque clásico era léxico: se extraían los términos relevantes del documento fuente y se comparaban con los de otros textos mediante técnica

Anatomía de un LLM moderno: de los tokens a la predicción

Los modelos de lenguaje de gran tamaño (LLM) se construyen apilando bloques transformer una y otra vez, por lo que entender la maquinaria del transformer es la base para comprender su funcionamiento. Esta guía recorre los componentes esenciales de un LLM moderno sin profundizar en las matemáticas, c

FAISS al descubierto: búsqueda por similitud a escala de mil millones

FAISS, la biblioteca de búsqueda por similitud de Meta, encuentra los vecinos más cercanos en espacios vectoriales de alta dimensión a escala de miles de millones de elementos. Este artículo técnico detalla los mecanismos que hacen posible esa capacidad. En la inteligencia artificial actual, las im

Modelos de lenguaje: técnica reduce tamaño sin perder calidad

Investigadores han desarrollado una nueva técnica para comprimir incrustaciones (embeddings) de modelos de lenguaje, mejorando significativamente la eficiencia sin sacrificar la calidad de la recuperación de información. La técnica, denominada 'poly-autoencoder', combina un codificador PCA (Principa

IA más eficiente: vectores comprimidos sin perder calidad

Este artículo de Arkaung.github.io presenta TurboQuant, una técnica innovadora para comprimir vectores de inteligencia artificial (IA) utilizados en modelos de lenguaje modernos, como los que se encuentran en cachés de claves-valores (KV caches), incrustaciones (embeddings) y atención. El objetivo e

db9: base de datos PostgreSQL optimizada para IA

La startup db9 ha lanzado una base de datos PostgreSQL diseñada específicamente para agentes de inteligencia artificial. La plataforma, disponible para macOS y Linux, busca simplificar la gestión de datos para aplicaciones de IA al combinar la potencia de SQL con la flexibilidad de un sistema de arc

Búsqueda eficiente de trillones de vectores: un desafío

Este artículo explora el desafío de realizar búsquedas de similitud vectorial a gran escala, específicamente con 3 mil millones de vectores. El problema surge al intentar encontrar elementos semánticamente similares, una técnica crucial en aplicaciones como búsqueda, recomendaciones y recuperación g

Krira-Chunker: Motor de fragmentación 40 veces más rápido

Un nuevo motor de fragmentación de texto basado en Rust, llamado Krira-Chunker, ha sido lanzado y promete una mejora significativa en la velocidad de procesamiento en comparación con LangChain. Desarrollado por Krira Labs, el motor afirma ofrecer una velocidad 40 veces mayor y un uso de memoria O(1)

SQLite ahora con búsqueda semántica: más allá de palabras clave

SQLite, una base de datos ligera y ampliamente utilizada, ha incorporado capacidades de búsqueda semántica gracias a una extensión desarrollada por un investigador. Anteriormente, SQLite solo ofrecía búsqueda textual a través de su extensión FTS5, pero carecía de la capacidad de combinar la coincide