Un desarrollador ha creado una nueva herramienta llamada SentrySearch que permite realizar búsquedas semánticas en videos utilizando la inteligencia artificial de Google Gemini. La herramienta, disponible en GitHub, divide los archivos MP4 en fragmentos, los convierte en incrustaciones de video utilizando el modelo Gemini Embedding y los almacena en una base de datos local (ChromaDB). Los usuarios pueden buscar en los videos introduciendo texto, y la herramienta devuelve un fragmento de video relevante, recortado automáticamente del archivo original. El proceso implica la configuración de una clave API de Gemini, la indexación del metraje y la ejecución de búsquedas con consultas de texto. La herramienta es compatible con una amplia gama de formatos de video y ofrece opciones para optimizar el costo, como la reducción de la resolución y la omisión de fragmentos estáticos. Una característica adicional permite superponer información de telemetría (velocidad, ubicación, hora) de archivos de video de Tesla, utilizando datos de firmware y geocodificación. El costo de indexar una hora de video es de aproximadamente 2.84 dólares, dependiendo de la configuración y la cantidad de contenido visual.
Noticias agregadas con IA