D-FINE-seg: detección de objetos y segmentación de instancias en tiempo real

Fuentes: D-FINE-seg: Real-Time Object Detection and Instance Segmentation Framework

D-FINE-seg es un framework de código abierto que amplía el detector de objetos basado en transformers D-FINE con capacidades de segmentación de instancias. El proyecto añade una cabeza de máscara ligera, pérdidas de entrenamiento conscientes de la segmentación (BCE y Dice recortadas por bounding box, supervisión auxiliar y de denoising) y un matching húngaro con coste de máscara. Según los autores, D-FINE-seg mejora la puntuación F1 sobre Ultralytics YOLO26 en los conjuntos de datos TACO y VisDrone bajo un protocolo unificado de benchmarking TensorRT FP16, manteniendo una latencia competitiva.

El framework cubre el ciclo completo: preparación de datos y entrenamiento (con DDP, EMA, AMP y mosaic), exportación a múltiples formatos (ONNX, TensorRT, OpenVINO, CoreML y LiteRT) e inferencia optimizada para detección y segmentación. Soporta anotaciones en formato YOLO y COCO JSON, cinco tamaños de modelo (Nano, Small, Medium, Large y Extra-Large) con backbones HGNetv2, y entradas de 3 o 4 canales, lo que permite incluir una modalidad extra como térmica, profundidad o NIR apilada como archivo .npy.

La instalación se realiza clonando el repositorio y usando uv sync, que crea un entorno virtual con dependencias fijadas. Los pesos preentrenados se descargan automáticamente desde Hugging Face al primer uso. El proyecto se distribuye bajo una licencia open source, incluye tutoriales en vídeo y un cuaderno Colab, y está pensado tanto para investigación como para despliegue en producción.