Comparación técnica entre decodificadores y codificadores en Strands Decider

Fuentes: Technical comparison of decoders and encoders in Strands Decider

El equipo de Strands Labs ha publicado un análisis técnico que compara el rendimiento de su modelo 'strands-decider-2B' (un decodificador) con modelos codificadores bidireccionales como ModernBERT y ettin-encoder-1b. El objetivo es determinar si la arquitectura bidireccional ofrece ventajas significativas frente a la causal en tareas de decisión, desafiando la suposición común de que los codificadores son siempre superiores por su capacidad de atención bidireccional.

Los resultados muestran que, aunque los codificadores presentan una latencia media de 35 ms frente a los 65 ms del decodificador, esta ventaja se ve limitada por el coste computacional. El modelo codificador (e1b) utiliza 26 capas de atención completa con coste cuadrático, mientras que el decodificador (v19) emplea capas Gated DeltaNet con coste lineal, lo que eleva el coste fijo pero mejora la escalabilidad. En términos de precisión, el decodificador v19 supera al codificador e1b en la mayoría de las métricas de calibración, y el modelo e1a (un codificador sin máscara) muestra una generalización inferior en conjuntos de evaluación, especialmente en JevBench.

La conclusión técnica es que ninguna arquitectura es una victoria clara para este tipo de trabajo a esta escala. El experimento, confundido por múltiples variables como el ajuste de instrucciones, sugiere que la elección entre decodificador y codificador depende del mix de trabajo específico, priorizando la latencia para prompts cortos o la escalabilidad para cargas de trabajo extensas.