PyTorch se ha consolidado como la lengua franca del aprendizaje profundo, pero su papel real en los sistemas de producción actuales es más complejo de lo que sugiere esa etiqueta. Este ensayo propone entender PyTorch desde una doble función: como lenguaje de referencia —el tejido de APIs y convenciones a partir del cual se cortan implementaciones simplificadas pero completas que priorizan la claridad sobre el rendimiento— y como lenguaje de implementación, capaz de sostener cargas de trabajo productivas cuando la escala no es excesiva o los compiladores funcionan adecuadamente.
El argumento recorre tres ejes. Primero, la proliferación de lenguajes de dominio específico para kernels (kernel DSLs) ha cambiado cómo se escriben las implementaciones de operadores críticos, como multiplicaciones de matrices o mecanismos de atención. Aunque estos DSL permiten extraer el rendimiento máximo al detallar manualmente el particionado en bloques (tiling) y el movimiento de datos, no eliminan la API de alto nivel: los autores suelen mantener una implementación de referencia en PyTorch y verificarla frente al kernel optimizado mediante pruebas numéricas.
Segundo, los agentes de programación con modelos de lenguaje están transformando de forma análoga la escritura de pasos de entrenamiento. Frente a la dificultad de manipular el grafo implícito que genera autograd a gran escala, la receta propuesta consiste en conservar el código tradicional PyTorch como referencia y usar LLMs para generar versiones explícitas hacia adelante y hacia atrás, optimizables de forma independiente. La verificación de equivalencia entre ambas versiones —mediante pruebas bit a bit, equivalencia estructural o captura de grafos— sustituye a los frágiles patrones de coincidencia (pattern matching) sobre el grafo.
Tercero, el texto cierra con una pregunta abierta de Horace He: cómo obtener el control del modo eager (ejecución inmediata) con las comodidades de la abstracción a nivel de grafo. El autor considera que la receta descrita —una implementación para investigar, otra para escalar y un verificador que las conecte— es una respuesta prometedora, con PyTorch en el centro del esquema.