El sitio web "30 papers" recopila una lista de lecturas que, según el rumor, el cofundador de OpenAI Ilya Sutskever entregó al ingeniero John Carmack. El sitio reconoce que hasta ahora solo tiene 27 de los 30 trabajos y solicita ayuda para completar la versión canónica. La selección funciona como un mapa por los fundamentos del aprendizaje profundo moderno y combina tres bloques temáticos bien diferenciados.
El primer bloque es teoría de la información y complejidad. Aparecen textos clásicos como la introducción al Minimum Description Length Principle, la complejidad de Kolmogorov, el argumento de que las redes generalizan cuando sus pesos admiten una descripción corta y dos ensayos (The First Law of Complexodynamics y Coffee Automaton) que preguntan por qué la complejidad de un sistema cerrado sube, alcanza un máximo y cae al acercarse al equilibrio. El segundo bloque recorre la historia de las redes neuronales profundas: AlexNet, ResNet y su análisis posterior, convuciones dilatadas, regularización de LSTM, el post de Andrej Karpathy sobre RNN a nivel de carácter, la explicación visual de LSTM, Deep Speech 2, el curso CS231n, el Transformer anotado y, como cierre de la saga, "Attention Is All You Need", la arquitectura que sostiene los grandes modelos de lenguaje actuales.
El tercer bloque se centra en memoria, atención y razonamiento relacional. Incluye las Neural Turing Machines, las Pointer Networks, la atención de Bahdanau para traducción automática, módulos de razonamiento relacional, redes recurrentes relacionales y modelos de paso de mensajes para química cuántica. La lista termina con dos textos sobre escalado: las Scaling Laws para modelos de lenguaje, que muestran que la pérdida cae como una ley de potencia al crecer tamaño, datos y cómputo, y GPipe, una librería de paralelismo por pipeline para entrenar redes gigantes. En conjunto, es un recorrido que va de la compresión y la complejidad algorítmica hasta las técnicas que hicieron posible los modelos de gran tamaño.