GitHub acelera el case-folding a velocidad de memoria con un bucle sin ramas en Rust

GitHub ha publicado en detalle cómo su motor de búsqueda de código, Blackbird —que indexa más de 180 millones de repositorios y 480 TB de código fuente—, logró procesar el case-folding (plegado de mayúsculas a una forma canónica para comparaciones) a más de 45 GiB/s en un solo núcleo de un Apple M4. La clave fue eliminar, en la ruta rápida ASCII, la optimización de «parar al primer byte no ASCII». Los ingenieros sustituyeron las instrucciones condicionales por aritmética de bytes sin ramas: acumularon los bits altos en un registro para detectar más tarde cualquier byte no ASCII, transformaron el test «A..=Z» en una resta con desbordamiento y codificaron el paso a minúsculas como una operación OR que activa el bit 5. De este modo, el compilador LLVM vectoriza el bucle con instrucciones NEON de 16 bytes. Frente a la versión ingenua (~3,1 GiB/s) y a la opción intermedia de escanear palabras de máquina (~23 GiB/s), el barrido único sin ramas alcanza prácticamente el ancho de banda de la memoria. El artículo también aclara que el plegado no equivale a minúsculas: ignora intencionalmente los pliegues «completos» (ß→ss) y los locales turcos, igual que ripgrep. El resultado es un crate Rust open source llamado casefold, útil para búsquedas, regex case-insensitive y cualquier coincidencia de texto a gran escala.