El artículo detalla la experiencia técnica de migrar prompts de agentes de IA de 35 KB desde proveedores de frontera como OpenAI y Anthropic hacia modelos autoalojados utilizando Ollama. El autor argumenta que la dependencia de proveedores externos expone los datos de los usuarios a riesgos de privacidad y a la posibilidad de que sus sesiones sean utilizadas para entrenamiento de modelos sin consentimiento explícito. La transición técnica revela desafíos significativos: los prompts optimizados para APIs de frontera suelen saturar la ventana de contexto de los modelos locales, que suelen ser más pequeños. En el caso del autor, un prompt de 35 KB consume el 14% de su ventana de contexto de 65.000 tokens, lo que provoca que el modelo repita llamadas a herramientas y releya archivos ya procesados, perdiendo el contexto de las instrucciones previas.
Para resolver esto, el texto propone la 'Single Objective Prompting' (SOP), una técnica de ajuste de prompts que permite operar dentro de las restricciones de memoria. El autor también critica la postura de seguridad de los proveedores de frontera, señalando que sus filtros de seguridad impiden a los defensores identificar vulnerabilidades, lo que debilita la seguridad general. La conclusión es que, para garantizar la privacidad y la capacidad de defensa, los usuarios deben adoptar infraestructura soberana y modelos con pesos propios, ajustando sus instrucciones para maximizar la eficiencia en entornos con recursos limitados.