Un estudio publicado el mes pasado por la Coalición por la Equidad Lingüística en la Investigación de IA (Coalition for Language Equity in AI Research) encontró que los modelos de inteligencia artificial requieren muchos más tokens para procesar ciertos idiomas que otros, lo que se traduce en un sobrecosto oculto para los hablantes de lenguas con menor presencia en internet. La investigación advierte que esta disparidad podría limitar la participación de regiones como América Latina en la economía de la IA.
Los tokens son las unidades de texto o datos que los modelos procesan. La herramienta que descompone el texto, las imágenes o el audio en tokens se llama tokenizador. Los investigadores denominaron a este fenómeno “impuesto del tokenizador”, una carga que afecta desproporcionadamente a los idiomas con menos recursos digitales.
La brecha de tokens entre idiomas
Incluso entre los 20 idiomas más populares de internet, existe una diferencia en el uso de tokens. El estudio halló que el idioma más costoso utilizó entre 1.5 y 5 veces más tokens que el más económico. Al ampliar el conjunto a 200 idiomas, la brecha se disparó: en un modelo de IA, la diferencia en el costo de tokens creció hasta 17 veces.
“Una startup en Bengaluru puede pagar un recargo en cada indicación y respuesta, mientras que su competidora en Austin no lo hace”, ejemplifica el estudio. El impacto va más allá del costo: un mayor número de tokens se traduce en mayor latencia y una reducción de la capacidad efectiva de contexto. Estas penalizaciones golpean más fuerte donde el cómputo y la conectividad ya son limitados.
Consecuencias para la calidad del servicio
Pratyush Choudhury, cofundador de Activate AI, el primer fondo de capital riesgo de India dedicado exclusivamente a la IA, explicó que los idiomas no ingleses dejan menos espacio para documentos o historial de conversación y requieren más trabajo para generar la respuesta. “Piensa en un tutor: retener los errores y explicaciones previas del estudiante es parte de dar una buena lección. Si ese historial consume la ventana de contexto mucho más rápido en un idioma, la desventaja alcanza la calidad del servicio”, señaló.
Activate AI respalda a startups de voz multilingüe como ElevenLabs, Sarvam y Wispr Flow, que buscan atender a usuarios de lenguas diversas.
El papel de los datos y la escritura
Una forma de mejorar el procesamiento del lenguaje es mejorar los datos subyacentes. “Los esfuerzos de datos abiertos importan aquí, como RESPIN, una iniciativa colaborativa con el Instituto Indio de Ciencias financiada por la Fundación Gates, donde recolectamos texto de hablantes nativos de 38 dialectos junto con habla leída”, comentó Raoul Nanavati, cofundador y CEO de Navana.ai, una startup de infraestructura de voz con sede en Mumbai.
Sin embargo, el estudio de la Coalición encontró que la rareza de un idioma no es el único determinante de cuántos tokens utiliza. La escritura juega un papel importante. El asturiano, que tiene relativamente pocos hablantes y no cuenta con datos en Common Crawl, “se beneficia de la ventaja de la escritura latina, así como de la representación de otras lenguas romances relacionadas como el italiano”. En cambio, los idiomas escritos en sistemas que el tokenizador rara vez vio —como el birmano, el tibetano, el tifinagh, el jemer, el lao y el ol chiki— presentaron la mayor desventaja de manera consistente en casi todos los modelos analizados.
Hacia una solución integral
Muchos tokenizadores actuales siguen optimizados de manera desproporcionada para el inglés y otros idiomas con altos recursos. Dheemanth Reddy, CEO de Maya Research, que desarrolla modelos de IA conversacional diseñados para hablar y responder como nativos para los próximos 5 mil millones de usuarios de internet, advirtió que mejorar los datos de entrenamiento por sí solo no soluciona el problema del tokenizador.
“Los precios de los tokens están cayendo muy rápido, por lo que el impacto directo en costos debería volverse menos severo con el tiempo, y mejores datos multilingües y sintéticos deberían mejorar la calidad de los modelos. Pero realmente cerrar la brecha de tokenización aún requerirá que los laboratorios diseñen deliberadamente tokenizadores futuros para manejar mejor estos idiomas y escrituras”, afirmó Reddy.
Choudhury, por su parte, consideró que la eficiencia lingüística debería ser un requisito de producto, junto con la precisión, la velocidad y la confiabilidad. “La igualdad perfecta puede ser irrealista. Las disparidades grandes y persistentes aún deberían requerir una explicación y un plan de mejora”, dijo. “Le pediría a cada laboratorio importante que publique una tarjeta de puntuación idioma por idioma que muestre cuánto cuesta completar tareas comparables con éxito, y que se comprometa a mejoras medibles para sus idiomas peor atendidos”.
El estudio subraya que la inequidad en la tokenización es una restricción sobre quién puede participar en la economía de la IA. Para América Latina, donde conviven el español, el portugués y cientos de lenguas indígenas con limitada representación digital, el llamado es a exigir mayor transparencia y esfuerzos concretos de los desarrolladores de modelos.