¿Qué son los tokens de IA?
Fundamentos, modelos y capacidades de IA
Los tokens de IA son fragmentos de texto, y a veces representaciones de otros medios, que un modelo de IA procesa en lugar de palabras completas o documentos enteros. Un token puede ser una palabra corta, parte de una palabra más larga, puntuación o un espacio inicial. Los tokens son importantes porque determinan cuánto puede leer un modelo a la vez, cuánto cuesta una llamada a la API, qué longitud pueden tener las respuestas y con qué facilidad un sistema agota su contexto.
Revisado por Jackie, Head of Learning & Development, Levellers - Última revisión: 8 de junio de 2026
Qué significa esto
Cuando las personas utilizan por primera vez la IA generativa, suelen pensar en palabras, páginas o archivos. Los modelos no. Trabajan con tokens. Un token es una unidad más pequeña producida por un tokenizador, el componente que divide el texto en fragmentos que el modelo puede convertir en números.
Esos fragmentos no se corresponden de forma ordenada con el lenguaje humano. A veces una palabra equivale a un token. A veces una palabra se divide en varios tokens. Los espacios y la puntuación cuentan. Los fragmentos comunes pueden convertirse en tokens únicos porque aparecen con frecuencia en los datos de entrenamiento. Las cadenas menos comunes o más largas pueden dividirse en partes más pequeñas. Además, distintos modelos utilizan tokenizadores diferentes, por lo que la misma oración puede producir recuentos de tokens distintos en sistemas diferentes.
Un modelo mental sencillo es el siguiente: si el texto es lo que se escribe, los tokens son lo que el modelo puede ver realmente. Son la unidad de medida de la memoria, el coste y la velocidad. Entender los tokens permite comprender por qué un prompt de aspecto perfectamente normal puede resultar caro, por qué una conversación larga puede perder de repente el contexto anterior y por qué cambiar de proveedor puede modificar tanto el comportamiento como el coste.
Esto no se limita al texto. En los sistemas multimodales modernos, las imágenes, el audio, el vídeo y los documentos también se convierten en representaciones internas que se miden en presupuestos de tokens o unidades de uso equivalentes. El método exacto varía según el proveedor, pero el efecto comercial es el mismo. Los tokens son la forma en que se contabiliza, limita y factura el uso.
Por qué es importante
Los responsables deben prestar atención a los tokens porque subyacen a tres aspectos con relevancia comercial: coste, latencia y contexto.
El coste es el más evidente. La mayoría de las APIs facturan la entrada y la salida por token. Si un flujo de trabajo envía prompts extensos, pasajes recuperados de gran tamaño o respuestas muy largas, la factura aumenta. Puede parecer algo técnico, pero rápidamente se convierte en un problema operativo, especialmente cuando los equipos pasan de la experimentación al uso interno a escala.
La latencia también importa. Más tokens suelen implicar más procesamiento y tiempos de espera más largos. Esto puede convertir un asistente útil en uno frustrante si los flujos de trabajo no se diseñan teniendo en cuenta el tamaño del prompt y la longitud de la respuesta.
El contexto es el tercer factor, y a menudo el más incomprendido. Un modelo solo puede trabajar dentro de una ventana de contexto finita, que es su memoria de trabajo a corto plazo para una solicitud o conversación. Si se añade demasiado contenido, la información más antigua debe descartarse, comprimirse o sustituirse. La conciencia sobre los tokens es, por tanto, fundamental para el diseño de prompts, el diseño de recuperación, la estrategia de resumen y los controles en torno a conversaciones o agentes de larga duración.
Cómo funciona
La mecánica comienza con la tokenización. Antes de que un modelo procese el prompt, un tokenizador convierte el texto en identificadores de token: números que corresponden a fragmentos de texto. Una palabra corta y común puede asignarse a un solo token. Una palabra más larga o menos frecuente puede dividirse en varias piezas de subpalabra. Este enfoque de subpalabra es útil porque mantiene los vocabularios manejables y, al mismo tiempo, permite al modelo representar texto desconocido.
Los distintos tokenizadores utilizan métodos diferentes. La codificación por pares de bytes, conocida habitualmente como BPE, se ha utilizado ampliamente en sistemas de tipo GPT. Otros sistemas emplean enfoques como SentencePiece o modelos de lenguaje unigramas. La idea subyacente es similar: en lugar de almacenar cada palabra posible, el modelo trabaja con piezas que pueden recombinarse de forma eficiente en distintos idiomas y dominios.
Una vez tokenizado el texto, el modelo procesa la secuencia dentro de una ventana de contexto. Esta es la cantidad máxima de entrada y salida que el modelo puede gestionar en un turno, sujeta a las reglas específicas del proveedor. Si el prompt, el contexto adjunto, las instrucciones de herramientas y la respuesta esperada superan conjuntamente el límite efectivo, algo debe ceder. El sistema puede rechazar la solicitud, truncar el prompt, acortar la respuesta o resumir silenciosamente el contexto más antiguo, según el diseño del producto.
El uso de tokens se registra entonces por categorías. Los tokens de entrada son los que se envían. Los tokens de salida son los que genera el modelo. Los tokens en caché son segmentos de prompt vistos anteriormente que un proveedor puede reutilizar a menor coste en algunas arquitecturas. Algunos modelos avanzados también utilizan tokens de razonamiento: trabajo interno adicional realizado antes de la respuesta final. Estas categorías importan porque afectan tanto a la facturación como al diseño del sistema.
Por eso una solicitud de aspecto breve puede ser mayor de lo que parece. Un mensaje puede incluir el texto del usuario, un prompt de sistema, instrucciones ocultas, esquemas de herramientas, fragmentos de recuperación, historial de conversación y archivos. Todo ello puede contabilizarse en el presupuesto activo. Para los desarrolladores, el recuento de tokens no es un ejercicio académico. Es una forma de predecir si un diseño será asequible, ágil y robusto.
El idioma también influye. Los recuentos de tokens no se corresponden de forma uniforme con caracteres o palabras en distintos sistemas de escritura. Las estimaciones aproximadas basadas en el inglés pueden ser orientativas, pero son solo referencias generales. Lo que parece conciso para una persona puede tokenizarse de forma muy diferente en otro idioma o en otra familia de modelos.
El auge de los modelos de contexto largo ha cambiado el debate, pero no ha eliminado la restricción. Una ventana de contexto de cientos de miles o incluso un millón de tokens es potente, pero no significa "enviar todo". El contexto largo tiene un coste, ralentiza las solicitudes y puede dificultar la gestión de la relevancia. Un modelo que técnicamente puede leer una biblioteca de políticas completa sigue beneficiándose de una buena recuperación, segmentación y estructura de prompts.
La mecánica de los tokens también afecta a las decisiones de arquitectura. En la generación aumentada por recuperación, los fragmentos de documentos deben dimensionarse de modo que la evidencia útil quepa dentro del presupuesto sin desplazar las instrucciones o el espacio para la respuesta. En los sistemas de chat, los equipos suelen resumir los turnos anteriores para preservar el contexto. En los asistentes de programación, las bases de código extensas pueden requerir selección, clasificación y compresión de archivos. En los sistemas de agentes, las definiciones de herramientas y los rastros anteriores pueden consumir silenciosamente una parte sorprendente de la ventana.
Los proveedores ofrecen ahora herramientas para contar tokens antes de enviar una solicitud. Ese es un control operativo importante. Permite a los equipos decidir si redirigir una tarea a un modelo más grande, acortar las entradas, limitar las salidas o usar caché. También evita que el gasto en tokens pase desapercibido hasta que llega la factura.
Un último punto práctico: los tokens no equivalen a valor. Reducir el recuento de tokens es útil cuando elimina desperdicio, como texto repetitivo o fragmentos de recuperación irrelevantes. Pero un acortamiento agresivo también puede eliminar el contexto necesario y degradar la calidad de las respuestas. El objetivo correcto no es el prompt más corto, sino el prompt más corto que aún proporcione al modelo lo que necesita para hacer bien su trabajo.
Ejemplos
Un equipo de atención al cliente crea un asistente que incluye todo el historial de chat y varios documentos de política extensos en cada solicitud. El asistente parece útil en una prueba, pero el uso de tokens y los tiempos de respuesta aumentan bruscamente una vez que más equipos empiezan a utilizarlo. El problema no es solo el modelo. Es el diseño de tokens.
Un chatbot interno de conocimiento recupera diez fragmentos de documentos extensos para cada pregunta porque "más contexto debería ayudar". En la práctica, la calidad de las respuestas empeora porque los detalles relevantes quedan enterrados, la ventana de contexto se llena y el sistema gasta dinero leyendo texto innecesario.
Una organización multilingüe observa que los prompts para la misma tarea tienen costes distintos entre unidades de negocio. El flujo de trabajo se diseñó en torno a estimaciones aproximadas de tokens en inglés, pero los distintos sistemas de escritura y los tokenizadores de los proveedores modifican los patrones de uso.
Un asistente de programación apunta a un repositorio muy extenso. En lugar de enviar directorios completos al modelo, el equipo añade clasificación de archivos, segmentación y caché. El modelo se vuelve más rápido, más económico y más fiable porque el presupuesto de tokens se gestiona de forma deliberada.
Malentendidos frecuentes
Un malentendido habitual es que un token equivale a una palabra. A menudo no es así. Un token puede ser una palabra, parte de una palabra, puntuación o un espacio unido a una palabra.
Otro es que una ventana de contexto más grande elimina la necesidad de un diseño cuidadoso. No es así. El contexto largo es potente, pero una entrada irrelevante o mal estructurada puede seguir reduciendo la calidad al tiempo que aumenta el coste y la latencia.
También se suele asumir que los precios por token son directamente comparables entre proveedores. Solo lo son en parte, porque los distintos tokenizadores, los prompts de sistema ocultos, las reglas de caché, el comportamiento de razonamiento y la contabilidad multimodal pueden cambiar lo que cuesta realmente un flujo de trabajo.
Por último, muchos equipos optimizan solo el prompt visible. Olvidan la carga oculta del historial de conversación, las definiciones de herramientas, los fragmentos de recuperación y las salidas largas.
Riesgos y limitaciones
El principal riesgo con los tokens es la invisibilidad. Los equipos suelen reparar en ellos solo cuando un modelo trunca, pierde contexto o genera una factura inesperada. Para entonces, el problema de diseño ya está integrado en el flujo de trabajo.
También existen limitaciones de portabilidad. Cambiar de modelo puede modificar los recuentos de tokens y el comportamiento efectivo del contexto, incluso cuando la tarea parece idéntica. Un prompt que encaja cómodamente en un sistema puede volverse caro o inestable en otro.
Los modelos de razonamiento añaden otra capa. Pueden utilizar tokens de razonamiento internos adicionales, lo que puede aumentar el gasto y reducir el espacio disponible para la respuesta final si la solicitud no se diseña con cuidado. Las entradas multimodales pueden tener el mismo efecto. Por eso la conciencia sobre los tokens debe estar presente en ingeniería, producto y operaciones, no solo en las herramientas de desarrollo.
Qué hacer a continuación
Conviene hacerse cuatro preguntas sencillas sobre cada flujo de trabajo de IA en producción: ¿cuántos tokens entran? ¿Cuántos suelen salir? ¿Qué más se adjunta en segundo plano? ¿Qué ocurre cuando se supera el presupuesto?
A continuación, conviene introducir una disciplina básica. Contar los tokens antes de las solicitudes en producción siempre que sea posible. Limitar la longitud de la salida cuando la calidad lo permita. Eliminar el texto repetitivo. Guardar en caché el contexto estable. Mantener la recuperación relevante en lugar de simplemente extensa. Para chats y agentes, decidir cómo se recortará o resumirá el historial de conversación.
Después, vincular los tokens al gasto. Registrar el uso de tokens por flujo de trabajo, equipo y modelo. Esto facilita identificar si los costes responden a un caso de uso genuinamente valioso o a un exceso de tokens evitable en los prompts.
Por último, formar a los responsables no técnicos. La claridad del prompt, el tamaño de los fragmentos, la selección de archivos y la longitud de las respuestas no son detalles menores de implementación. Son los controles que determinan si un flujo de trabajo de IA sigue siendo viable una vez que comienza el uso real.
¿Tiene alguna pregunta o sugerencia, o desea saber cómo investigamos y revisamos estas guías? Lea sobre nuestros estándares editoriales y cómo contactarnos.
Preguntas frecuentes
¿Cuántas palabras hay en un token?
No existe una regla fija exacta. En inglés, las estimaciones aproximadas suelen rondar tres cuartos de palabra por token, pero el recuento real depende del modelo, el tokenizador, el idioma y el texto concreto.
¿Los espacios y la puntuación cuentan como tokens?
Sí, a menudo sí. Los tokenizadores suelen adjuntar un espacio inicial a la siguiente palabra o dividir la puntuación en tokens separados.
¿Qué es una ventana de contexto?
Es la cantidad de información con la que un modelo puede trabajar en una sola solicitud o turno de conversación. Los tokens llenan esa ventana, por lo que los prompts o salidas más extensos consumen más memoria disponible.
¿Qué son los tokens en caché?
Son tokens de prompt que un proveedor puede reutilizar de solicitudes anteriores en lugar de procesarlos desde cero cada vez. Algunos proveedores facturan los tokens en caché a una tarifa reducida.
¿Qué son los tokens de razonamiento?
En algunos modelos avanzados, son tokens internos adicionales que el modelo utiliza mientras elabora una respuesta a un problema antes de producir la respuesta visible. Pueden afectar tanto al coste como al presupuesto disponible.
¿Se pueden comparar directamente los precios por token entre proveedores?
Solo con cautela. Los recuentos de tokens varían según el tokenizador, el comportamiento del proveedor y el diseño del flujo de trabajo, por lo que el precio más bajo anunciado por millón de tokens no siempre es el flujo de trabajo más económico en la práctica.
Fuentes
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing (arXiv). Secondary, academic. Supports the explanation that modern tokenizers often use language independent subword pieces rather than full words.