Tokens

Unidades básicas de texto que usan los modelos de lenguaje para procesar información. Los costes de API y los límites de context window se miden en tokens.

Qué es

Un token es la unidad mínima de texto que procesa un modelo de lenguaje. No son exactamente palabras ni caracteres — son fragmentos de texto de tamaño variable que el modelo ha aprendido a reconocer como unidades durante el entrenamiento.

Por qué importa

Los costes de uso de APIs de LLMs se calculan por tokens procesados (input + output). Los límites de context window se expresan en tokens. Estimar el número de tokens que consumirá tu aplicación es fundamental para diseñar sistemas eficientes y predecibles en costes.

Reglas prácticas de estimación

En inglés: 1 token ≈ 0.75 palabras (~1.3 tokens por palabra)
En español: 1 token ≈ 0.6 palabras (~1.7 tokens por palabra)
1 párrafo corto ≈ 50-100 tokens
1 página de texto ≈ 500-700 tokens
1 libro completo ≈ 100,000-200,000 tokens

Tokenización

Los modelos dividen el texto en tokens usando un vocabulario predefinido. Palabras comunes son un token. Palabras raras o en otros idiomas pueden ser varios tokens. Por eso el español consume más tokens que el inglés para el mismo contenido.

Ejemplo: "Context Engineering" → ["Context", " Engineering"] = 2 tokens

Herramientas para contar tokens

OpenAI Tokenizer (web oficial)
tiktoken (librería Python de OpenAI)
Anthropic Claude también expone conteo de tokens en sus APIs

Implicaciones para el diseño

En sistemas RAG o agentes con contextos largos, el control de tokens es crítico. Cada mensaje, documento, resultado de herramienta y respuesta anterior consume tokens. Un sistema mal diseñado puede superar la context window en conversaciones largas o ser innecesariamente caro.