MS

Herramienta gratis · funciona en tu navegador

Contador de tokens para LLM

Pega un texto para estimar sus tokens, ver palabras y caracteres y comprobar qué parte de la ventana de contexto de un modelo usaría.

Tokens estimados0
Palabras0
Caracteres0
Líneas0
Parte de un contexto de 200K0.00%
Parte de un contexto de 1M0.00%

Es una estimación: el recuento real varía según el modelo (a menudo entre un 10 y un 35%). Para un recuento exacto, usa la API de conteo de tokens del proveedor.

Respuesta rápida

Los modelos de IA leen el texto en tokens: fragmentos de palabras. En inglés, un token equivale a unos 4 caracteres o tres cuartos de palabra; el código, los números y otros idiomas, como el español, suelen usar más. Cada familia de modelos tiene su propio tokenizador, así que esta herramienta da una estimación. Para cifras exactas, usa la API de conteo de tokens del proveedor, como el endpoint count_tokens de Anthropic.

Cómo usarla

  1. Pega tu texto. Un prompt, un documento o una conversación.
  2. Lee la estimación. Obtienes tokens estimados, palabras, caracteres y líneas.
  3. Revisa la ventana de contexto. Mira qué parte de un contexto de 200K o 1M de tokens ocuparía el texto.

Preguntas frecuentes

¿Cuántos tokens tiene una palabra?

En inglés, unos 1,3 tokens por palabra de media, o unos 4 caracteres por token. En español, otros idiomas y código suelen ser más.

¿Por qué cada modelo da un recuento distinto?

Cada familia de modelos usa su propio tokenizador, que divide el texto de forma diferente. El mismo texto puede variar entre un 10 y un 35% de un modelo a otro.

¿Cómo cuento los tokens con exactitud?

Con el tokenizador o la API de conteo de tokens del proveedor; en Claude, la Messages API tiene un endpoint count_tokens.

¿Qué es una ventana de contexto?

El máximo de tokens que un modelo puede leer en una petición, incluidos tu prompt, la conversación y su respuesta.

¿Se sube mi texto?

No. La estimación se calcula en tu navegador.

¿Los espacios y la puntuación cuentan como tokens?

Sí. Forman parte del texto que divide el tokenizador y suelen ir unidos a la palabra siguiente.

¿Por qué un texto en chino o hebreo usa más tokens?

Los tokenizadores se entrenan sobre todo con texto en inglés, así que otras escrituras se dividen en trozos más pequeños y usan más tokens para decir lo mismo.

¿Las imágenes cuentan como tokens?

Sí. Los modelos que leen imágenes también las convierten en tokens, según su tamaño. Este contador solo estima texto.

¿Los tokens de salida cuentan en la ventana de contexto?

Sí. El prompt, la conversación y la respuesta del modelo, incluido su razonamiento, deben caber en la ventana de contexto.

¿Cómo reduzco los tokens de un prompt?

Elimina repeticiones y ejemplos innecesarios, envía solo las partes relevantes de los documentos y usa la caché de prompts para textos largos que se repiten.

Relacionado