Token
Un token es una unidad de texto u otra entrada que procesa un modelo de IA, como parte de una palabra, una palabra completa, signos de puntuación u otro elemento codificado.
Definición
Un token es una unidad de texto u otra entrada que procesa un modelo de IA, como parte de una palabra, una palabra completa, signos de puntuación u otro elemento codificado.
Un token es una unidad de texto u otra entrada que procesa un modelo de IA, como parte de una palabra, una palabra completa, signos de puntuación u otro elemento codificado. Este concepto se encuentra comúnmente al aprender o trabajar con inteligencia artificial moderna. Su implementación y comportamiento exactos pueden variar entre modelos, plataformas y casos de uso, por lo que debe entenderse en el contexto del sistema en el que se utiliza.
Por qué es importante
El conteo de tokens afecta los límites de contexto, el tamaño de entrada del modelo, la longitud de salida, el rendimiento y, a menudo, los costos de uso de la API.
Ejemplo real
Un documento largo se convierte en una secuencia de tokens antes de que un modelo de lenguaje lo procese.
Ejemplos
- Un documento largo se convierte en una secuencia de tokens antes de que un modelo de lenguaje lo procese.
Errores frecuentes
- Tratar el término Token como intercambiable con cualquier concepto relacionado de IA
- Ignorar las limitaciones y el contexto en el que se utiliza el Token
- Confiar en explicaciones generadas por IA sin verificar afirmaciones técnicas o fácticas importantes
Preguntas frecuentes
¿Qué es un Token?
Un token es una unidad de texto u otra entrada que procesa un modelo de IA, como parte de una palabra, una palabra completa, signos de puntuación u otro elemento codificado.
¿Por qué es importante el Token?
El Token es importante porque ayuda a explicar cómo funcionan los sistemas, aplicaciones o flujos de trabajo de IA modernos y cómo deben utilizarse de manera efectiva.
¿El Token solo es relevante para los desarrolladores?
No. La profundidad técnica requerida varía, pero entender el concepto de Token también puede ser útil para usuarios de IA, investigadores, creadores, especialistas en marketing y otros profesionales que trabajan con IA.
Cursos relacionados
ChatGPT Prompt Engineering for Developers
ChatGPT Prompt Engineering for Developers es un curso corto para principiantes creado por DeepLearning.AI en colaboración con OpenAI. Impartido por Isa Fulford y Andrew Ng, introduce técnicas prácticas de ingeniería de prompts para el desarrollo de aplicaciones y demuestra cómo se pueden utilizar los modelos de lenguaje grandes para resúmenes, inferencia, transformación de texto, expansión y desarrollo de chatbots. El curso incluye ejemplos interactivos y práctica práctica con la API de OpenAI.
Generative AI for Everyone
Generative AI for Everyone es un curso de nivel principiante de DeepLearning.AI impartido por Andrew Ng. Explica cómo funciona la IA generativa, qué pueden y no pueden hacer los sistemas actuales, y cómo se puede aplicar la tecnología en el trabajo diario y en los negocios. Los estudiantes son introducidos a la creación de prompts, ciclos de vida de proyectos de IA generativa, modelos de lenguaje grandes, generación aumentada por recuperación (RAG), ajuste fino (fine-tuning), selección de modelos, uso de herramientas, agentes de IA, oportunidades de automatización e IA responsable.
Rutas de aprendizaje relacionadas
Ruta de aprendizaje de Ingeniero de Prompts
Una ruta de aprendizaje práctica para desarrollar habilidades de ingeniería de prompts en asistentes y flujos de trabajo de IA modernos. La ruta cubre la estructura de los prompts, el diseño de contexto, la comparación de modelos, las restricciones de salida, la evaluación, los flujos de trabajo de investigación, la iteración y proyectos prácticos.
Ruta de aprendizaje para desarrolladores de IA
Una ruta de aprendizaje estructurada para aspirantes a desarrolladores de IA que desean comprender los sistemas de IA modernos y construir aplicaciones útiles impulsadas por IA. La ruta combina conceptos fundamentales, herramientas de IA prácticas, flujos de trabajo de codificación, proyectos guiados e hitos de desarrollo.
Términos relacionados
Inferencia
La inferencia es el proceso de utilizar un modelo de IA o aprendizaje automático entrenado para generar una salida a partir de nuevos datos de entrada.
Modelo de lenguaje grande (LLM)
Un modelo de lenguaje grande es un modelo de IA entrenado con grandes cantidades de texto y otros datos para comprender y generar lenguaje mediante la predicción y producción de secuencias de tokens.
Ventana de contexto
Una ventana de contexto es la cantidad de información que un modelo de IA puede considerar dentro de una sola interacción o sesión de procesamiento, medida típicamente en tokens.