الرمز (Token)
الرمز هو وحدة من النص أو أي مدخلات أخرى يعالجها نموذج الذكاء الاصطناعي، مثل جزء من كلمة، أو كلمة كاملة، أو علامة ترقيم، أو أي عنصر مشفر آخر.
التعريف
الرمز هو وحدة من النص أو أي مدخلات أخرى يعالجها نموذج الذكاء الاصطناعي، مثل جزء من كلمة، أو كلمة كاملة، أو علامة ترقيم، أو أي عنصر مشفر آخر.
الرمز هو وحدة من النص أو أي مدخلات أخرى يعالجها نموذج الذكاء الاصطناعي، مثل جزء من كلمة، أو كلمة كاملة، أو علامة ترقيم، أو أي عنصر مشفر آخر. هذا المفهوم شائع عند التعلم عن الذكاء الاصطناعي الحديث أو العمل به. قد يختلف تنفيذه وسلوكه الدقيق بين النماذج والمنصات وحالات الاستخدام، لذا يجب فهمه في سياق النظام الذي يُستخدم فيه.
لماذا هو مهم
تؤثر أعداد الرموز على حدود السياق، وحجم مدخلات النموذج، وطول المخرجات، والأداء، وغالباً ما تؤثر على تكاليف استخدام واجهة برمجة التطبيقات (API).
مثال واقعي
يتم تحويل مستند طويل إلى سلسلة من الرموز قبل أن يقوم نموذج اللغة بمعالجته.
أمثلة
- يتم تحويل مستند طويل إلى سلسلة من الرموز قبل أن يقوم نموذج اللغة بمعالجته.
أخطاء شائعة
- اعتبار الرمز (Token) قابلاً للتبديل مع كل مفهوم ذكاء اصطناعي ذي صلة.
- تجاهل القيود والسياق الذي يُستخدم فيه الرمز.
- الاعتماد على التفسيرات التي يولدها الذكاء الاصطناعي دون التحقق من الادعاءات التقنية أو الواقعية المهمة.
الأسئلة الشائعة
ما هو الرمز (Token)؟
الرمز هو وحدة من النص أو أي مدخلات أخرى يعالجها نموذج الذكاء الاصطناعي، مثل جزء من كلمة، أو كلمة كاملة، أو علامة ترقيم، أو أي عنصر مشفر آخر.
لماذا يعد الرمز مهماً؟
يعد الرمز مهماً لأنه يساعد في شرح كيفية عمل أنظمة الذكاء الاصطناعي الحديثة أو التطبيقات أو سير العمل، وكيفية استخدامها بفعالية.
هل يقتصر الرمز على المطورين فقط؟
لا. يختلف العمق التقني المطلوب، ولكن فهم الرمز يمكن أن يكون مفيداً أيضاً لمستخدمي الذكاء الاصطناعي، والباحثين، والمبدعين، والمسوقين، وغيرهم من المهنيين الذين يعملون مع الذكاء الاصطناعي.
دورات ذات صلة
ChatGPT Prompt Engineering for Developers
دورة "هندسة الأوامر باستخدام ChatGPT للمطورين" هي دورة قصيرة ومناسبة للمبتدئين، أنشأتها DeepLearning.AI بالتعاون مع OpenAI. يقدمها كل من عيسى فولفورد وأندرو إن جي، وتستعرض تقنيات هندسة الأوامر العملية لتطوير التطبيقات، وتوضح كيفية استخدام النماذج اللغوية الكبيرة في التلخيص، والاستنتاج، وتحويل النصوص، والتوسيع، وتطوير روبوتات الدردشة. تتضمن الدورة أمثلة تفاعلية وتدريباً عملياً باستخدام واجهة برمجة تطبيقات OpenAI.
Generative AI for Everyone
دورة "الذكاء الاصطناعي التوليدي للجميع" هي دورة للمستوى المبتدئ من DeepLearning.AI يقدمها أندرو إن جي. تشرح الدورة كيفية عمل الذكاء الاصطناعي التوليدي، وما يمكن للأنظمة الحالية القيام به وما لا يمكنها القيام به، وكيف يمكن تطبيق هذه التكنولوجيا في العمل والحياة اليومية. يتم تعريف المتعلمين بالأوامر، ودورات حياة مشاريع الذكاء الاصطناعي التوليدي، والنماذج اللغوية الكبيرة، والتوليد المعزز بالاسترجاع (RAG)، والضبط الدقيق، واختيار النماذج، واستخدام الأدوات، ووكلاء الذكاء الاصطناعي، وفرص الأتمتة، والذكاء الاصطناعي المسؤول.
مسارات تعلم ذات صلة
مسار تعلم مطور الذكاء الاصطناعي
مسار تعلم منظم لمطوري الذكاء الاصطناعي الطموحين الذين يرغبون في فهم أنظمة الذكاء الاصطناعي الحديثة وبناء تطبيقات مفيدة مدعومة بالذكاء الاصطناعي. يجمع المسار بين المفاهيم الأساسية، وأدوات الذكاء الاصطناعي العملية، وسير عمل البرمجة، والمشاريع الموجهة، ومعالم التطوير.
مسار تعلم هندسة الأوامر (Prompt Engineering)
مسار تعلم عملي لتطوير مهارات هندسة الأوامر عبر مساعدي الذكاء الاصطناعي الحديثين وسير العمل. يغطي المسار هيكل الأمر، وتصميم السياق، ومقارنة النماذج، وقيود المخرجات، والتقييم، وسير عمل البحث، والتكرار، والمشاريع العملية.
مصطلحات ذات صلة
الاستدلال (Inference)
الاستدلال هو عملية استخدام نموذج ذكاء اصطناعي أو تعلم آلي مدرب لإنتاج مخرجات من بيانات إدخال جديدة.
النموذج اللغوي الكبير (LLM)
النموذج اللغوي الكبير هو نموذج ذكاء اصطناعي تم تدريبه على كميات كبيرة من النصوص والبيانات الأخرى لفهم اللغة وتوليدها من خلال التنبؤ بسلاسل الرموز (tokens) وإنتاجها.
نافذة السياق
نافذة السياق هي مقدار المعلومات التي يمكن لنموذج الذكاء الاصطناعي أخذها في الاعتبار ضمن تفاعل واحد أو جلسة معالجة واحدة، وعادة ما تُقاس بالرموز (tokens).