כלי חינמי · רץ בדפדפן שלכם
ספירת טוקנים ל־LLM
הדביקו טקסט כדי להעריך כמה טוקנים יש בו, לראות מילים ותווים ולבדוק איזה חלק מחלון הקונטקסט של מודל הוא תופס.
הערכה בלבד: הספירה האמיתית משתנה בין מודלים (לרוב ב־10 עד 35%). לספירה מדויקת השתמשו ב־API לספירת טוקנים של הספק.
תשובה קצרה
מודלי AI קוראים טקסט כטוקנים: חלקי מילים. באנגלית טוקן הוא בערך 4 תווים או שלושה רבעים של מילה; קוד, מספרים ושפות אחרות, כולל עברית, תופסים בדרך כלל יותר. לכל משפחת מודלים יש tokenizer משלה, ולכן הכלי נותן הערכה. לספירה מדויקת השתמשו ב־API לספירת טוקנים של הספק, כמו count_tokens של Anthropic.
איך משתמשים
- הדביקו את הטקסט. פרומפט, מסמך או שיחה.
- קראו את ההערכה. תקבלו טוקנים משוערים, מילים, תווים ושורות.
- בדקו את חלון הקונטקסט. ראו איזה חלק מקונטקסט של 200K או 1M טוקנים הטקסט תופס.
שאלות נפוצות
כמה טוקנים יש במילה?
באנגלית בערך 1.3 טוקנים למילה בממוצע, או כ־4 תווים לטוקן. בעברית, בשפות אחרות ובקוד יש יותר.
למה מודלים שונים נותנים ספירות שונות?
לכל משפחת מודלים יש tokenizer משלה שמחלק את הטקסט אחרת. אותו טקסט יכול להשתנות ב־10 עד 35% בין מודלים.
איך סופרים טוקנים במדויק?
בעזרת ה־tokenizer או ה־API לספירת טוקנים של הספק; ל־Claude יש ב־Messages API נקודת קצה count_tokens.
מה זה חלון קונטקסט?
המספר המרבי של טוקנים שמודל יכול לקרוא בבקשה אחת, כולל הפרומפט, השיחה והתשובה.
הטקסט שלי מועלה?
לא. ההערכה מחושבת בדפדפן שלכם.
רווחים וסימני פיסוק נספרים כטוקנים?
כן. הם חלק מהטקסט שה־tokenizer מחלק, ולרוב הם מוצמדים למילה שאחריהם.
למה טקסט בעברית או בסינית תופס יותר טוקנים?
tokenizers מאומנים בעיקר על טקסט באנגלית, ולכן כתבים אחרים מתחלקים לחלקים קטנים יותר ותופסים יותר טוקנים לאותה משמעות.
תמונות נספרות כטוקנים?
כן. מודלים שקוראים תמונות הופכים גם אותן לטוקנים, לפי גודל התמונה. הכלי הזה מעריך רק טקסט.
טוקני הפלט נספרים בחלון הקונטקסט?
כן. הפרומפט, השיחה והתשובה של המודל, כולל החשיבה, צריכים כולם להיכנס לחלון הקונטקסט.
איך מקטינים את מספר הטוקנים בפרומפט?
הסירו חזרות ודוגמאות מיותרות, שלחו רק את החלקים הרלוונטיים של מסמכים, והשתמשו בקאש לטקסט ארוך שחוזר.