# ספירת טוקנים ל־LLM

URL: https://shahid09.is-a.dev/he/tools/llm-token-counter/
Author: Muhammad Shahid (https://shahid09.is-a.dev/)
כלי חינמי · רץ בדפדפן שלכם

הדביקו טקסט כדי להעריך כמה טוקנים יש בו, לראות מילים ותווים ולבדוק איזה חלק מחלון הקונטקסט של מודל הוא תופס.

**תשובה קצרה:** מודלי AI קוראים טקסט כטוקנים: חלקי מילים. באנגלית טוקן הוא בערך 4 תווים או שלושה רבעים של מילה; קוד, מספרים ושפות אחרות, כולל עברית, תופסים בדרך כלל יותר. לכל משפחת מודלים יש tokenizer משלה, ולכן הכלי נותן הערכה. לספירה מדויקת השתמשו ב־API לספירת טוקנים של הספק, כמו count_tokens של Anthropic.

## איך משתמשים

1. **הדביקו את הטקסט.** פרומפט, מסמך או שיחה.
2. **קראו את ההערכה.** תקבלו טוקנים משוערים, מילים, תווים ושורות.
3. **בדקו את חלון הקונטקסט.** ראו איזה חלק מקונטקסט של 200K או 1M טוקנים הטקסט תופס.

## שאלות נפוצות

### כמה טוקנים יש במילה?

באנגלית בערך 1.3 טוקנים למילה בממוצע, או כ־4 תווים לטוקן. בעברית, בשפות אחרות ובקוד יש יותר.

### למה מודלים שונים נותנים ספירות שונות?

לכל משפחת מודלים יש tokenizer משלה שמחלק את הטקסט אחרת. אותו טקסט יכול להשתנות ב־10 עד 35% בין מודלים.

### איך סופרים טוקנים במדויק?

בעזרת ה־tokenizer או ה־API לספירת טוקנים של הספק; ל־Claude יש ב־Messages API נקודת קצה count_tokens.

### מה זה חלון קונטקסט?

המספר המרבי של טוקנים שמודל יכול לקרוא בבקשה אחת, כולל הפרומפט, השיחה והתשובה.

### הטקסט שלי מועלה?

לא. ההערכה מחושבת בדפדפן שלכם.

### רווחים וסימני פיסוק נספרים כטוקנים?

כן. הם חלק מהטקסט שה־tokenizer מחלק, ולרוב הם מוצמדים למילה שאחריהם.

### למה טקסט בעברית או בסינית תופס יותר טוקנים?

tokenizers מאומנים בעיקר על טקסט באנגלית, ולכן כתבים אחרים מתחלקים לחלקים קטנים יותר ותופסים יותר טוקנים לאותה משמעות.

### תמונות נספרות כטוקנים?

כן. מודלים שקוראים תמונות הופכים גם אותן לטוקנים, לפי גודל התמונה. הכלי הזה מעריך רק טקסט.

### טוקני הפלט נספרים בחלון הקונטקסט?

כן. הפרומפט, השיחה והתשובה של המודל, כולל החשיבה, צריכים כולם להיכנס לחלון הקונטקסט.

### איך מקטינים את מספר הטוקנים בפרומפט?

הסירו חזרות ודוגמאות מיותרות, שלחו רק את החלקים הרלוונטיים של מסמכים, והשתמשו בקאש לטקסט ארוך שחוזר.

## קשור

- [מחשבון עלויות API של AI](https://shahid09.is-a.dev/he/tools/ai-api-cost-calculator/)
- [חלוקת טקסט ל־RAG](https://shahid09.is-a.dev/he/tools/rag-text-chunker/)
- [מחולל פרומפטים ל־AI](https://shahid09.is-a.dev/he/tools/ai-prompt-generator/)