כלי חינמי · רץ בדפדפן שלכם
חלוקת טקסט ל־RAG
חלקו מסמך למקטעים עבור RAG, בגודל ובחפיפה שתבחרו, וצפו בכל מקטע.
תשובה קצרה
ב־RAG מחלקים מסמכים למקטעים שהופכים ל־embeddings ונשמרים לחיפוש וקטורי. מקטעים של 200 עד 800 טוקנים עם 10 עד 20% חפיפה הם נקודת התחלה נפוצה. הכלי מחלק לפי פסקאות ומשפטים כדי לא לחתוך רעיון באמצע, וחוזר על סוף כל מקטע בתחילת הבא כחפיפה.
איך משתמשים
- הדביקו את המסמך. טקסט רגיל או Markdown.
- קבעו גודל מקטע וחפיפה. בטוקנים משוערים (כ־4 תווים לטוקן).
- בדקו והעתיקו. צפו בכל מקטע ובגודלו, ואז העתיקו את כולם כ־JSON.
שאלות נפוצות
מה גודל המקטע הטוב ביותר ל־RAG?
אין גודל אחד נכון. 200 עד 800 טוקנים הם התחלה נפוצה; מקטעים קטנים נותנים התאמות מדויקות, גדולים שומרים יותר הקשר. בדקו על השאלות שלכם.
למה צריך חפיפה בין מקטעים?
כדי שמשפט או רעיון בקצה של מקטע יופיעו גם בבא, ולא ילכו לאיבוד כששולפים רק אחד מהם.
מקטעים צריכים ללכת לפי פסקאות?
כן, כשאפשר. חלוקה לפי פסקאות ומשפטים שומרת כל מקטע קריא ובעל משמעות.
תמיד צריך RAG?
לא. אם המסמכים נכנסים לחלון הקונטקסט של המודל, שליחה ישירה עם קאש פשוטה יותר ולעיתים מדויקת יותר.
המסמך שלי מועלה?
לא. החלוקה רצה בדפדפן שלכם.
מה זה RAG?
Retrieval-augmented generation: לכל שאלה מוצאים את הקטעים הרלוונטיים ביותר במסמכים שלכם ונותנים אותם למודל, כך שהתשובה מבוססת על הנתונים שלכם.
מה זה embeddings?
רשימות של מספרים שמייצגות את המשמעות של טקסט. טקסטים דומים מקבלים מספרים דומים, וכך חיפוש וקטורי מוצא את המקטעים הרלוונטיים.
כדאי להוסיף כותרות או מטא־דאטה לכל מקטע?
כן. הוספת שם המסמך, כותרת הסעיף או המקור לכל מקטע משפרת את השליפה ומאפשרת לתשובות לציין מאיפה הן הגיעו.
כמה מקטעים לשלוף לכל שאלה?
לרוב 3 עד 10: מספיק כדי לכסות את התשובה בלי למלא את הפרומפט בטקסט לא קשור. בדקו על שאלות אמיתיות.
גודל המקטע משפיע על העלות?
כן. מקטעים גדולים יותר ושליפה של יותר מקטעים פירושם יותר טוקני קלט בכל שאלה.