עבודה בכמות? נתבו לדרגה הזולה

טעות עלות נפוצה: להריץ את מודל הדגל על משימות שלא זקוקות לו. אם אתם מסווגים מאה פריטים, ממירים פורמט או מחלצים שדות מטקסט — אתם משלמים על חוכמה שלא משתמשים בה.

הכלל: עבודה מכנית בנפח הולכת לדרגת המודל הזולה; מודל הדגל שמור למשימות שבאמת דורשות שיקול דעת עמוק.

למה זה חשוב

לכל משפחת מודלים יש דרגה זולה ומהירה — הייקו 5.5 אצל קלוד, ובעולם המתחרה דרגות כמו לונה של GPT-6. בהייקו 5.5 יש תנאי אחד: המחיר הנמוך חל על בקשות של עד 100 אלף טוקנים, ומעל הסף הוא קופץ פי חמישה. לנפח של פריטים קצרים זה בדיוק המקום. הפער במחיר לטוקן בין הדרגה הזולה למודל הדגל הוא פי כמה, ועל נפח גדול זה מצטבר לכסף אמיתי. משימה מכנית — “סווג כל שורה לאחת משלוש קטגוריות” — לא נעשית טובה יותר על מודל דגל; היא רק יקרה יותר.

איך עושים את זה בפועל

• בקלוד קוד: מחליפים מודל עם ‎/model‎ לפני ריצה בנפח, או מריצים סוכן משנה על מודל זול שאוסף את העבודה המכנית במקביל — ההרחבה בטיפ על סוכן משנה זול
• הכלל ההפוך תקף גם הוא: אם המשימה דורשת דיוק ולא נפח, אל תרדו בדרגה רק כדי לחסוך — שם היקר משתלם

זה כפתור העלות הראשון. הכפתור השני, המשלים, הוא רמת המאמץ: לפעמים הפתרון אינו מודל אחר אלא מאמץ נמוך יותר על אותו מודל — להעלות מאמץ, לא להחליף מודל מסביר מתי כל אחד. התמונה המלאה של בחירת המודל: אופוס 5.5 או פייבל 5.1.