שוק האינפרנס (AI Inference): מדריך ומפת הזדמנויות ליזם ישראלי, ספטמבר 2026

תמונת מצב: 6 בספטמבר 2026.

המדריך הזה נכתב עבור מייסד או מנהל שלא מגיע מעולם התשתיות ורוצה שלושה דברים: להבין איך שוק האינפרנס באמת עובד, לבחור זווית כניסה, ולהגיע לפיילוט ראשון. הוא מכסה אינפרנס למודלי שפה, קול, תמונה, וידאו ומודלים קלאסיים, בענן, במרכזי נתונים ובמכשירי קצה.

כלל אחד שמחזיק לאורך כל הדרך: מספר שמגיע מספק מסומן כטענת ספק. מבחן ביצועים שיווקי של חברה אינו ראיה עצמאית.

השורה התחתונה. אינפרנס (Inference) הוא שלב ההפעלה החוזרת של מודל מאומן. זה המקום שבו מוצר בינה מלאכותית פוגש משתמש אמיתי, הסכם רמת שירות וחשבון ענן. השוק גדול וצומח, אבל שכבות החומרה וההגשה הגנריות כבר מאוכלסות על ידי ענקיות וחברות עתירות הון. ליזם לא טכנולוגי עדיף לא לבנות שבב, ענן מעבדים או עוד מנוע אינפרנס. הכניסה המומלצת היא שכבת אבטחת איכות לאינפרנס בענף אחד: מדידה, ניתוב, בקרת איכות, פרטיות ועלות, עבור מקרה שימוש שבו זמן תגובה וכשל עולים כסף. הזווית הישראלית החזקה ביותר: סוכני קול בעברית וערבית בשווקים מפוקחים. תחילה כשירות, בהמשך כתוכנה.

1. תקציר מנהלים

מה זה אינפרנס

אם אימון (Training) הוא לימוד של תלמיד על מיליארדי דוגמאות, אינפרנס הוא הרגע שבו התלמיד שכבר למד מקבל שאלה ומייצר תשובה.

במודל שפה גדול, המודל מקבל טוקנים (חתיכות טקסט), מפעיל שוב ושוב את המשקולות שנלמדו, ומנבא את הטוקן הבא. אין כאן למידה מחדש בכל שאלה. בדרך כלל המשקולות נשארות קבועות.

למה זו קטגוריה עסקית חשובה

1. אימון הוא פרויקט. אינפרנס הוא הוצאה תפעולית חוזרת. מודל מאומן פעם אחת ונקרא מיליארדי פעמים. סעיף התקציב שגדל יחד עם ההצלחה שלכם הוא האינפרנס.
2. סוכנים ומודלי חשיבה מגדילים את העבודה לכל משימה. בקשה עסקית אחת עשויה להפעיל כמה מודלים, חיפושים, כלים וניסיונות חוזרים.
3. הלקוח מודד מוצר, לא כוח חישוב. מה שמעניין אותו הוא זמן תגובה, איכות, זמינות, פרטיות ועלות לפעולה מוצלחת.
4. המחיר ליחידת יכולת יורד מהר, אבל הצריכה גדלה מהר יותר. מדד הבינה המלאכותית של סטנפורד לשנת 2025 מצא ירידה של יותר מפי 280 בעלות הרצה של מודל ברמת GPT‑3.5 בין נובמבר 2022 לאוקטובר 2024. במקביל, מודלים חזקים יותר ולולאות של סוכנים צורכים הרבה יותר אינפרנס לכל משימה [מקור 1].
5. חשמל וזמינות תשתית הופכים לצוואר בקבוק. סוכנות האנרגיה הבינלאומית העריכה שמרכזי נתונים צרכו כ415 טרה־וואט־שעה ב2024, ושבתרחיש הבסיס יגיעו לכ945 ב2030. צריכת שרתים מואצים צפויה לצמוח בכ30 אחוז בשנה [מקור 2].

איפה נוצר הערך

• חומרה ומערכות: ביצועים לוואט, זיכרון מהיר (HBM), קישוריות, קירור וזמינות.
• מנועי הגשה (Serving): קיבוץ בקשות, ניהול מטמון, קוונטיזציה, פענוח ספקולטיבי והפרדה בין שלבי העיבוד.
• ענני אינפרנס: מכירת טוקנים דרך ממשק תכנות, או קיבולת ייעודית עם הסכם רמת שירות.
• שכבת השליטה: ניתוב בין מודלים וספקים, ניטור, אבטחה, ממשל וניהול עלויות.
• שכבות ענפיות: הבטחת תוצאה עסקית בענף או בתהליך עבודה מסוים.

ככל שיורדים ברשימה, צריך פחות הון וידע בתחום שווה יותר. זו כל התזה של המדריך.

ההמלצה המעשית

לבנות מוצר התחלתי לבקרת אינפרנס עבור סוכני קול בעברית וערבית במוקדי שירות, בריאות פרטית, ביטוח, פיננסים או לוגיסטיקה:

• מדידת זמן תגובה מקצה לקצה, שיעור קטיעות, השלמת משימה וטעויות קריטיות.
• בדיקות רגרסיה אוטומטיות על מבטאים, רעש, שמות ומונחים מקומיים.
• ניתוב בין מודלים וספקים לפי איכות, מחיר, זמינות ומדיניות נתונים.
• השחרת מידע אישי, יומן ביקורת והעברה מסודרת לנציג אנושי.
• תמחור לפי “שיחה שנבדקה” או “פעולה מוצלחת”, לא לפי שעות מעבד.

ככה מתחילים בלי לבנות תשתית עמוקה, מגיעים להכנסות משירות תוך 60 עד 90 יום, ואוספים נתונים שמייצרים חפיר תחרותי.

2. אינפרנס לעומת אימון, בלי ז’רגון מיותר

נושא	אימון	אינפרנס
מטרה	ללמוד משקולות מתוך נתונים	להשתמש במשקולות כדי להפיק תחזית או תוכן
תדירות	מחזורי אימון גדולים, יחסית נדירים	כל בקשת משתמש, לעיתים מיליארדי פעמים
אופי העומס	תפוקה גבוהה ומתוכננת מראש	תעבורה משתנה, לעיתים בזמן אמת
סובלנות לזמן	שעות עד חודשים	מילישניות עד שניות. עיבוד קבוצתי יכול להמתין
מדד מרכזי	זמן ועלות להשלמת אימון, איכות המודל	זמן תגובה, תפוקה, איכות, זמינות ועלות לתוצאה
ניהול משאבים	אשכול שרתים גדול ורציף	התרחבות אוטומטית, תורים, קיבוץ בקשות, מטמון והסכמי שירות
כשל טיפוסי	ריצת אימון נופלת או לא מתכנסת	משתמש ממתין, תשובה שגויה, פסק זמן או חשבון חריג

כוונון עדין אינו אינפרנס

כוונון עדין (Fine-tuning) משנה את משקולות המודל ולכן הוא אימון נוסף, גם אם קטן. לעומת זאת:

• שליפת מידע לפרומפט (RAG) מוסיפה מידע לפרומפט בזמן האינפרנס ואינה משנה משקולות.
• הנדסת פרומפטים משנה הוראות והקשר בלבד.
• מטמון פרומפטים (Prompt caching) שומר עבודה חישובית קודמת לשימוש חוזר.
• קוונטיזציה (Quantization) ממירה בדרך כלל משקולות לדיוק נמוך יותר כדי לחסוך זיכרון וחישוב. לעיתים נדרש כיול או כוונון קטן.

שני שלבים חשובים באינפרנס של מודל שפה

1. מילוי מקדים (Prefill): עיבוד כל הקלט ובניית מטמון הביניים (KV cache). לרוב מוגבל בכוח חישוב, ומשפיע על הזמן עד הטוקן הראשון.
2. פענוח (Decode): יצירת טוקן אחד בכל צעד. לרוב מוגבל ברוחב פס לזיכרון, ומשפיע על הזמן בין טוקנים ועל מספר הטוקנים לשנייה.

ההבדל הזה מסביר למה מערכות מתקדמות מפרידות בין שני השלבים. המסגרת Dynamo של NVIDIA, שהוכרזה בכנס GTC 2025, כוללת הפרדה בין מילוי מקדים לפענוח, ניתוב שמודע למטמון, תכנון משאבים והעברת מטמון לזיכרון ואחסון זולים יותר [מקור 3]. המספר “עד פי 30” שהחברה מציגה הוא מבחן ביצועים של הספק בתצורה מסוימת, לא הבטחה כללית.

למה מודלי חשיבה וסוכנים משנים את הכלכלה

מודל חשיבה (Reasoning) עשוי לייצר הרבה “טוקני חשיבה” לפני התשובה. סוכן עשוי לקרוא למודל שוב ושוב, להשתמש בכלים, להיכשל ולנסות מחדש. לכן יחידת המדידה הנכונה היא לא רק “מחיר למיליון טוקנים”, אלא:

• עלות לפעולה עסקית מוצלחת.
• זמן עד השלמת המשימה.
• אחוז המשימות שדורשות אדם.
• שיעור הניסיונות החוזרים.
• עלות של כשל, הזיה או נטישה.

3. עשר השכבות של האינפרנס: מפעל טוקנים

אפשר לחשוב על כל המערכת כעל מפעל טוקנים בן עשר קומות. בעיה בכל קומה מגיעה ללקוח כתשובה איטית, יקרה או לא נכונה.

שכבה 1: המודל והארכיטקטורה

• מודל צפוף מול תערובת מומחים (MoE).
• מספר פרמטרים פעילים, חלון הקשר, ומודל טקסט, קול, תמונה או וידאו.
• ממשק סגור מול משקולות פתוחות.
• איכות בסיסית, רישיון, שפות ויכולת שימוש בכלים.

ההחלטה העסקית: לבחור את המודל הקטן והזול ביותר שעובר בדיקת איכות אמיתית על המשימה שלכם. לא את המודל עם הדירוג הכללי הגבוה ביותר.

שכבה 2: פורמט ואופטימיזציה של המודל

• קוונטיזציה לרמות דיוק שונות (FP8, FP4, INT8, INT4).
• גיזום וזיקוק של המודל.
• קומפילציה ומיזוג של פעולות חישוב.
• מתאמים קלים (LoRA).
• פענוח ספקולטיבי: מודל קטן מציע טוקנים ומודל גדול מאמת.

המחיר: פחות זיכרון ועלות, מול סיכון לירידת איכות. במיוחד במספרים, בשפות קטנות ובהקשרים ארוכים.

שכבה 3: חומרת החישוב

• מעבדים גרפיים: חברת NVIDIA היא השחקן המבוסס. סדרת Instinct של AMD היא חלופה משמעותית. הדגם MI350, לדוגמה, מוצג עם 288 ג’יגה־בייט זיכרון מהיר ורוחב פס של 8 טרה־בייט לשנייה [מקור 4].
• שבבים ייעודיים: ה TPU של גוגל, Inferentia של אמזון, ה LPU של Groq, השבב בגודל פרוסה של Cerebras ועוד.
• מעבדים רגילים ומכשירי קצה: מחשבים אישיים, טלפונים ומצלמות.

אינפרנס אינו “רק כוח חישוב”. בשלב הפענוח, רוחב פס לזיכרון, קיבולת הזיכרון המהיר ותנועת נתונים יכולים להיות חשובים יותר משיא כוח החישוב.

שכבה 4: זיכרון, רשת ואחסון

• הזיכרון המהיר מחזיק את המשקולות ואת מטמון הביניים.
• טכנולוגיות קישוריות (NVLink, InfiniBand, Ethernet) מחברות בין המאיצים.
• זיכרון מעבד, דיסקים ואחסון אובייקטים משמשים להעברת עומס.
• קירור וחשמל מגבילים צפיפות.

גוגל הציגה ב2025 את Ironwood, דור שביעי של TPU שמיועד במיוחד לאינפרנס, עם 192 ג’יגה־בייט זיכרון מהיר לשבב, רוחב פס של 7.37 טרה־בייט לשנייה, ותצורות של 256 או 9,216 שבבים. אלה נתוני ספק [מקור 5].

שכבה 5: סביבת הריצה ומנוע ההגשה

• המנוע vLLM: ניהול זיכרון בדפים, קיבוץ בקשות רציף וממשק תואם OpenAI [מקור 6].
• המנוע SGLang: מטמון קידומות, פענוח ספקולטיבי, הפרדת שלבים, מקבול וקוונטיזציה [מקור 7].
• הכלים של NVIDIA (TensorRT‑LLM, Triton, NIM, Dynamo): אופטימיזציה והגשה על חומרת החברה. השרת Triton תומך גם במסגרות עבודה נוספות [מקור 8].
• הספרייה llama.cpp: אינפרנס מקומי ובקצה, בשפת C++, עם קוונטיזציה ותמיכה רחבה בחומרה [מקור 9].
• סביבת ONNX Runtime: סביבת ריצה חוצת פלטפורמות למעבדים, ענן, דפדפן ומובייל [מקור 10].

זו שכבה טכנית, תחרותית ומהירה. קשה לסטארטאפ חדש לבנות חפיר תחרותי רק מ“עוד מעטפת ל vLLM”.

שכבה 6: תזמור ותזמון

• התרחבות אוטומטית והפעלות קרות.
• בקרת כניסה ותורים.
• קיבוץ בקשות דינמי ורציף.
• ניתוב שמודע למטמון וליעדי השירות.
• ריבוי דיירים ובידוד ביניהם.
• תכנון קיבולת וגיבוי אוטומטי בין אזורים וספקים.

ניצולת המעבד לבדה אינה מדד מספיק. אשכול שרתים יכול להיראות “עסוק” בזמן שהתור גדל והזמן עד הטוקן הראשון נשבר.

שכבה 7: ממשקי תכנות וענני אינפרנס

שלושה מודלים מסחריים מרכזיים:

1. ללא שרת, תשלום לפי טוקן: מהיר להתחלה, אין התחייבות, פחות שליטה.
2. נקודת קצה ייעודית ותפוקה מובטחת: קיבולת שמורה, זמן תגובה צפוי יותר, התחייבות גבוהה יותר.
3. אירוח עצמי או בשרתי הארגון: שליטה ופרטיות, אבל הצוות והניצולת הופכים לאחריות הלקוח.

השחקנים המבוססים: OpenAI, Anthropic, Google Vertex AI, AWS Bedrock ו SageMaker, Microsoft Azure AI.

המתמחים באינפרנס ובמודלים פתוחים: Together AI, Fireworks AI, Baseten, GroqCloud, Cerebras Inference, Modal, Replicate, fal, Hugging Face ואחרים.

שכבה 8: שער, ניתוב וניהול עלויות

• שכבת הפשטה אחידה מעל הספקים.
• מסלול גיבוי ומפסקי חירום.
• ניתוב לפי איכות, עלות, זמן תגובה ואזור.
• מגבלות קצב, תקציבים וחיוב פנימי.
• מטמון סמנטי ומטמון פרומפטים.
• מבחני A/B ותעבורת צל.

זו שכבה אטרקטיבית אבל צפופה. מוצר גנרי בלי נתונים ייחודיים עלול להיבלע בענן, בשער או בחבילת ניטור.

שכבה 9: הערכה, ניטור, אבטחה וממשל

• תיעוד מלא של כל קריאה לכלי וכל טוקן.
• בדיקות איכות מקוונות ולא מקוונות.
• מעקות בטיחות, השחרת מידע אישי והגנה מהזרקת פרומפטים.
• סחיפה ורגרסיה בין גרסאות מודל.
• ביקורת, שמירת נתונים, מיקום הנתונים ופיקוח אנושי.

חוק הבינה המלאכותית האירופי כבר מפעיל חובות על מודלים לשימוש כללי מאוגוסט 2025, כללי שקיפות מאוגוסט 2026, ומסגרת מבוססת סיכון שמחמירה במקרי שימוש בסיכון גבוה [מקור 11]. עבור חברה ישראלית שמוכרת לאירופה, ציות לרגולציה אינו “תוספת אחר כך”.

שכבה 10: המוצר ותהליך העבודה העסקי

כאן נקבעת התוצאה. האם התביעה סווגה נכון? האם השיחה הסתיימה בקביעת תור? האם מסמך רפואי סוכם בלי שגיאה קריטית?

זו השכבה שבה ליזם שמכיר את התחום יש יתרון על מהנדס תשתית טהור.

4. כלכלת האינפרנס

4.1 מדדים שחייבים למדוד

• זמן עד הטוקן הראשון (TTFT).
• זמן בין טוקנים (ITL).
• טוקני פלט לשנייה: מהירות ההזרמה למשתמש יחיד.
• תפוקה כוללת: טוקנים או בקשות לשנייה לכל המכונה או האשכול.
• אחוזונים 50, 95 ו99 של זמן התגובה: הממוצע מסתיר זנבות גרועים.
• תפוקה תקינה (Goodput): תפוקה שעומדת גם ביעד השירות וגם באיכות.
• ניצולת: לא רק “המעבד עסוק”. גם זיכרון, רוחב פס, אורך התור ושיעור פגיעה במטמון.
• עלות למשימה מוצלחת: המדד הניהולי המרכזי.
• זמינות, שיעור שגיאות ושיעור ניסיונות חוזרים.

ארגון MLCommons מדגיש שמבחן ביצועים תקין צריך להפריד תרחישים ומדדים, להבדיל בין מערכות זמינות לגרסאות מקדימות, ולמדוד צריכת חשמל של המערכת המלאה ולא רק של השבב [מקור 12].

4.2 נוסחאות פשוטות

דרך ממשק תכנות: העלות שווה לטוקני קלט כפול מחיר קלט, ועוד טוקני פלט כפול מחיר פלט, ועוד כלים, אחסון ורשת.

אירוח עצמי: העלות האפקטיבית למיליון טוקנים שימושיים שווה בקירוב לסכום של שעות מעבד, זיכרון, רשת, תפעול ורזרבה, חלקי מספר הטוקנים.

או, בקירוב גס: מחיר המכונה לשעה, חלקי התפוקה הכוללת בטוקנים לשנייה כפול 3,600 כפול הניצולת, כפול מיליון. זה נותן את העלות למיליון טוקני פלט.

הטעות הנפוצה היא להשתמש בתפוקת שיא ובניצולת של 100 אחוז. במוצר אמיתי יש שיאים, זמן סרק, עותקים חמים, תקלות ומרווח ביטחון להסכם השירות.

4.3 דוגמה מספרית לממשק תכנות: מחירים חיים, לא הבטחת עתיד

נכון ל6 בספטמבר 2026, חברת Anthropic מציגה למודל Claude Sonnet 5 מחיר סטנדרטי של 2 דולר למיליון טוקני קלט ו10 דולר למיליון טוקני פלט. קריאה מהמטמון עולה 0.20 דולר למיליון [מקור 13].

משימה עם 4,000 טוקני קלט ו1,000 טוקני פלט:

רכיב	חישוב	עלות
קלט	4,000 טוקנים במחיר 2 דולר למיליון	0.008 דולר
פלט	1,000 טוקנים במחיר 10 דולר למיליון	0.010 דולר
סך הכל למשימה	לפני כלים ותעבורה	0.018 דולר
מיליון משימות דומות		18,000 דולר

אם 3,200 מתוך 4,000 טוקני הקלט חוזרים ונקראים מהמטמון:

רכיב	חישוב	עלות
קלט מהמטמון	3,200 טוקנים במחיר 0.20 דולר למיליון	0.00064 דולר
קלט חדש	800 טוקנים במחיר 2 דולר למיליון	0.0016 דולר
פלט	1,000 טוקנים במחיר 10 דולר למיליון	0.010 דולר
סך הכל למשימה	חיסכון של כ32 אחוז	0.01224 דולר

ממשק העיבוד הקבוצתי של Anthropic ושל OpenAI מציע 50 אחוז הנחה לעומסים לא מיידיים. גם Bedrock של אמזון מציגה 50 אחוז הנחה לעיבוד קבוצתי במודלים נבחרים [מקורות 14, 15, 16].

הלקח: עיצוב עומס העבודה, כלומר מטמון, עיבוד קבוצתי, קיצור ההקשר, הגבלת אורך הפלט ורמת החשיבה, יכול לחסוך יותר ממשא ומתן קטן על מחיר הטוקן.

4.4 טווחי אירוח עצמי: אומדן להמחשה בלבד

הטבלה אינה הצעת מחיר מספק ואינה מבחן ביצועים. היא מראה עד כמה הניצולת משנה את הכלכלה.

תרחיש היפותטי	עלות חישוב	תפוקה כוללת	ניצולת שימושית	עלות חישוב למיליון טוקני פלט
מעבד יחיד, כיוונון בינוני	3 דולר לשעה	250 טוקנים לשנייה	55 אחוז	כ6.06 דולר
מעבד יחיד, עומס מותאם היטב	3 דולר לשעה	1,000 טוקנים לשנייה	75 אחוז	כ1.11 דולר
שמונה מעבדים למודל גדול	24 דולר לשעה	1,500 טוקנים לשנייה	70 אחוז	כ6.35 דולר

יש להוסיף בדרך כלל 20 עד 50 אחוז עבור זיכרון, אחסון ורשת, תזמור, רזרבה לזמן סרק, הנדסה ותמיכה. לעיתים יותר. מצד שני, חוזה קיבולת או חומרה יעילה יכולים להוריד את המחיר.

מסקנה: אירוח עצמי אינו אוטומטית זול. הוא מנצח כשיש נפח יציב וגבוה, מודל מתאים, צוות טוב ויכולת להשיג ניצולת. ממשק תכנות מנצח בנפח קטן או קופצני, במהירות יציאה לשוק ובגישה למודלי החזית.

4.5 נקודת האיזון הנכונה

אל תשאלו “מתי מעבד זול יותר מטוקנים?”. שאלו:

1. מהי רצפת האיכות שלנו?
2. כמה טוקני קלט, פלט, חשיבה וקריאות לכלים יש למשימה?
3. מהי התעבורה באחוזון 95, ואיזה מרווח ביטחון נדרש?
4. כמה עולה השבתה או תשובה גרועה?
5. מה עלות צוות התשתית?
6. האם צריך מיקום נתונים מסוים, בידוד או משקולות מותאמות?
7. כמה מהר המודל או החומרה מתיישנים?

כלל אצבע: להישאר בממשק תכנות עד שניתן להוכיח בחשבון אמיתי שעומס העבודה יציב, שהוצאות האינפרנס מהותיות, ושקיבולת ייעודית או אירוח עצמי יחסכו לפחות 30 עד 40 אחוז מהעלות הכוללת אחרי צוות וסיכון. חיסכון קטן יותר נעלם מהר בתקלה או במעבר.

4.6 מחירים יורדים, אבל אין קומודיטיזציה מלאה

סטנפורד מציגה ירידה היסטורית חדה בעלות להשגת רמת ביצועים קבועה [מקור 1]. במקביל, Artificial Analysis מציגה בזמן אמת פערים גדולים בין מודלים וספקים במחיר, באיכות, בזמן עד הטוקן הראשון ובמהירות הפלט [מקור 17]. המשמעות:

• “טוקן” אינו סחורה אחידה. איכות, שיטת חלוקה לטוקנים, חשיבה והסכם שירות שונים.
• המרווח בשירות אינפרנס גולמי נתון ללחץ.
• הערך עובר לביקוש קנייני, אופטימיזציה של עומס העבודה, אמינות, נתונים ורגולציה, ותוצאות.

5. מפת השחקנים והקטגוריות

זו מפה מייצגת, לא רשימה מלאה. סטטוסים ומוצרים אומתו מול מקורות חיים ביום הדוח. טענות ביצועים של חברות מסומנות כטענות ספק ואינן השוואה עצמאית.

קטגוריה	שחקנים מבוססים	סטארטאפים ומאתגרים לדוגמה	מה הם מוכרים
מעבדים גרפיים ומאיצים	NVIDIA, AMD, Intel	Groq, Cerebras, d‑Matrix, Etched	זמן תגובה, תפוקה, ביצועים לוואט
שבבים ייעודיים של ענקיות הענן	Google TPU, AWS Inferentia, AWS Trainium, Microsoft Maia		כלכלה משולבת לענן שלהן
שרתים, רשת וקירור	NVIDIA, Dell, HPE, Supermicro, Broadcom, Arista	Astera Labs	אשכול שלם ולא שבב בודד
מנועי הגשה	NVIDIA TensorRT‑LLM, Triton, Dynamo, ONNX Runtime	vLLM, SGLang, llama.cpp, KServe	ניצול חומרה, קיבוץ בקשות, מטמון, ממשקים
פלטפורמות מודלים של ענקיות הענן	AWS Bedrock, AWS SageMaker, Azure AI, Google Vertex AI		קטלוג מודלים, ממשל, רכש ארגוני
ממשקי מודלי חזית סגורים	OpenAI, Anthropic, Google, xAI		האינטליגנציה המובילה כשירות
ענני אינפרנס למודלים פתוחים		Together AI, Fireworks AI, Baseten, GroqCloud, Cerebras Inference, Anyscale	אינפרנס ללא שרת או ייעודי, וכוונון עדין
חישוב ללא שרת ומדיה	ספקי הענן	Modal, Replicate, fal	עומסים קופצניים, תמונה, וידאו, אודיו
שערים וניתוב	יכולות מובנות בעננים	Portkey, LiteLLM	ניתוב בין ספקים, מדיניות, תקציבים
הערכה וניטור	Datadog, New Relic	Arize, Phoenix, Braintrust, Langfuse, Helicone, W&B Weave	תיעוד, רגרסיה, איכות, עלות
קצה ומכשירים	Apple, Qualcomm, NVIDIA Jetson, Intel	Hailo	פרטיות, עבודה לא מקוונת, זמן תגובה נמוך
ריבונות ושרתי הארגון	ספקי ענן, יצרני חומרה, NVIDIA NIM	אינטגרטורים וסטארטאפים של תשתית	שליטה בנתונים ובתשתית

חברות שכדאי להבין

חברת NVIDIA. לא רק מעבדים גרפיים: פלטפורמת CUDA, מנועי ההגשה, המיקרו־שירותים NIM, המסגרת Dynamo, הקישוריות NVLink ומערכות ברמת הארון. היתרון הוא מערכת משולבת ואקוסיסטם. הסיכון לסטארטאפ: החברה יכולה להפוך כל יכולת תשתיתית למוצר מובנה.

חברת AMD. מתחרה באמצעות סדרת Instinct והפלטפורמה ROCm, זיכרון גדול ואקוסיסטם משתפר. ההזדמנות לחברות תוכנה: ניידות ואופטימיזציה בין שתי החברות. אבל רק אם יש עומס עבודה אמיתי, לא הבטחה תאורטית [מקור 4].

גוגל ואמזון. גוגל בונה את TPU ואת Pathways. אמזון בונה את Inferentia ואת Neuron. אמזון טוענת שהדור השני של Inferentia מספק עד פי 4 תפוקה ועד פי 10 זמן תגובה טוב יותר מהדור הקודם, ושמופעי Inf2 מספקים עד 50 אחוז ביצועים לוואט טובים יותר ממופעים מקבילים. טענות ספק שיש לאמת לכל עומס עבודה בנפרד [מקור 18].

חברת Groq. השבב LPU והענן GroqCloud מתמקדים באינפרנס בזמן אמת. בדצמבר 2025 החברה חתמה על הסכם רישוי לא בלעדי עם NVIDIA. חלק מההנהלה והצוות עבר ל NVIDIA, בעוד Groq נותרה חברה עצמאית והענן המשיך לפעול [מקור 19]. ביוני 2026 החברה הודיעה על 650 מיליון דולר הון צמיחה ועל 13 מרכזי נתונים. זהו דיווח חברה, לא נתון מבוקר [מקור 20].

חברת Cerebras. שבב בגודל פרוסת סיליקון וענן אינפרנס שמדגיש מהירות. החברה טוענת לעד פי 30 מול מערכות מעבדים גרפיים ולמחיר ביצועים מוביל. יש לבדוק במודל, בגודל הקבוצה וביעד השירות הספציפיים [מקור 21].

חברת Together AI. פלטפורמה למודלים פתוחים ומותאמים, אינפרנס, כוונון עדין ואשכולות מעבדים. ביולי 2026 החברה הודיעה על סבב C של 800 מיליון דולר ועל התחייבויות ליותר מ500 מגה־וואט קיבולת. ההודעה מפנה גם לניו יורק טיימס, אבל המספרים התפעוליים והטענות לחיסכון של פי 6 עד פי 20 הם בעיקר דיווח החברה [מקור 22].

החברות Fireworks AI, Baseten ו Modal. שלוש זוויות שונות לשוק המנוהל. הראשונה מתמקדת באינפרנס מהיר ובהתאמת מודלים. השנייה בהגשת מודלים בסביבת ייצור. השלישית בחישוב ללא שרת. המקרה של Modal מדגים למה חישוב ללא שרת יכול לנצח בעומס קופצני גם כשמחיר שעת מעבד גבוה יותר: משלמים על ממוצע שימוש נמוך, לא על קיבולת שיא [מקור 23].

ישראל: NeuReality ו Hailo

חברת NeuReality מציגה ב2026 את NR‑NEXUS כ“מערכת הפעלה לאינפרנס”, עם כרטיס רשת ומעבד ייעודיים לניהול חישוב הטרוגני, ניתוב, ניטור ומדיניות [מקור 24].

חברת Hailo מייצגת את חוזקת ישראל במאיצי בינה מלאכותית לקצה, בעיקר ראייה ממוחשבת ובינה מלאכותית יוצרת על המכשיר.

חברת Run:ai היא דוגמה היסטורית ליכולת ישראלית בתזמור מעבדים גרפיים. חברת NVIDIA הודיעה על הסכם רכישה ב2024, ובתמונת 2026 המוצר משווק כ NVIDIA Run:ai [מקור 26]. חברת Deci היא דוגמה ישראלית נוספת לאופטימיזציה של אינפרנס. היא מוזכרת כאן כדוגמה לאקוסיסטם בלבד.

הלקח הישראלי: יש בארץ עומק בשבבים, רשתות, סייבר ומערכות למידת מכונה. אבל מייסד לא טכני צריך להתחבר לעומק הזה כשותף, לקוח או יועץ. לא להתחרות בו ביום הראשון.

6. מבנה השוק וכוחות תחרותיים

6.1 מה דוחף ביקוש

• מעבר משיחת צ’אט חד פעמית לסוכנים שפועלים ברצף.
• חשיבה ארוכה וחישוב בזמן ההסקה.
• קול, תמונה ווידאו בזמן אמת.
• בינה מלאכותית בתוך כל מוצר תוכנה כשירות.
• מודלים פתוחים שמאפשרים פריסה פרטית.
• רגולציה וריבונות שמפצלות פריסות לפי אזור.
• “מפעלי בינה מלאכותית” ארגוניים שמשרתים מודלים רבים.

6.2 מה דוחף מחירים למטה

• חומרה חדשה וביצועים לוואט טובים יותר.
• תחרות בין ענקיות הענן לעננים החדשים.
• מודלים עם משקולות פתוחות.
• קוונטיזציה, זיקוק, מטמון ועיבוד קבוצתי.
• מנועי הגשה פתוחים כמו vLLM ו SGLang.
• מעבר למודלים קטנים ולשרשור מודלים לפי צורך.

6.3 למה אין מספר אחד אמין לגודל השוק

“שוק האינפרנס” עשוי לכלול שבבים, ענני מעבדים, מכירת טוקנים, תוכנה, מכשירי קצה או אפילו אפליקציות. דוחות אנליסטים שמערבבים גבולות אלה יוצרים מספרים לא ברי השוואה. לכן המדריך הזה לא מציג תחזית גודל שוק יחידה כאילו היא עובדה.

הדרך הנכונה ליזם היא מלמטה למעלה: מספר לקוחות יעד, כפול נפח תהליכי העבודה, כפול מחיר לתהליך, כפול הנכונות לשלם על סיכון או חיסכון.

לדוגמה: 200 מוקדי שירות, כפול 500 אלף דקות בינה מלאכותית בחודש, כפול 2 אגורות לדקת שיחה עבור אבטחת איכות. זה 2 מיליון שקל בשנה? לא. זה 200 מוקדים כפול 500,000 דקות כפול 0.02 שקל כפול 12 חודשים, כלומר 24 מיליון שקל הכנסה שנתית חוזרת. זהו תרחיש, לא תחזית. יש לאמת את ארבעת המשתנים בשיחות עם לקוחות.

6.4 איפה נבנה חפיר תחרותי

חפיר חלש:

• מעטפת פשוטה לממשק תכנות.
• לוח בקרה על הוצאות טוקנים בלבד.
• מבחן ביצועים חד פעמי.
• מפיץ ללא תהליך עבודה או נתונים.

חפיר חזק יותר:

• מאגר נתונים ענפי איכותי ומתעדכן.
• אינטגרציה עמוקה לתהליך ולמערכת הרשומה.
• לולאת משוב מתוצאות אמיתיות.
• חבילת מדיניות וציות לענף.
• עלויות מעבר דרך היסטוריית בדיקות ומדיניות ניתוב.
• איגום ביקוש או ערוץ הפצה ייחודי.
• אלגוריתם או קניין רוחני שמוכח בתפוקה תקינה או בעלות לתוצאה.

7. הזדמנויות שוק: דירוג עבור מייסד לא טכנולוגי

ציונים: 1 נמוך, 5 גבוה. “התאמה” גבוהה פירושה שניתן להתחיל עם ידע בתחום ויכולת מכירה, ולהשלים הנדסה בהדרגה.

הזדמנות	כאב לקוח	התאמה למייסד לא טכני	הון נדרש	תחרות	ציון כולל
אבטחת איכות לסוכני קול בעברית וערבית	5	5	2	3	4.5
ניהול עלויות אינפרנס לענף מפוקח	4	4	2	4	4.0
שירות פריסה פרטית בשרתי הארגון	4	4	3	3	3.8
פתרון בינה מלאכותית בקצה לענף ספציפי	4	3	4	3	3.3
שער גנרי לריבוי מודלים	3	3	2	5	2.8
ענן מעבדים חדש	4	1	5	5	1.8
שבב אינפרנס חדש	5	1	5	5	1.5

הזדמנות א’: אבטחת איכות לאינפרנס של סוכני קול

הבעיה. הדגמה טובה אינה מערכת ייצור טובה. רעש, מבטאים, שמות, קטיעות, זמן תגובה של כלים, הזיות והעברה גרועה לנציג שוברים שיחה. חצי שנייה נוספת בכל שלב יכולה להפוך חוויה ללא טבעית. חברת OpenAI הפכה את Realtime API לזמין באופן כללי באוגוסט 2025. סימן לבשלות התשתית, אבל לא פתרון לבקרת תהליך עבודה ענפי [מקור 25].

המוצר. קליטת תיעוד ואודיו, בדיקות איכות אוטומטיות, השחרת מידע אישי, לוח בקרה של איכות ועלות, התראות, וניתוב בין המרת דיבור לטקסט, מודל השפה והמרת טקסט לדיבור.

הלקוח. סמנכ“ל שירות לקוחות, מנהל חוויית לקוח, תפעול מוקדים, ציות, או ספק שבונה סוכני קול.

החפיר. מאגר שיחות בעברית וערבית, מיון של כשלים, חיבור לתוצאה במערכת ניהול הלקוחות והיסטוריית רגרסיות.

הזדמנות ב’: ניהול עלויות וניתוב לענף מפוקח

לא “מצאנו ממשק זול יותר”, אלא מנוע מדיניות שמחליט:

• איזה מודל מותר לכל סיווג מידע.
• באיזה אזור גאוגרפי.
• מתי להשתמש במודל קטן, במטמון או בעיבוד קבוצתי.
• מתי להעביר למודל חזית או לאדם.
• מה העלות לתיק, לתביעה או לשיחה מוצלחת.

הכניסה חייבת להיות ענפית: ביטוח, בריאות, בנקאות או ממשלה. מוצר גנרי יתחרה בשערים ובעננים.

הזדמנות ג’: פריסה פרטית של אינפרנס כשירות מוצרי

ארגונים רוצים משקולות פתוחות, מיקום נתונים מוגדר ושרתים בארגון, אבל לא רוצים צוות תשתית. מתחילים באבחון ופריסה במחיר קבוע, ואז מוסיפים שכבת שליטה, שדרוגים והסכם שירות מנוהל.

הסיכון. להפוך לבית תוכנה פרויקטלי בלי תוכנה חוזרת. יש להגדיר תבנית אחידה, שתיים עד שלוש תצורות נתמכות ומדדי הצלחה.

הזדמנות ד’: אינפרנס בקצה לענף אחד

מצלמות, מפעלים, רכב, קמעונאות והתחום הביטחוני דורשים זמן תגובה, עבודה לא מקוונת ופרטיות. כאן ישראל חזקה בחומרה ובראייה ממוחשבת. אבל מחזורי מכירה, אינטגרציה וחומרה מעלים הון וסיכון. מתאים יותר עם שותף טכני או תעשייתי.

8. סיכונים טכניים ועסקיים

סיכונים טכניים

1. אשליית מבחן הביצועים: תוצאה על פרומפט קצר ובקבוצה גדולה אינה מייצגת את אחוזון 95 של הלקוח.
2. איכות אחרי אופטימיזציה: קוונטיזציה או שרשור מודלים עלולים לפגוע בשפות קטנות או במקרי קצה.
3. הפעלות קרות והתרחבות אוטומטית: הקיבולת עולה לאט יותר מהתור.
4. התפוצצות המטמון: הקשרים ארוכים וריבוי דיירים צורכים זיכרון מהיר.
5. תחלופת ספקים ומודלים: המודל מתחלף לפני שהאינטגרציה החזירה את ההשקעה.
6. שרשראות אמינות: סוכן תלוי במודל, במסד וקטורי, בכלים, בזהות וברשת. הזמינויות מוכפלות.
7. אבטחה: הזרקת פרומפטים, דליפת נתונים, שליפה מורעלת, תיעוד שדולף וכלים עם הרשאות יתר.
8. פערי ניטור: ספקים שונים מדווחים על שימוש ועל טוקני חשיבה אחרת.
9. מיקום ושמירת נתונים: “האזור” של נקודת הקצה אינו בהכרח כל מסלול העיבוד.
10. אנרגיה וקיבולת: חיבור לרשת החשמל, קירור ואספקת מעבדים מגבילים את הצמיחה. סוכנות האנרגיה הבינלאומית מדגישה אי ודאות גבוהה ותרחישים שונים [מקור 2].

סיכונים עסקיים

1. דחיסה על ידי הגדולים: ניתוב, מטמון ובדיקות איכות הופכים ליכולת מובנית בענן.
2. שחיקת מחיר הטוקן: המרווח של המפיץ נשחק יחד איתו.
3. ריכוזיות לקוחות: לקוח גדול אחד מכתיב ספק או תצורה.
4. קרדיטים של ענן מעוותים את התמונה: “הכנסה” שמבוססת על קרדיטים אינה כלכלה יציבה.
5. אי התאמה בין השקעה להתחייבות: התחייבות ארוכה למעבדים מול ביקוש לא ודאי.
6. קומודיטיזציה של קוד פתוח: הקוד נגיש. ההבדל הוא תפעול והפצה.
7. אחריות רגולטורית: במיוחד תעסוקה, אשראי, בריאות, ביומטריה ושירותים ציבוריים לפי החוק האירופי [מקור 11].
8. תלות בספק המודל: שינוי במחיר, במגבלות או בתנאים יכול למחוק את הרווח הגולמי.
9. אחריות על איכות: חיסכון של 30 אחוז אינו שווה כלום אם שגיאה קריטית עולה יותר.
10. חיכוך ברכש: סקירת אבטחה, הסכם עיבוד נתונים, מעבדי משנה ומיפוי נתונים מאריכים את המכירה.

דרכי מיתון

• לבנות על לפחות שני ספקים, אבל לא להבטיח ניידות מלאה ביום הראשון.
• להחזיק סט בדיקות בבעלות החברה, לא של ספק המודל.
• למדוד עלות לתוצאה ואחוזון 95, לא ממוצעים.
• להפריד את שכבת המדיניות מערכת הפיתוח של הספק.
• חוזים עם גלגול של עליית מחירי הממשק ללקוח.
• להימנע מהתחייבות למעבדים לפני ביקוש יציב.
• פרטיות מהתכנון ושמירת נתונים מינימלית.
• גיבוי אנושי לתוצאות בסיכון גבוה.

9. תוכנית כניסה מעשית: 12 חודשים

שבועות 0 עד 2: תזה צרה

בחרו תהליך עבודה אחד בלבד. למשל: “קביעת תור ושינוי תור בשיחות עברית עבור רשת מרפאות פרטית”.

הגדירו:

• קונה אחד.
• כשל יקר אחד.
• מדד עסקי אחד.
• תקציב זמן תגובה.
• מגבלות נתונים ורגולציה.
• 20 חברות יעד בישראל ו20 באירופה.

לא לבנות לוח בקרה. להכין הדגמה ידנית וכרטיס ניקוד.

שבועות 2 עד 6: שלושים שיחות גילוי

חלוקה מומלצת:

• 10 מפעילי מוקדים ומנהלי חוויית לקוח.
• 8 ספקי סוכני קול ומוקדי שירות.
• 6 אנשי אבטחה וציות.
• 6 אנשי למידת מכונה ותשתית.

שאלות:

1. כמה דקות או שיחות בינה מלאכותית יש היום?
2. איזה כשל גרם להסלמה או לעצירת השקה?
3. מה זמן התגובה באחוזון 95 ומה שיעור הנטישה?
4. איך בודקים גרסת מודל חדשה?
5. מי מאשר מיקום ושמירת נתונים?
6. מה חשבון האינפרנס ומה עלות האדם החלופי?
7. על מה ישלמו בתוך 60 יום?

שער מעבר: לפחות 8 מתוך 30 מתארים אותו כאב, 4 מוכנים לשתף תיעוד או הקלטות בצורה חוקית, ו2 חותמים על מכתב כוונות או אבחון בתשלום.

שבועות 4 עד 8: אבחון בתשלום לפני תוכנה

ההצעה: “בדיקת אמינות אינפרנס ל14 יום” במחיר קבוע.

תוצרים:

• נקודת ייחוס של זמן עד הטוקן הראשון, אחוזון 95 וזמן מקצה לקצה.
• 100 עד 300 תרחישי בדיקה.
• מיון של כשלים.
• עלות לשיחה מוצלחת.
• שלוש המלצות: מודל, ניתוב, מטמון, פרומפט או עיצוב כלים.
• אומדן החזר השקעה.

אפשר לבצע חלק גדול ידנית עם ממשקים קיימים ומהנדס למידת מכונה במשרה חלקית. המטרה היא ללמוד, לא לבנות פלטפורמה.

שבועות 6 עד 12: גרסה ראשונה

רק חמישה רכיבים:

1. קליטה של תיעוד ומטא־נתונים.
2. השחרה והפרדה של מידע אישי.
3. מריץ בדיקות על תרחישים בעברית וערבית.
4. לוח בקרה של איכות, זמן תגובה ועלות.
5. התראה אוטומטית עם המלצה.

ניתוב אוטומטי יגיע רק אחרי שיש אמון במדידה. בהתחלה מצב צל.

חודשים 3 עד 6: לקוחות פיילוט

יעד:

• 3 עד 5 לקוחות משלמים.
• לפחות 100 אלף אינטראקציות נמדדות.
• מדד אחיד: למשל 20 אחוז פחות הסלמות או 15 אחוז פחות עלות לתוצאה מוצלחת.
• שני ספקי מודל ותצורת קול אחת לפחות.
• בסיס אבטחה: הסכם עיבוד נתונים, בקרות שמירה, יומן ביקורת, הרשאות לפי תפקיד.

מחיר אפשרי:

• קליטה ואבחון: 5 עד 15 אלף אירו.
• פלטפורמה: 2 עד 10 אלף אירו לחודש.
• שימוש: לפי דקות, שיחות או נפח תיעוד.
• תמחור ארגוני לפריסה פרטית והסכם שירות.

אלה טווחי ניסוי, לא מחיר שוק מוכח.

חודשים 6 עד 12: הפיכה למוצר והתרחבות

• מחברים ל Twilio, Genesys, Five9, מערכות ניהול לקוחות וספקי קול מובילים.
• חבילת מבחנים בעברית וערבית עם הסכמה וממשל נתונים.
• חבילות מדיניות לענף.
• בדיקות רגרסיה אוטומטיות למעבר בין גרסאות מודל.
• ניתוב לפי תוצאה.
• התרחבות לאירופה בשפה או בענף נוסף.

יעד ל12 חודשים: 300 עד 750 אלף אירו הכנסה שנתית חוזרת, רווח גולמי על התוכנה מעל 70 אחוז אחרי גלגול עלות האינפרנס, ולפחות 30 אחוז גידול רבעוני בשימוש אצל לקוחות הפיילוט. אלה יעדי ניהול, לא תחזית.

10. צוות, הון ושותפויות

הצוות המינימלי

• מנכ“ל ומייסד מהתחום: גילוי, מכירות, שותפויות, נרטיב הציות.
• מהנדס מייסד חזק בצד השרת, בנתונים ובממשקי בינה מלאכותית.
• יועץ מערכות למידת מכונה במשרה חלקית למבחני ביצועים ולהגשה.
• בלשן בקרת איכות לעברית וערבית לפי שעות.
• ייעוץ משפטי לפרטיות ואבטחה לפי צורך.

אין צורך בתחילת הדרך בארכיטקט שבבים, בצוות אשכולות או בהשקעה הונית במעבדים.

שותפויות ישראליות אפשריות

• אינטגרטורים וספקי מוקדי שירות להפצה.
• חברות סייבר להשחרת מידע ולאבטחת פרומפטים.
• ספקי ענן ומעבדים מקומיים לפריסות פרטיות.
• החברות Hailo, NeuReality וחברות תשתית כשותפים טכניים בהמשך. לא כתלות לגרסה הראשונה.
• אוניברסיטאות ומכללות לבניית מבחני שפה עם הסכמה וממשל נתונים.

מימון

• מימון עצמי או משקיע פרטי עד שני אבחונים בתשלום.
• סבב פרה־סיד רק אחרי אות חוזר: אותו קונה, אותו כאב, אותו מדד.
• לא לגייס כדי לקנות קיבולת לפני ניצולת מוכחת.
• להפריד “קרדיטים” מרווח גולמי במזומן בדוחות פנימיים.

11. בדיקת נאותות: חמש עשרה שאלות לכל ספק אינפרנס

1. באיזו גרסת מודל מדויקת משתמשים, ומה מדיניות ההוצאה משימוש?
2. מה הזמן עד הטוקן הראשון והזמן בין טוקנים באחוזונים 50, 95 ו99 על עומס דומה לשלנו?
3. מה מגבלות הקצב הקשיחות ומה קורה בפרץ תעבורה?
4. האם התמחור כולל טוקני חשיבה, כתיבה למטמון, כלים, אודיו ותעבורה יוצאת?
5. מה הסכם השירות, פיצוי על השבתה, ויעדי ההתאוששות?
6. האם הקיבולת משותפת, ייעודית או מובטחת?
7. איפה הנתונים, הלוגים, המטמון והגיבויים מעובדים ונשמרים?
8. מה מדיניות שמירת הנתונים, והאם יש אפשרות לאפס שמירה?
9. האם משתמשים בנתונים שלנו לאימון?
10. מי מעבדי המשנה ואילו הסמכות יש?
11. האם אפשר לייצא תיעוד ונתוני שימוש גולמיים?
12. האם הממשק תואם באמת, או רק במסלול הפשוט?
13. מה האיכות בעברית וערבית לפי הבדיקות שלנו?
14. האם פלט מובנה וקריאה לכלים נשמרים תחת עומס?
15. מה תוכנית היציאה אם המחיר עולה או המודל נעלם?

12. המלצות קונקרטיות

לעשות

1. לבחור תוצאה, לא שכבת טכנולוגיה. למשל: “להפחית הסלמות בשיחות תיאום תור”.
2. למדוד חמישה מדדים מהיום הראשון: שיעור הצלחה, שיעור שגיאות קריטיות, זמן תגובה באחוזון 95, עלות להצלחה, העברה לאדם.
3. להתחיל בממשקים מנוהלים. לעבור לקיבולת ייעודית או אירוח עצמי רק אחרי חישוב נקודת איזון מלא.
4. לבנות סט בדיקות בבעלותכם. זה הנכס שמאפשר החלפת מודל והוכחת החזר השקעה.
5. למכור אבחון בתשלום לפני תוכנה. הוא מסנן סקרנות ומייצר נתונים.
6. לתמוך בריבוי ספקים ברמת המדיניות ומודל הנתונים. לא לנסות לתמוך בכל יכולת של כל ספק מיד.
7. להכניס פרטיות וציות לארכיטקטורה, במיוחד אם היעד אירופי.
8. להשתמש בעיבוד קבוצתי, במטמון ובניתוב למודלים קטנים לפני שמחפשים הנחה מספק.

לא לעשות

1. לא לבנות “עוד ענן מעבדים” בלי גישה ייחודית לחשמל, לשבבים ולהון.
2. לא לבנות “עוד מנוע אינפרנס” בלי צוות מחקר מערכות ברמה עולמית ויתרון מוכח בביצועים.
3. לא למכור “50 אחוז זול יותר” בלי איכות והסכם שירות. המחירים נשחקים.
4. לא להסתמך על מבחן ביצועים של ספק.
5. לא לחתום על קיבולת ארוכה לפני עומס עבודה יציב.
6. לא לשמור אודיו או מידע אישי “למקרה שנצטרך”.
7. לא להניח שממשק “תואם OpenAI” פירושו ניידות מלאה.
8. לא להפעיל ניתוב אוטומטי בסביבת ייצור לפני בדיקה במצב צל ומסלול גיבוי.

החלטה בתוך 90 יום: להמשיך, לשנות כיוון או לעצור

להמשיך אם:

• שני לקוחות משלמים ומעלה.
• אותו דפוס כשל חוזר.
• לפחות 15 אחוז שיפור בעלות להצלחה או במדד תפעולי.
• הנתונים ניתנים לעיבוד חוקי.
• קונה ברור ובעל תקציב.
• אין צורך בהשקעה הונית.

לשנות כיוון אם יש כאב אבל אין נכונות לשלם: לעבור לשירות פריסה וציות ולחפש רכיב חוזר.

לעצור אם כל לקוח דורש תצורה שונה, אין גישה לתיעוד ולתוצאות, או שהערך היחיד הוא הנחה על הממשק.

13. מילון קצר

• טוקן (Token): יחידת טקסט שהמודל קורא או כותב. לא בהכרח מילה.
• משקולות (Weights): המספרים שנלמדו באימון.
• חלון הקשר (Context window): כמה טוקנים המודל יכול לעבד בבקשה או בשיחה.
• מטמון ביניים (KV cache): מצבי ביניים שמאפשרים לא לחשב מחדש את כל ההקשר בכל טוקן.
• קיבוץ בקשות (Batching): איחוד בקשות כדי לנצל חומרה טוב יותר.
• קוונטיזציה (Quantization): ייצוג משקולות במספרים בעלי דיוק נמוך יותר.
• תפוקה (Throughput): כמות עבודה לזמן.
• זמן תגובה (Latency): זמן ההמתנה לבקשה.
• זמן עד הטוקן הראשון (TTFT): זמן עד תחילת התשובה.
• זמן בין טוקנים (ITL): הזמן בין טוקנים בזמן ההזרמה.
• תפוקה תקינה (Goodput): עבודה שעומדת גם ביעד הזמן וגם באיכות.
• יעד שירות והסכם שירות (SLO / SLA): יעד פנימי לעומת התחייבות חוזית.
• משקולות פתוחות (Open weights): משקולות נגישות להרצה. לא בהכרח קוד או נתונים פתוחים, ולא בהכרח שימוש חופשי.
• שליפת מידע לפרומפט (RAG): שליפת מידע והוספתו לפרומפט בזמן האינפרנס.
• תערובת מומחים (MoE): מודל שבו רק חלק מה“מומחים” פעילים לכל טוקן.
• אינפרנס בקצה (Edge inference): הרצה במכשיר או באתר קרוב למקור הנתונים.

14. מתודולוגיה ואמינות

נעשה שימוש במקורות חיים שנפתחו בין 5 ל6 בספטמבר 2026, עם עדיפות למסמכי מוצר ומחיר רשמיים, רגולטורים, MLCommons, סטנפורד וסוכנות האנרגיה הבינלאומית.

נתוני מחיר ומוצר משתנים. הם תמונת מצב ליום הדוח ויש לבדוק שוב לפני החלטת רכש.

טענות “עד פי X”, מספרי לקוחות, טוקנים, מגה־וואט וגיוסים שמקורם בחברה מסומנים כטענות חברה. מבחן ביצועים שיווקי אינו ראיה עצמאית.

מספרי עלות לאירוח עצמי, גודל שוק מלמטה למעלה, יעדי הכנסה ומחירי הגרסה הראשונה מסומנים כאומדן או תרחיש.

לא הוצג “גודל שוק” יחיד משום שהגדרות האנליסטים אינן עקביות בין שבבים, ענן, תוכנה ואפליקציות.

האימות בוצע ישירות מול כתובות רשמיות ומסמכים חיים, ללא הצלבה עיתונאית של כל גיוס פרטי. הגיוסים אינם בסיס להמלצה.

פסק הדין

שוק האינפרנס אמיתי, חיוני וצומח. אבל “תשתית אינפרנס” כשלעצמה אינה תזה מספקת. התחרות מורידה את מחיר החישוב ומעלה את רף ההון וההנדסה.

ההזדמנות הטובה ליזם ישראלי לא טכנולוגי היא להיות המערכת שמבטיחה שהאינפרנס עובד עבור תהליך עבודה בעל ערך. לא המערכת שמייצרת טוקנים בזול.

הצעד הראשון ביום שני בבוקר: לבחור ענף אחד, להכין כרטיס ניקוד של 20 כשלים בשיחות עברית, ולתאם 10 ראיונות עם מפעילי מוקדים וספקי סוכני קול. לא לכתוב קוד לפני שיש שני קונים שמוכנים לשלם על אבחון.

אם אתם מנהלים מוקד, בונים סוכני קול, או שוקלים כניסה לשוק הזה ורוצים לעבור על זה יחד, דברו איתנו בוואטסאפ או קראו על איך אנחנו עובדים.

15. מקורות

• מקור 1: מדד הבינה המלאכותית של סטנפורד לשנת 2025 (עלות אינפרנס, יעילות חומרה): https://hai.stanford.edu/ai-index/2025-ai-index-report
• מקור 2: סוכנות האנרגיה הבינלאומית, ביקוש לאנרגיה מבינה מלאכותית: https://www.iea.org/reports/energy-and-ai/energy-demand-from-ai
• מקור 3: הכרזה על NVIDIA Dynamo (2025): https://developer.nvidia.com/blog/introducing-nvidia-dynamo-a-low-latency-distributed-inference-framework-for-scaling-reasoning-ai-models/
• מקור 4: סדרת AMD Instinct MI350: https://www.amd.com/en/products/accelerators/instinct/mi350.html
• מקור 5: גוגל, Ironwood TPU לעידן האינפרנס (אפריל 2025): https://blog.google/innovation-and-ai/infrastructure-and-cloud/google-cloud/ironwood-tpu-age-of-inference/
• מקור 6: האתר הרשמי של vLLM: https://vllm.ai/
• מקור 7: המאגר הרשמי של SGLang: https://github.com/sgl-project/sglang
• מקור 8: תיעוד NVIDIA Triton Inference Server: https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/index.html
• מקור 9: המאגר הרשמי של llama.cpp: https://github.com/ggml-org/llama.cpp
• מקור 10: האתר הרשמי של ONNX Runtime: https://onnxruntime.ai/
• מקור 11: הנציבות האירופית, המסגרת הרגולטורית לבינה מלאכותית: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
• מקור 12: ארגון MLCommons, מבחן MLPerf Inference למרכזי נתונים: https://mlcommons.org/benchmarks/inference-datacenter/
• מקור 13: מחירון הממשק של Anthropic: https://platform.claude.com/docs/en/about-claude/pricing
• מקור 14: ממשק העיבוד הקבוצתי של Anthropic: https://platform.claude.com/docs/en/build-with-claude/batch-processing
• מקור 15: ממשק העיבוד הקבוצתי של OpenAI: https://developers.openai.com/api/docs/guides/batch
• מקור 16: מחירון Amazon Bedrock: https://aws.amazon.com/bedrock/pricing/
• מקור 17: טבלת המודלים של Artificial Analysis: https://artificialanalysis.ai/models
• מקור 18: אמזון, Inferentia: https://aws.amazon.com/ai/machine-learning/inferentia/
• מקור 19: הודעת Groq על הסכם הרישוי עם NVIDIA (דצמבר 2025): https://groq.com/newsroom/groq-and-nvidia-enter-non-exclusive-inference-technology-licensing-agreement-to-accelerate-ai-inference-at-global-scale
• מקור 20: הודעת Groq על גיוס 650 מיליון דולר (יוני 2026): https://groq.com/newsroom/groq-raises-usd650m-to-scale-its-ai-inference-cloud-business
• מקור 21: ענן האינפרנס של Cerebras: https://www.cerebras.ai/inference
• מקור 22: הודעת Together AI על סבב C (יולי 2026): https://www.together.ai/blog/announcing-our-series-c
• מקור 23: מחירון Modal: https://modal.com/pricing
• מקור 24: עמודי המוצר והעיתונות של NeuReality: https://www.neureality.ai/
• מקור 25: הכרזת OpenAI על Realtime API (אוגוסט 2025): https://openai.com/index/introducing-the-realtime-api/
• מקור 26: הודעת NVIDIA על רכישת Run:ai ועמוד המוצר: https://blogs.nvidia.com/blog/runai/

מקורות שימושיים נוספים: מטמון פרומפטים של OpenAI · מחירון OpenAI · מחירון Google Vertex AI · רמות שירות ב Bedrock · סוכנות האנרגיה, אנרגיה ובינה מלאכותית