אם תבקשו מ-ChatGPT לתרגם מייל, סיכום פגישה או פוסט לרשתות, תקבלו בדרך כלל תוצאה סבירה לגמרי. אבל מה קורה כשמבקשים ממנו לתרגם את השפה הפנימית של תחום מקצועי, כלומר את המונחים שאנשי מקצוע מקפידים עליהם ושכל סטייה קטנה בהם משנה את המשמעות?
מחקר חדש שהתפרסם בנובמבר 2026 בדק את השאלה הזו. החוקרים בחנו כיצד מתמודד מודל השפה המתקדם עם מונחים מקצועיים, והתוצאות שעלו מן הבדיקה רחוקות מלהחמיא ליכולות התרגום של המערכת. מתוך כלל המונחים המקצועיים שהוצגו ל-ChatGPT-5, רק כרבע תורגמו בצורה נכונה ומדויקת. מנגד, למעלה משליש מהמונחים תורגמו באופן שגוי לחלוטין, באופן שמשנה את משמעותם המקורית ואינו מאפשר להשתמש בהם בטקסט מקצועי.
מאחורי הקלעים של המחקר
מאחורי המחקר עומדים שני חוקרים מתחום הבלשנות: פרופסור מוחמד שורמאני מאוניברסיטת Ibb שבתימן, ויחיא אלסוחבאני מהאוניברסיטה הערבית הפתוחה בערב הסעודית. השניים בחרו לבחון את יכולות התרגום של המודל מאנגלית לערבית, ולשם כך התמקדו בתחום אקדמי מוגדר ותובעני במיוחד – תחביר גנרטיבי. זהו ענף מרכזי בבלשנות שהתפתח מתוך עבודתו המוכרת של הבלשן נועם חומסקי. הייחוד של התחום הזה טמון בכך שיש לו שפה פנימית מגובשת מאוד, שבה לכל מונח יש הגדרה ומשמעות טכנית מדויקת שאין לסטות ממנה.
כדי להעמיד את המודל למבחן מעשי, אספו החוקרים רשימה של 44 מונחים באנגלית. המונחים נלקחו מתוך ספרי לימוד ומאמרים אקדמיים מוכרים, וכן מתוך הניסיון המחקרי וההוראתי של החוקרים עצמם. הרשימה הורכבה כך שתכסה את התפתחות התחביר הגנרטיבי מראשיתו ועד לגישת "התוכנית המינימליסטית". לא מדובר במונחים אזוטריים או נדירים שרק מעטים מכירים; רובם המכריע הם מושגי יסוד שנלמדים כבר במהלך התואר הראשון בבלשנות. כדי לבחון כיצד המודל מתמודד עם מבנים לשוניים מגוונים, החוקרים שילבו ברשימה גם מונחים מורכבים הכוללים מקף, דוגמת המונח C-command.
לפני שניגשו לבדוק את הבינה המלאכותית, יצרו החוקרים נקודת ייחוס אנושית ומקצועית: הם אספו את התרגומים המקובלים לערבית עבור אותם 44 מונחים מתוך כתביהם של מומחים אקדמיים בולטים בתחום. לאחר מכן הם הזינו את הרשימה אל הגרסה החינמית של ChatGPT-5. הבחירה בגרסה זו נעשתה משום שבאותה נקודת זמן היא הייתה העדכנית ביותר בשוק, והציגה שיפורים ניכרים בהשוואה לגרסאות קודמות של המודל. כדי לתת למודל נקודת פתיחה הוגנת, החוקרים ליוו את רשימת המונחים בהנחיה מפורטת שהבהירה למערכת את ההקשר ואת מטרת משימת התרגום.
איך מדרגים תרגום של בינה מלאכותית?
כדי להעריך את התוצאות שהפיק המודל בצורה אובייקטיבית ומקצועית, גייסו החוקרים צוות שיפוט שמנה חמישה מומחים אקדמיים: שלושה מומחים לתחביר, מומחה אחד למורפולוגיה ומומחה אחד ללימודי תרגום. הצוות בחן כל אחד מהתרגומים של ChatGPT-5 אל מול המונחים המקובלים בספרות המקצועית, וסיווג אותם לשלוש קטגוריות ברורות.
הקטגוריה הראשונה הוגדרה כתרגום "נכון". לקטגוריה זו נכנסו תרגומים שהיו זהים לחלוטין למונח הערבי המקובל בעולם האקדמי, או כאלה שהציגו הבדל זניח שלא פוגע בדיוק המקצועי.
הקטגוריה השנייה הייתה תרגום "מתאים". כאן שובצו תרגומים שלא קלעו למונח הסטנדרטי המקובל בתחום, אך בכל זאת הצליחו לשמור על המשמעות המושגית הרחבה של המונח המקורי באנגלית.
הקטגוריה השלישית הוגדרה כתרגום "שגוי". תחת הגדרה זו סווגו תרגומים שהחמיצו לגמרי את המשמעות הטכנית של המונח, הציגו מושג שונה לחלוטין מזה שהתכוון אליו המקור, או בחרו במילה כללית מדי שאינה מתאימה לשימוש בשיח מקצועי.
המספרים מדברים: רבע בלבד מהתרגומים היו שמישים
מתוך 44 המונחים שנבדקו בניסוי, ChatGPT-5 הצליח לתרגם בצורה נכונה רק 11 מונחים – 25% בלבד. בין ההצלחות של המודל ניתן למצוא מונחים בסיסיים יחסית כמו Passive ו-Generative grammar, שזכו לקבל את המקבילות הערביות המדויקות והמקובלות שלהם.
קבוצה גדולה יותר, שכללה 16 מונחים (36.4% מהרשימה), סווגה על ידי המומחים תחת הקטגוריה "מתאימים". אלו היו תרגומים שהתקרבו אל המטרה והעבירו את הרעיון הכללי, אך חסרו את הדיוק הנדרש מטקסט אקדמי או מקצועי.
הנתון הבולט ביותר במחקר נרשם בקטגוריה השלישית: 17 מונחים, המהווים 38.6% מכלל הרשימה, תורגמו באופן שגוי. כלומר, בפועל, רק מונח אחד מכל ארבעה שיצאו תחת ידיו של המודל היה מוכן לשימוש מיידי.
טעויות התרגום הבולטות של המודל
הדוגמה הבולטת ביותר במחקר היא המונח האנגלי Government. בשפה היומיומית כולנו מכירים את המילה הזו בהקשרים פוליטיים, אך בתוך עולם התחביר הגנרטיבי יש לה משמעות אחרת: זהו מונח טכני שמתאר יחס מבני בין רכיב מרכזי במשפט לבין הרכיבים הסמוכים לו, יחס שקובע בין היתר את צורתם הדקדוקית. בבלשנות הערבית קיים עבורו מונח מסורתי ומקובל ("العامل").
אלא ש-ChatGPT-5 לא זיהה את ההקשר הבלשני, ותרגם את המילה ל-"الحكم" – מילה ערבית שמשמעותה שלטון או ממשל במובן הפוליטי. מבחינה מילונית יבשה התרגום אמנם נכון, אך מבחינה מקצועית מדובר בשגיאה שמרוקנת את המונח מתוכנו.
מקרה דומה התרחש עם המונח Minimalist Program. כאן המודל הצליח לתרגם נכון את המילה "תוכנית", אך נפל בתרגום המילה הראשונה. במקום לבחור במונח הבלשני המקובל, הוא בחר במילה ערבית שמשמעותה קשורה לפישוט סגנוני. החוקרים מסבירים כי מדובר בבחירה מטעה מאוד, שכן בתחביר הגנרטיבי הכוונה היא לתפיסה תיאורטית שונה לחלוטין.
כאשר הגיע לתרגום המונח המורכב C-command, ה-AI בחר בפתרון חלקי: הוא תרגם לערבית רק את המילה command, והותיר את האות C באנגלית כפי שהיא. בבלשנות, האות C אינה סתם אות שרירותית, אלא קיצור של המילה Constituent, שמשמעותה "רכיב" במשפט. כאשר מתרגמים אנושיים מתמודדים עם המונח הזה, הם מפרקים את הקיצור ומתרגמים את המשמעות המלאה שלו לשפת היעד. המודל, לעומת זאת, כלל לא זיהה מה מסתתר מאחורי האות הבודדת.
חוסר הוודאות של הבינה המלאכותית
ניתוח התוצאות אפשר לחוקרים לזהות שלושה דפוסי פעולה קבועים שחזרו על עצמם בעבודת המודל. הדפוסים הללו חושפים מה עושה ChatGPT-5 ברגעים שבהם הוא אינו בטוח בתשובה הנכונה.
הדפוס הראשון הוא תרגום המלווה בהסבר. החוקרים הבחינו שכאשר המודל מתקשה למצוא מונח מדויק, הוא נוטה להוסיף הסברים בתוך סוגריים או להציע מספר חלופות המופרדות במילה "או".
הדפוס השני נוגע לגזירה מורפולוגית, כלומר לאופן שבו מרכיבים מילים בשפה. מתרגמים אנושיים המכירים את התחום לעומק נוהגים לגזור שמות עצם ושמות תואר בדרכים שמשקפות במדויק את הפעולה או המשמעות הטכנית של המונח. ChatGPT-5, לעומתם, נטה לבחור בצורות לשוניות כלליות יותר. דוגמה יפה לכך היא המונח Linearization. המודל תרגם אותו למילה שמשמעותה הכללית היא "ליניאריות". המתרגמים האנושיים, לעומת זאת, בחרו בצורה מורפולוגית שנגזרת מתוך הפועל "לסמן קווים" – בחירה שמבטאת בצורה מדויקת הרבה יותר את התהליך התחבירי של סידור רכיבי המשפט בסדר קווי.
הדפוס השלישי הוא פשוט השארת המונח בשפת המקור. כאשר המודל נתקל במונח X-bar Theory, הוא תרגם את המילה "תיאוריה" אך השאיר את הביטוי X-bar באנגלית. זאת למרות שבספרות הבלשנית בערבית קיימת למונח הזה מקבילה מקובלת שנמצאת בשימוש שוטף כבר שנים רבות.
למה זה קורה ואיך כל זה קשור לשפה העברית?
כאשר החוקרים מנתחים את הסיבות לביצועים החלשים של המודל, הם מצביעים על גורם מרכזי אחד: מחסור בנתוני אימון ספציפיים מתוך התחום המקצועי בשפת היעד. זוהי בעיה ידועה, שמשפיעה על יכולות התרגום וגם המענה על שאלות. כאשר המודל אינו נחשף לכמות מספקת של ספרות מקצועית בערבית העוסקת בתחביר גנרטיבי, אין לו מאיפה לשאוב את המונחים המקובלים. במצב כזה של חוסר ידע, ברירת המחדל של המערכת היא לפנות אל השפה הכללית ולבחור במילים מוכרות שיש להן מספר משמעויות. זו בדיוק הסיבה שבגללה מונח תחבירי כמו Government מתורגם למילה פוליטית.
אמנם המחקר של שורמאני ואלסוחבאני בדק תרגום מאנגלית לערבית בלבד, ולכן לא ניתן להקיש ממנו נתונים מספריים מדויקים לגבי השפה העברית, אך המנגנון שהם חושפים רלוונטי מאוד גם עבורנו. הבעיה של מיעוט נתוני אימון מקצועיים בשפת היעד, והנטייה של המודל להיצמד למשמעות הכללית והנפוצה של מילים, אינן תופעות ייחודיות לערבית. הן עלולות לצוץ בכל שפה שבה היקף הספרות המקצועית הזמינה לאימון המודל קטן יחסית לאנגלית. יתרה מכך, החוקרים מציינים במאמרם כי לעברית ולערבית יש תכונות מבניות דומות שאינן קיימות באנגלית – למשל, שתיהן שפות המאפשרות להשמיט את הנושא במשפטים מסוימים, בעוד שבאנגלית הדבר כמעט בלתי אפשרי. הבדלים מבניים כאלה בין שפות המקור והיעד הם בדיוק המקומות שבהם נדרשת הבנה מעמיקה של מתרגם אנושי.
תרגום אוטומטי על ידי AI? עדיין לא
המסקנה המרכזית של עורכי המחקר, היא שנכון להיום, תרגום של מונחים מקצועיים באמצעות ChatGPT אינו יכול לעמוד בפני עצמו, והוא מחייב שילוב כוחות בין מכונה לאדם. מעורבות של איש מקצוע אנושי היא קריטית כדי לאתר שגיאות, להשלים פערים ולמנוע עיוותים של המשמעות המקורית.
החוקרים ממליצים על אימון ממוקד של המודלים על מונחים מקצועיים בשתי השפות, הקמה של מאגרי מונחים דו-לשוניים מסודרים, ויצירת מאגרי טקסטים מתויגים מתוך הספרות המקצועית בשפת היעד. בנוסף, הם מדגישים את החשיבות של גיבוש מילונים סטנדרטיים לכל תחום, וקוראים לשיתוף פעולה הדוק ומתמשך בין מומחי בינה מלאכותית לבין בלשנים ואנשי שפה.
ועם זאת, למחקר היו מגבלות. הבדיקה כללה מדגם מצומצם יחסית של 44 מונחים בלבד, וכולם נלקחו מתוך תת-תחום אקדמי אחד. שנית, המחקר בחן מודל שפה אחד בלבד (ChatGPT-5) ולא ערך השוואה מול כלי תרגום או מודלים אחרים. שלישית, המונחים הוצגו למודל כמילים בודדות ברשימה, ללא הקשר של משפט שלם או פסקה רציפה. ייתכן מאוד שאילו המונחים היו משולבים בתוך טקסט מלא, המודל היה נעזר בהקשר הרחב כדי להפיק תוצאות טובות יותר. משום כך, החוקרים מציעים כי מחקרי המשך ירחיבו את היקף המונחים, ישוו בין מספר מודלים במקביל ויבחנו את איכות התרגום בתוך הקשר טקסטואלי מלא.
השורה התחתונה: שילוב כוחות
כלי בינה מלאכותית חוללו שינוי עצום בעולם הכתיבה והתרגום, והם ללא ספק יכולים לחסוך זמן יקר, במיוחד כאשר מדובר בהפקת טיוטה ראשונית או בתרגום של טקסטים כלליים. אולם המחקר החדש מזכיר לנו אמת בסיסית שכל מתרגם מקצועי מכיר מעבודתו היומיומית: הז'רגון המקצועי והמונחים המדויקים הם בדיוק המקום שבו טעות קטנה בתרגום עלולה להפוך לבעיה גדולה של תוכן ואמינות.
כאשר מתרגמים טקסט שמיועד לעיניהם של אנשי מקצוע, סטודנטים, שופטים בבית משפט או קוראים של מפרט טכני מורכב, אי אפשר להסתפק בפלט האוטומטי של המכונה. במקרים כאלה, הדרך הנכונה והבטוחה ביותר היא לשלב בעבודה עין אנושית של מומחה הבקיא הן בתחום התוכן והן במונחים המקובלים בשפת היעד. השילוב הזה מאפשר ליהנות מכל העולמות: הבינה המלאכותית מספקת את המהירות והיעילות שבהן היא מצטיינת, ואיש המקצוע מוודא שהמשמעות נשארת מדויקת, אמינה ונאמנה למקור.
