OCR לרוסית שלפני המהפכה: קריאת עיתונות 1917 עם AI

קחו עמוד של יומון פטרוגרדי מ-1917 והזינו אותו למנוע OCR מודרני לרוסית. הסריקה עשויה להיות סבירה, האותיות קריאות לכל דובר רוסית — והפלט עדיין יהיה שגוי בשקט, שורה אחר שורה. הסיבה איננה איכות התמונה. המנוע פשוט מעולם לא ראה באמת את השפה שעל הדף.

הכתיב הרוסי עבר רפורמה ב-1918. כל מה שנדפס לפני כן — התקופה הקיסרית כולה, ושנת המהפכה 1917 במלואה — כתוב באורתוגרפיה שמודלים מודרניים כמעט לא אומנו עליה. עבור היסטוריונים של המהפכה, גנאלוגים וחוקרי משפחה ומקום, הפרט האחד הזה מכריע אם פרויקט דיגיטציה מפיק קורפוס בר-חיפוש — או ערמה יקרה של קובצי תמונה.

למה 1917 שוברת מודלים מודרניים

ארבע אותיות שכבר אינן קיימות. הרוסית שלפני הרפורמה משתמשת ב-ѣ (יאט), і (i עשרונית), ѳ (פיטָא) ו-ѵ (איז'יצה). מודל שאומן על טקסט מודרני עומד מולן בפני שלוש אפשרויות גרועות: להחליף באות המודרנית הדומה (מודרניזציה שקטה של המקור), להתבלבל עם אות דומה חזותית (ѣ הופכת תדיר ל-ъ או ל-б), או לשבש את המילה כולה. שלושתן קורות — והגרוע מכול, הפלט עדיין נראה כמו רוסית סבירה, כך שהשגיאות מסתתרות.

כל מילה מסתיימת אחרת. מילים המסתיימות בעיצור נשאו סימן קשיות סופי: миръ, объ, впередъ. התו האחד הזה משנה את פרופיל התדירויות של הטקסט ומכשיל מודלי שפה ש"מתקנים" לעבר הכתיב של היום.

הדקדוק שונה בדרכים קטנות ושיטתיות. סיומות תואר (-аго, -яго, -ыя), צורות כינוי (ея, онѣ) — מודל שפה מודרני מתייחס אליהן כאל שגיאות הקלדה ו"מתקן". מנוע עם מודל שפה חזק עלול להיות דווקא גרוע יותר כאן: הוא משכתב בביטחון את מה שאינו מזהה.

וכל זה מודפס על נייר של 1917. נייר עיתון של שנות מלחמה ומהפכה היה זול וחומצי; האותיות שחוקות; הטורים צרים וצפופים; עותקים רבים שרדו רק כמיקרופילם שצולם לפני עשורים. כל אחד מאלה לבדו פוגע ב-OCR. יחד — הם מגדירים את המשימה.

מה באמת עובד

מפת הכלים הכנה לדפוס רוסי טרום-רפורמי ב-2026:

Tesseract מגיע עם מודל לרוסית מודרנית. מודל רשמי לכתיב הישן אין; קיימים קובצי אימון קהילתיים לאורתוגרפיה הישנה ששווה לנסות על דפוס ספרים נקי, אך על נייר עיתון הם לא היו תחרותיים בניסיוננו.

Transkribus ו-eScriptorium/Kraken — הפלטפורמות הניתנות לאימון — הן הדרך הרצינית. המודלים הציבוריים לקירילית מכוונים בעיקר לכתב יד; עבור דפוס טרום-רפורמי יש להניח אימון או fine-tuning על החומר שלכם. כמה עשרות עמודים מתוקנים הם נקודת פתיחה ריאלית, ולקחי משמעת ה-ground truth מזיהוי כתב יד בכתבי יד היסטוריים תקפים כאן ללא שינוי.

OCR מסחרי בענן (Google, Microsoft) קורא את הצורות של טקסט טרום-רפורמי טוב במפתיע על סריקות איכותיות, אבל מנרמל ומועד באופן בלתי צפוי על האותיות שבוטלו — ואי-אפשר לאמן אותו. הוא יכול, עם זאת, למלא תפקיד חכם יותר: מורה.

Fine-tuning של OCR מבוסס טרנספורמר — שם נחתנו. עבור הקורפוס שלנו של יומון סוציאליסטי מ-1917 זיקקנו את הפלט של מנוע מסחרי על עמודים איכותיים לנתוני אימון, תיקנו אותם, ואימנּו מודל ממשפחת TrOCR לנייר עיתון בכתיב הישן. התוצאה: דיוק תווים של כ-90% על עמודי ביקורת — לא תעתיק ברמת פרסום, אבל אמין דיו לחיפוש טקסט מלא, לניתוח תדירויות ולאיתור כל ציטוט לאימות אנושי. את צד האימות של צינורות כאלה תיארנו במקרה הבוחן על ניקוד ביטחון וקליברציה: המודל חייב לומר היכן הוא אינו בטוח, כדי שאדם יביט בדיוק שם.

החלטת הכתיב שכל פרויקט חייב לקבל

דיגיטציה של טקסט טרום-רפורמי כופה בחירה שרוב הפרויקטים מגלים מאוחר מדי: באיזה כתיב כתוב הטקסט שבו מחפשים?

שמרו שתי שכבות. השכבה הדיפלומטית משמרת את הדף במדויק — ѣ, і, ѳ, ъ סופי — כי זה המקור ההיסטורי, וחוקרים מצטטים מקורות, לא מודרניזציות. השכבה המנורמלת ממירה לכתיב של היום לפי כללים (הרפורמה, למרבה המזל, הייתה שיטתית), כי כל משתמש אמיתי — היסטוריון, גנאלוג המחפש שם משפחה, סטודנטית — מקליד בתיבת החיפוש רוסית מודרנית. ההמרה חד-כיוונית וזולה; אחסון שתי השכבות אינו עולה כמעט דבר. פרויקטים ששמרו רק את הטקסט המודרני השמידו ראיות; פרויקטים ששמרו רק את הדיפלומטי בנו ארכיון שאיש אינו יכול לחפש בו.

הקורפוס הדו-שכבתי הזה הוא בדיוק מה שאִפשר את פרויקט חקר העיתונות ההיסטורית שלנו ואת מאגר המידע שנבנה סביב שנה אחת שכולה תמורות — ומרגע ששכבת הטקסט קיימת, סוכני מחקר AI יכולים לעבוד עליה בקנה מידה מלא, לקרוא כל גיליון כדי שהחוקר יקרא רק את מה שחשוב.

מתכון מעשי

1. דגמו קודם. הריצו OCR על עשרה עמודים מייצגים עם המנוע הזמין. ספרו שגיאות תווים אמיתיות על 500 תווים. מתחת ל-90% — תכננו fine-tuning.
2. תקנו את הסריקות לפני המודל. 300-400 DPI מהמקור היכן שאפשר; יישור; הפרדת טורים מפורשת — זליגת טורים היא מקור שגיאות מוביל בנייר עיתון צפוף.
3. בנו ground truth בכתיב הישן. לעולם אל תיתנו למתעתקים לעדכן כתיב. 30-60 עמודים מתוקנים הם סט אימון ראשון סביר לדפוס.
4. אמנו, מדדו על עמודי ביקורת, חזרו. שיעור שגיאות התווים על החומר שלכם הוא המספר היחיד שקובע — טבלאות השוואה של מנועים אינן עוברות לנייר עיתון של 1917.
5. הפיקו את השכבה המנורמלת לפי כללים — ושמרו את שתיהן.
6. נתבו ביטחון לבני אדם. שורות בביטחון נמוך מקבלות עיניים; כל מה שמצוטט מקבל עיניים. המודל מאיץ את הקריאה; הוא אינו מחליף את הקורא.

למי זה נחוץ

היסטוריונים של המהפכה העוברים על עיתונות 1917. גנאלוגים — ספרי מטריקה, רשומות אזרחיות ומודעות אבל כולם בכתיב הישן. חוקרי היסטוריה מקומית עם עיתונות מחוזית. משפחות המחזיקות מכתבים וגלויות בכתיב הישן. מו"לים המכינים לדפוס זיכרונות שנכתבו לפני הרפורמה.

יש בידיכם חומר רוסי שלפני 1918 — עיתונים, רשומות, מכתבים — שמתנגד לכל כלי שניסיתם? זה בדיוק סוג הקורפוס שאנחנו בונים עבורו צינורות עבודה. צרו קשר ונריץ בדיקת היתכנות על עמודים משלכם.