מעבר ל-OCR: כיצד זיהוי כתב יד פותח מסמכים היסטוריים

למרות כל ההתקדמות בדיגיטציה, בעיה מהותית נותרה: רוב המסמכים ההיסטוריים נכתבו ביד. רישומי מפקדים, מכתבים אישיים, מניפסטים של אוניות, פרוטוקולים משפטיים, פנקסי קהילות, שטרי אדמות — חומר הגלם של ההיסטוריה הוא ברובו המוחלט בכתב יד. ו-OCR מסורתי אינו מסוגל לקרוא אותו.

בעיית כתב היד

זיהוי תווים אופטי (OCR) תוכנן לטקסט מודפס. הוא פועל על ידי התאמת צורות תווים לגופנים מוכרים. כתב יד שובר כל הנחה שעליה OCR מסתמך:

• אין צורות אותיות אחידות: כל כותב מעצב אותיות באופן שונה
• תווים מחוברים: כתיבה קורסיבית מחברת אותיות בדרכים בלתי צפויות
• ריווח לא עקבי: מילים ושורות מיטשטשות זו בזו
• איכות משתנה: מריחת דיו, מרקם נייר וכלי כתיבה משפיעים על הקריאות
• כתבים היסטוריים: מוסכמות כתיבה משתנות לאורך מאות ואזורים

מפקד פולני מהמאה ה-19 שנכתב בקורסיב רוסי, פנקס אדמות עות'מאני מהמאה ה-17 בכתב ערבי, תשובה עברית מימי הביניים — כל אחד מציג אתגרי זיהוי ייחודיים ש-OCR גנרי פשוט אינו מסוגל להתמודד איתם.

היכנסו ל-HTR: זיהוי טקסט בכתב יד

HTR (Handwritten Text Recognition) משתמש בלמידה עמוקה — ובאופן ספציפי, רשתות עצביות שאומנו על דוגמאות מתויגות של כתב יד — לזיהוי טקסט שהיה מביס OCR מסורתי.

ההבדל המרכזי: במקום להתאים תווים בודדים, מודלי HTR לומדים לזהות רצפים של תווים בהקשר. רשת עצבית שאומנה על מסמכים נוטריוניים צרפתיים מהמאה ה-18 לומדת לא רק את צורות האותיות אלא גם את אוצר המילים, הקיצורים והביטויים הנוסחתיים הנפוצים בסוג מסמך זה.

כיצד פועל HTR מודרני

1. ניתוח פריסה: AI מזהה אזורי טקסט ומבחין בין כותרות, גוף טקסט, הערות שוליים, חותמות ואיורים
2. חלוקת שורות: שורות טקסט בודדות מחולצות, גם כשהן מתעקלות, חופפות או עוקבות אחר נתיבים לא סדירים
3. זיהוי רצפים: רשת עצבית (בדרך כלל שילוב של CNN ו-LSTM/Transformer) מעבדת כל שורה כרצף ומנבאת את רצף התווים הסביר ביותר
4. מודל שפה: מודל שפה מתאים את התחזיות בהתבסס על מילים וביטויים סבירים בשפת המסמך ותקופתו
5. עיבוד לאחר זיהוי: זיהוי ישויות, הרחבת קיצורים והצלבות משפרים את הדיוק

שיעורי דיוק

HTR מודרני משיג תוצאות מרשימות כאשר מאומן כראוי:

• טקסט היסטורי מודפס: 97-99% דיוק תווים
• כתב יד רשמי (פקידים, סופרים): 90-95% דיוק תווים
• כתב יד לא רשמי (מכתבים אישיים): 80-90% דיוק תווים
• כתבים מאתגרים (פגומים, ידיים חריגות): 70-85% דיוק תווים

מספרים אלה משתפרים משמעותית עם אימון ספציפי למסמך. מודל שכוונן עדין על חומרי ארכיון מסוים יכול להגיע לדיוק של 95%+ על מסמכים שמודל כללי קורא ב-75%.

יישומים בעולם האמיתי

רשומות הגירה

מניפסטים של אוניות ורשומות הגירה מהמאות ה-19 וה-20 הם בין המשאבים הגנאלוגיים המבוקשים ביותר. הם נכתבו ביד בידי פקידי נמל, לעיתים קרובות במהירות, בתנאים צפופים. שמות אויתו לעיתים קרובות בשגיאות או תועתקו באופן לא עקבי.

HTR הופך רשומות אלה לחפישות בקנה מידה נרחב, בעוד התאמת שמות מבוססת AI מקשרת וריאציות כתיב לאותו אדם.

רשומות קהילות דתיות

פנקסי לידות, נישואין ופטירות שנוהלו בידי כנסיות, בתי כנסת ומסגדים מהווים את עמוד השדרה של ההיסטוריה הדמוגרפית. רשומות אלה משתרעות על פני מאות שנים ואינספור סגנונות כתב יד.

HTR מאפשר תמלול של סדרות רשומות שלמות, ויצירת מאגרי מידע חפישים שבעבר דרשו שנים של עבודת מתנדבים ידנית.

ארכיונים משפטיים ומנהליים

פרוטוקולים משפטיים, רישומי נכסים, פנקסי מסים והתכתבויות ממשלתיות מכילים נתונים היסטוריים יקרי ערך הכלואים בכתב יד. HTR הופך אותם מתמונות עמודים אטומות לטקסט מובנה וחפיש.

התכתבות אישית

מכתבים, יומנים ומחברות מציעים חלונות אינטימיים לחיים היסטוריים. הם גם בין המסמכים הקשים ביותר לקריאה — נכתבו במהירות, בקיצורים אישיים, על כל נייר שהיה זמין. מודלי HTR מתקדמים, במיוחד בשילוב עם הבנה הקשרית, יכולים לפענח גם חומרים מאתגרים אלה.

הגישה של MF Smart Research

אנחנו לא מאמינים בפתרונות אחידים. צינור ה-HTR שלנו בנוי סביב התמחות:

1. הערכת כתב: אנו מנתחים את סגנונות כתב היד, השפות וסוגי המסמכים הספציפיים באוסף לפני בחירה או אימון של מודלים
2. אימון מודלים מותאם: באמצעות דוגמאות מתויגות מאוסף היעד, אנו מכוונים מודלי זיהוי לדיוק מרבי על אותו חומר ספציפי
3. תמיכה רב-כתבית: המודלים שלנו מטפלים בעברית, אידיש, ערבית, לטינית, קירילית וכתב גותי — לעיתים קרובות בתוך אותו מסמך
4. אימות אנושי בלולאה: תמלול AI נבדק בידי מומחים, ותיקונים מוזנים חזרה למודל לשיפור מתמיד
5. פלט מובנה: טקסט מתומלל מסופק לא כמחרוזות גולמיות אלא כנתונים מובנים — שמות, תאריכים, מקומות ויחסים מתויגים ומאונדקסים

מבט קדימה

טכנולוגיית HTR מתקדמת במהירות. ארכיטקטורות Transformer דוחפות את הדיוק עוד יותר. למידת Few-shot מאפשרת למודלים להסתגל לסגנונות כתב יד חדשים עם מינימום דוגמאות אימון. מודלים רב-לשוניים מתמודדים עם החלפת כתב בתוך מסמכים.

החזון ברור: כל מסמך היסטורי בכתב יד, בכל שפה, בכל מצב, צריך להיות קריא וחפיש. אנחנו קרובים למטרה הזו מאי פעם.

יש לכם אוסף מסמכים היסטוריים בכתב יד? צרו קשר עם MF Smart Research כדי לבדוק כיצד HTR יכול להנגיש את החומרים שלכם לחוקרים בכל העולם.