26/09/2026

חיפוש בטקסט OCR בארכיונים היסטוריים: מה עובד באמת

נכתב להיסטוריונים, גנאלוגים, ארכיונאיות ולכל מי שהקליד שם בפורטל של עיתונות סרוקה וקיבל אפס תוצאות.

תיבת חיפוש מעל אוסף סרוק נראית כמו הבטחה: כל מילה בכל עמוד, במרחק שאילתה אחת. בפועל, מי שמחפש בטקסט OCR היסטורי לא מחפש בעמודים עצמם. הוא מחפש בקריאה של מכונה את העמודים, ולקריאה הזו יש פערים צפויים.

"אין תוצאות" באוסף שעבר OCR אינו ראיה לכך שהמילה לא מופיעה. הפוסט הזה מסביר למה, ומה עושים במקום.

למה חיפוש מילות מפתח מדויק נכשל

רעש OCR

גם OCR טוב על דפוס היסטורי טועה, והשגיאות מתרכזות בדיוק היכן שהחיפוש זקוק לדיוק.

  • אותיות שנקראו לא נכון. ר' ו-ד', ו' ו-ז', ה' ו-ח'. ברוסית שלפני הרפורמה, ה-ѣ (יאט) נקראת כ-ь, ъ או б. אות שגויה אחת, והשאילתה המדויקת מפספסת.
  • מילים שבורות ומודבקות. טורים צרים, דיו דהויה וריווח צפוף מפצלים מילים לשתיים או מדביקים שכנות.
  • מקף בסוף שורה. מילה שנחצתה בין שתי שורות נשמרת כשני שברים, אלא אם הצינור מחבר אותם.
  • כותרות רצות. שם העיתון, התאריך ומספר העמוד חוזרים בכל עמוד, מנפחים ספירות ומזהמים תוצאות למילים נפוצות.

החשבון לא סלחני. הפוסט על OCR לרוסית שלפני המהפכה מדווח על דיוק של כ-90% ברמת התו למודל מכוונן על עיתונות 1917. אילו השגיאות היו בלתי תלויות, מילה בת עשר אותיות הייתה עוברת שלמה רק בכשליש מהמקרים (0.9 בחזקת 10 הוא כ-0.35). השגיאות במציאות אינן בלתי תלויות, אבל הכיוון ברור: מילים ארוכות ושמות נדירים הם בדיוק מה שחיפוש מדויק מאבד.

כתיב היסטורי

הטקסט בדף לעיתים קרובות אינו כתוב בכתיב שמשתמש בן זמננו מקליד.

רוסית שלפני רפורמת הכתיב של 1917–1918 השתמשה ב-ѣ, і, ѳ, ѵ ובסימן קשה ъ בסוף מילים שמסתיימות בעיצור. שאילתה מודרנית ל-мир לא תמצא миръ או міръ. הפתרון ברמת הארכיון הוא לשמור שתי שכבות, דיפלומטית ומנורמלת, כפי שמתואר בפוסט על הרוסית. פורטלים רבים מפרסמים רק אחת.

לעברית גרסה משלה לבעיה. כתיב מלא וכתיב חסר משתנים לפי תקופה, כתב עת וכותב: שולחן ושלחן, תוכנית ותכנית. ביידיש יש כתיבים מתחרים: היידיש הסובייטית כתבה מילים ממקור עברי באופן פונטי, ולכן שם העיתון הסובייטי "דער עמעס" מופיע כ"אמת" בגלגולו הראשון (1918–1919) וכ"עמעס" מ-1920 ואילך.

מורפולוגיה

בעברית מילות יחס וחיבור נצמדות למילה. האותיות ו, ה, ב, כ, ל, מ, ש יכולות להופיע כתחיליות, ולא פעם כמה יחד. חיפוש של ירושלים יפספס את בירושלים, מירושלים ו-ושבירושלים, אלא אם המנוע יודע לטפל בתחיליות.

להסרה אוטומטית של תחיליות יש מחיר. ברק יכול להיות שם או ב + רק; מלך יכול להיות "מלך" או מ + לך. צריך לצפות להתאמות שגויות ולבדוק אותן.

רוסית ויידיש נוטות בהטיות רבות. Двоевластие ("שלטון כפול") מופיעה גם כ-двоевластия, двоевластию, двоевластием, ובכתיב שלפני הרפורמה כ-двоевластіе. שאילתת תחילית כמו двоевласт* תופסת את כולן. רוב מנועי החיפוש מלא-הטקסט תומכים בכוכבית בסוף מילה; בשפות עם הטיות כדאי להשתמש בה כברירת מחדל.

מה עובד במקום

1. רשימת וריאנטים קטנה לכל מונח מפתח

לפני החיפוש, רושמים את הצורות הצפויות: כתיב ישן וחדש, מלא וחסר, בלבולי OCR נפוצים, תעתיקים של שמות, ראשי תיבות. עשר עד עשרים צורות למונח הן בדרך כלל התחלה מספיקה.

זה אותו היגיון של מילון התחום ל-OCR, רק ברגע השאילתה ולא ברגע הזיהוי. שומרים את הרשימה בקובץ, מוסיפים לה בכל פעם שהקונקורדנציה מגלה צורה שפוספסה, ומשתמשים בה שוב בפרויקטים הבאים.

2. חיפוש עמום, בזהירות

חיפוש עמום (מקורב) מוצא מילים במרחק עריכה קטן, בדרך כלל שינוי של תו אחד או שניים. במנועים מבוססי Lucene, כמו Solr ו-Elasticsearch, כותבים זאת term~1 או term~2.

הוא מוצא צורות שגויות שאי אפשר היה לנחש מראש. הוא גם מחזיר הרבה מילים שפשוט דומות. ככל שהמילה קצרה יותר, העסקה גרועה יותר. חיפוש עמום של שני שינויים על מילה בת ארבע אותיות תופס חלק גדול מאוצר המילים. שומרים אותו למילים ארוכות ולשמות, ומצמידים לו טווח תאריכים או סינון לפי אוסף.

3. לקרוא כל תוצאה ב-KWIC

קונקורדנציית KWIC (keyword in context) מציגה כל תוצאה בשורה נפרדת, המילה שנמצאה במרכז וחלון טקסט קבוע מכל צד. מיון לפי המילים שמימין או משמאל מקבץ שימושים דומים יחד.

בחומר שעבר OCR זה כלי האימות המרכזי של החוקר או החוקרת:

  • התאמות שגויות של חיפוש עמום או תחיליות נראות מיד;
  • צורות כתיב חדשות צצות בעמודה המרכזית, מוכנות להיכנס לרשימה;
  • כותרות רצות ועמודים כפולים בולטים לעין.

ואז חוזרים לתמונת הדף. כל מה שמצטטים, סופרים או בונים עליו טיעון חייב להיבדק מול הסריקה, לא מול שורת ה-OCR.

4. חיפוש סמנטי כתוספת

חיפוש מבוסס embeddings מוצא קטעים לפי משמעות, ולכן יכול להעלות דיון בנושא שלא משתמש כלל במילת המפתח, והוא סובל רעש OCR במידה מסוימת. RAG לארכיונים בונה על זה כדי לענות על שאלות עם קטעים מצוטטים.

זו תוספת, לא תחליף. אחזור סמנטי מחזיר את הקטעים הדומים ביותר, לא את כל הקטעים התואמים, ולכן הוא חלש ברשימות ממצות, בספירות ובשמות מדויקים. מילות מפתח ו-KWIC משמשים ל"כל אזכור של X", חיפוש סמנטי ל"איפה דנים ב-Y", ואת שניהם מאמתים מול התמונות.

5. למדוד כיסוי לפני שסומכים על "אין תוצאות"

לוקחים סט של אזכורים שכבר ידועים: 20 או 30 מופעים שנמצאו בקריאה ידנית של מדגם עמודים. מריצים את השאילתות וסופרים כמה מהם נמצאו. אם רשימת הווריאנטים, הכוכביות והחיפוש העמום מוצאים את רובם, תוצאה שלילית במקום אחר מתחילה לומר משהו. אם הם מוצאים חצי, תוצאה שלילית אומרת מעט מאוד.

חקר המקרה על כיול רמת הביטחון מראה את אותו עיקרון בצד הזיהוי: לבדוק היכן השגיאות מתרכזות, לא רק את הממוצע.

רשימת בדיקה לחוקרים

  • "אין תוצאות" פירושו "השאילתה הזו לא מצאה", לעולם לא "זה לא שם".
  • רשימת וריאנטים לכל מונח: כתיב, אורתוגרפיה, בלבולי OCR, תעתיקים.
  • כוכבית בסוף מילה בעברית, ברוסית וביידיש.
  • חיפוש עמום רק על מילים ארוכות ושמות.
  • קריאה ב-KWIC, והוספת וריאנטים חדשים לרשימה.
  • בדיקה של כל תוצאה מצוטטת או נספרת מול תמונת הדף.
  • מדידת כיסוי על סט אזכורים ידוע לפני שמסיקים מסקנות.

רשימת בדיקה לארכיונים שמפרסמים טקסט OCR

  • לחשוף את שכבת הטקסט הגולמית, רצוי להורדה, לצד התמונות.
  • לאפשר חיפוש עם כוכבית וחיפוש עמום, ולתעד את התחביר.
  • להציג רמת ביטחון. פורמטים כמו ALTO XML יכולים לשמור ביטחון לכל מילה; להציג אותו, או לפחות לסמן עמודים בביטחון נמוך.
  • לקשר כל תוצאה לתמונה, עם הדגשה של האזור שנמצא.
  • לפרסם טקסט דיפלומטי ומנורמל כשהכתיב השתנה.
  • לציין איזה מנוע הפיק את הטקסט ומתי, כדי שהמשתמשים יידעו במה הם מחפשים.

השוואת מנועי ה-OCR לעברית עוסקת בצד הזיהוי; הרשימה כאן עוסקת בהפיכת הטקסט לשמיש אחרי שהוא קיים.

אם האוסף שלכם כבר סרוק אבל תוצאות החיפוש חלשות, הבעיה היא בדרך כלל שילוב של איכות טקסט ותכנון חיפוש, ואת שניהם אפשר למדוד על מדגם. אפשר לקרוא איך אנחנו ניגשים ל-OCR ו-HTR לעברית היסטורית, או ליצור קשר עם כמה עמודים ורשימת המונחים שניסיתם למצוא.

שאלות נפוצות

למה החיפוש לא מוצא מילה שאני רואה בבירור בתמונת הדף?

כי החיפוש רץ על שכבת הטקסט של ה-OCR ולא על התמונה. אם המנוע קרא אות אחת לא נכון, פיצל את המילה במקף בסוף שורה, או שהמילה כתובה בכתיב ישן או עם תחילית, שאילתה מדויקת לא תמצא אותה, גם כשקורא אנושי רואה אותה מיד.

האם חיפוש עמום פותר את בעיית שגיאות ה-OCR?

הוא עוזר, אבל משלם על כך בדיוק. התרת הבדל של תו אחד או שניים מוצאת צורות שנקראו לא נכון, ובמילים קצרות גם מציפה את התוצאות במילים לא קשורות. כדאי להשתמש בו במילים ארוכות ובשמות, ולקרוא כל תוצאה בהקשרה.

מה זו קונקורדנציית KWIC ולמה היא חשובה לחוקרים?

KWIC (keyword in context) מציגה כל תוצאה בשורה אחת, כשהמילה שנמצאה במרכז ומעט טקסט מכל צד. כך אפשר לסרוק מאות תוצאות במהירות, לסנן התאמות שגויות ולגלות צורות כתיב שלא חשבתם לחפש.

האם חיפוש סמנטי או RAG יכולים להחליף חיפוש מילות מפתח?

לא. חיפוש סמנטי טוב במציאת קטעים שעוסקים בנושא במילים אחרות, אבל אינו אמין לשמות מדויקים, לרשימות ממצות ולספירות. משתמשים בו לצד חיפוש מילות מפתח, ומאמתים כל קטע מול תמונת הדף.