סריקת ארכיונים ל-OCR: ההגדרות שקובעות את הדיוק
נכתב לארכיונאים, ספרניות, גנאלוגים ולכל מי שעומד להניח קופסת מסמכים על סורק.
כשפרויקט OCR או פענוח כתב-יד מאכזב, השיחה עוברת בדרך כלל למודל. איזה מנוע, כמה נתוני אימון, האם צינור מותאם היה עושה עבודה טובה יותר. אלה שאלות אמיתיות. אבל בפרויקטים שעומדים מאחורי המדריכים באתר הזה, הסיבה השכיחה ביותר לדיוק נמוך הוכרעה הרבה קודם: ברגע שמישהו בחר את הגדרות הסורק.
מודל יכול ללמוד כתב חדש. הוא לא יכול לשחזר קו שהסריקה מעולם לא קלטה. וכמו שנכתב במדריך ה-OCR לעברית: אי אפשר "לבטל טשטוש" של עמוד בדיעבד.
הפוסט הזה עוסק בהחלטות שמתקבלות לפני שבינה מלאכותית נוגעת באוסף, ובדרך זולה לבדוק אותן.
רזולוציה: הרצפה והתקן
המספרים באתר הזה עקביים מסיבה טובה. 300 DPI הם הרצפה ל-OCR. 400–600 DPI הם התקן לחומר היסטורי.
אבל DPI לבדו הוא רק מדד עקיף. מה שמודל הזיהוי צריך באמת הוא מספיק פיקסלים לכל אות, כדי להבחין בין צורות דומות: ר' ו-ד', ו' ו-ז', אותיות קיריליות שבוטלו ב-1918 ונבדלות ממקבילותיהן המודרניות בקו דק אחד. לכן הרזולוציה הנכונה תלויה בגודל הכתב, לא בגודל הדף:
- דפוס ברור בגודל ספר. 400 DPI נוחים; 300 אפשריים.
- עיתונות צפופה, אות קטנה, הערות שוליים. 600. אותיות קטנות הן הראשונות שנפגעות מרזולוציה נמוכה.
- כתב-יד, הערות בשוליים, דיו דהויה. 400 לכל הפחות, 600 כשהכתב קטן או הדיו חלשה.
מפתה לחסוך באחסון ולסרוק ברזולוציה נמוכה. כדאי לעשות את החשבון לפני שמחליטים. עמוד A4 ב-400 DPI בצבע 24 ביט ללא דחיסה שוקל כ-46 מגה-בייט; ב-300 DPI כ-26 מגה-בייט. דחיסה ללא אובדן מקטינה את שניהם. מול העלות של טיפול חוזר באוסף שביר, ההפרש קטן.
צבע, גווני אפור, וההגדרה היחידה שיש להימנע ממנה
סורקים את קובצי המאסטר בצבע כשאפשר, או לכל הפחות בגווני אפור של 8 ביט.
לעולם לא סורקים חומר היסטורי במצב דו-טוני (שחור-לבן של ביט אחד). סריקה דו-טונית מקבלת החלטה חדה בכל פיקסל: דיו או נייר. בעמוד מודרני ונקי ההחלטה קלה. בעמוד מוכתם, מצהיב או דהוי, סף ההחלטה של הסורק זורק בדיוק את הקווים החלשים וההבחנות העדינות שהזיהוי תלוי בהם, ושום שלב בהמשך לא יחזיר אותם.
לצבע יש גם ערך שמעבר לאסתטיקה. דיו מסוגים שונים, הערות בעיפרון, חותמות ותוספות מאוחרות קל יותר להפריד בצבע, וקטלוגר ירצה את ההבחנה הזו גם אם מנוע ה-OCR לא צריך אותה.
פורמט קובץ: לשמור מאסטר נקי
מתייחסים לסריקה כשני תוצרים.
- המאסטר. TIFF ללא דחיסה או בדחיסה ללא אובדן (גם JPEG 2000 ללא אובדן נפוץ). זה הקובץ שמשמרים, ועליו מריצים את הזיהוי.
- נגזרות. קובצי JPEG או PDF דחוסים לצפייה, לשיתוף ולאתר.
דחיסת JPEG כבדה יוצרת עיוותים בדיוק סביב קצוות הקווים. לקורא בזום רגיל הם בלתי נראים; למודל הם בולטים מאוד.
לא צורבים שיפורים לתוך המאסטר. חידוד, הגברת ניגודיות, "מצב מסמך" אוטומטי וחיתוך אוטומטי אגרסיבי מרגישים מועילים, וכולם מקבלים החלטות בלתי הפיכות. אם עמוד צריך שיפור לטובת הזיהוי, עושים את זה בתוך הצינור, על עותק, שם אפשר לכוונן ולבטל.
שוליים, צדי-ב' וקצוות הדף
חיתוך אוטומטי הוא מקור שקט לאובדן מידע. משאירים שוליים גלויים סביב הדף כולו. מסמכים ארכיוניים שמים מידע חשוב דווקא בקצוות:
- מספרי דפים ועמודים,
- הערות ותיקונים בשוליים,
- חותמות, מספרי רישום וסימולי ארכיון,
- קצה של טבלה שממשיכה בעמוד הסמוך.
סורקים את צד ב' גם כשהוא נראה ריק. הערה חלשה בעיפרון בגב תצלום או טופס היא לעיתים קרובות השורה המועילה ביותר בתיק, כפי שמתואר לגבי כתב-יד בגב המסמך בפוסט על מערכת הקטלוג שמגדירה את עצמה.
תאורה, שטיחות וכרכים כרוכים
תאורה אחידה ומפוזרת חשובה יותר מחיישן יקר. בוהק על נייר מבריק וצללים ממנורה צדדית נקראים שניהם כרעש.
כרכים כרוכים מוסיפים את בעיית השדרה. הטקסט מתעקל לתוך הכריכה, השורות מתכופפות, והטור הפנימי מצטמק ומחשיך. מנועי זיהוי מתמודדים עם מעט עקמומיות, לא עם הרבה. כשהחפץ מאפשר זאת, עריסת ספרים שתומכת בכרך בזווית פתיחה עוזרת. לוח זכוכית משטיח את הדף, אבל משתמשים בו רק כשמשמר מאשר שהכריכה והנייר יעמדו בזה.
לגנאלוגים שעובדים עם טלפון ולא עם סורק, אותם עקרונות חלים בקנה מידה קטן: להניח את הדף שטוח, להשתמש באור יום ולא בפלאש, להחזיק את המצלמה מקבילה לדף, ולמלא את המסגרת תוך השארת שוליים.
כרטיסי ייחוס והנחיות מפורסמות
אין צורך להמציא תקן איכות. קיימים שניים נפוצים:
- FADGI (Federal Agencies Digital Guidelines Initiative, ארצות הברית).
- Metamorfoze (התוכנית הלאומית ההולנדית לשימור מורשת הנייר).
שניהם מגדירים רמות איכות לסוגי חומר שונים ונשענים על כרטיסי ייחוס: לוחות עם צבעים, גווני אפור ופרטים דקים ידועים, שמצלמים לצד המקור או לפניו, כך שאפשר למדוד את איכות הצילום ולא רק להעריך אותה בעין. גם אם לא מכוונים לרמה המחמירה שלהם, צילום כרטיס ייחוס בתחילת כל סשן תופס מוקדם הגדרות שהשתנו.
סדר ושמות
תוצאת הזיהוי שימושית רק אם אפשר להחזיר אותה למקום שממנו באה. מחליטים על שיטת שמות הקבצים לפני הסריקה הראשונה: אוסף, קופסה, תיק ומספר רץ עם אפסים מובילים. שומרים על הסדר הפיזי, כולל דפים ריקים ותוספות. עמוד חסר בסדרה ממוספרת הוא בעיית קטלוג; עמוד שהסדר שלו השתנה בשקט גרוע יותר.
לבדוק על 50 עמודים לפני שסורקים 50,000
השלב הזול ביותר בכל פרויקט דיגיטציה הוא פיילוט.
- בוחרים 20–50 עמודים שמייצגים את המקרים הקשים. האות הקטנה ביותר, הדיו הדהויה ביותר, השדרה הצפופה ביותר, הנייר הגרוע ביותר.
- סורקים אותם בשתיים או שלוש הגדרות. למשל 300 ו-400 DPI, גווני אפור וצבע.
- מריצים זיהוי על כל סט ומתקנים מדגם ידנית.
- משווים את שיעורי השגיאה. חקר המקרה על כיול רמת הביטחון מראה למה כדאי לבדוק גם איפה השגיאות מתרכזות, ולא רק את הממוצע.
אם ההגדרה הגבוהה מפחיתה משמעותית את השגיאות בעמודים הקשים, עלות האחסון החזירה את עצמה. אם לא, יש בידיכם ראיה לטובת הבחירה הזולה.
ומה אם האוסף כבר סרוק?
רוב האוספים כבר סרוקים. לא סורקים הכול מחדש מתוך עיקרון.
מריצים זיהוי על הסריקות הקיימות, מודדים, ומאתרים היכן השגיאות מתרכזות. בדרך כלל מדובר במיעוט מהעמודים: אצווה דו-טונית מפרויקט ישן, תמונות שמקורן במיקרופילם, כרכים עם כריכה צפופה. עבורם, ורק כשהמקורות שרדו, סריקה חדשה מהמקור קונה בדרך כלל יותר מכל כמות של כוונון מודל. סריקה ממיקרופילם רחוקה לפחות דור אחד מהנייר, וכל דור מאבד פרטים.
רשימת בדיקה קצרה
- רזולוציה: 400 DPI לרוב החומר ההיסטורי, 600 לאות קטנה ולכתב-יד חלש.
- צבע או גווני אפור של 8 ביט. לעולם לא דו-טוני.
- מאסטר ב-TIFF או בפורמט אחר ללא אובדן; נגזרות דחוסות לצפייה בלבד.
- בלי חידוד, ניקוי או חיתוך אוטומטי צמוד על המאסטר.
- שוליים מלאים; סורקים גם את צד ב'.
- תאורה אחידה; תמיכה בכרכים כרוכים; להתייעץ עם משמר לפני שימוש בזכוכית.
- כרטיס ייחוס בכל סשן.
- שמות קבצים וסדר עמודים נקבעים לפני הסריקה הראשונה.
- פיילוט של 20–50 עמודים קשים לפני ההרצה המלאה.
אם אתם מתכננים פרויקט דיגיטציה ורוצים שהזיהוי יעבוד על התוצאה, הזמן לדבר על המודל הוא לפני שמדליקים את הסורק. אפשר לקרוא איך אנחנו ניגשים ל-OCR ו-HTR לעברית היסטורית, או ליצור קשר עם מדגם של העמודים הקשים ביותר שלכם.