כמה טעויות מביכות סנג'רו מסוגל לייצר בארבעה משפטים בודדים?

מסתבר שלאחר שסנג'רו קיבל ממני מחקר מקורי ואיכותי המראה כיצד ניתן להשתמש בסימולציות ככלי בטיחותי במשפט הפלילי, הוא בחר להציע בספר הנושא את שמו בלבד שימוש בסימולציה מסוימת (בעזרת מחשבים חזקים) ככלי בטיחותי במשפט הפלילי. אלא שבארבעה משפטים בהם הוא הציע זאת, הוא עשה טעויות מביכות מאד המלמדות שהוא לא באמת הבין מהי סימולציה ומה חוקרים אחרים בתחום עשו.

ב-25 השנה האחרונות, אני עוסק בסימולציות ממוחשבות כמעט באופן יום יומי בתחומים רבים. בין היתר, פרסמתי שני מאמרים בהם חישובים תאורטיים וסימולציות מקוריות בתוכנה, החוזים את מספר ההתאמות המלאות ואת מספר התאמות החלקיות בין פרופילים גנטיים במאגרים ובאוכלוסיה כולה.

במהלך העבודה על הספר בבטיחות במשפט הפלילי שהיה עתיד להתפרסם באוקספורד, העברתי לסנג'רו עמודים רבים בהם מחקר מקורי וחדש המראה בין היתר: כי סימולציות נפוצות בתחומי מחקר שונים; הפנתי  למקור המראה כי ה- FDA רואה בסימולציות כלי בטיחותי חשוב; בנוסף, תיארתי את ההתאמות החלקיות במספר אתרים גבוה בין פרופילים גנטיים שנמצאו במאגר ה-DNA באריזונה שכלל 65,493 פרופילים גנטיים בלבד; הפנתי למאמרים המקוריים של Mueller ו- Weir אותם הכרתי לעומק ותיארתי את הניתוח של כל אחד מהם.  בין היתר, כדי לדעת את מספר התאמות שימצאו במאגר הלאומי האמריקני, ביצעתי במיוחד לצרכי הספר סימולציה של מאגר DNA המונה 10,477,600 פרופילים - כגודל המאגר הלאומי NDIS בארה"ב באותה תקופה. כן ביצעתי חישוביים תאורטיים הנוגעים לגבי מספר ההתאמות באוכלוסיה כולה. קישרתי את המחקר להרשעה השנויה במחלוקת של John Puckett. כך המחשתי כיצד סימולציה יכולה להוות כלי בטיחותי מהמעלה הראשונה למשפט הפלילי (ראו נספחים בסוף הפוסט הנוכחי)

הרעיון בדבר אפשרות השימוש בסימולציה, ככלי בטיחותי במשפט הפלילי, ולא רק בכל הקשור לראיית - DNA, הינו אחד העמוקים והמקוריים והחדשים שהבאתי לטיוטת הספר עם סנג'רו על בטיחות. הוא כולו שלי ולסנג'רו אין כל חלק בו. הוא מבוסס על הידע שלי וניסיון רב השנים שלי בדבר התועלת העצומה בפיתוח סימולציות ועל ההכרות שלי עם אופי הבעיות בתחום המשפטי. גם בתחלופות דואר אלקטרוני, וטיוטות של פרקים קודמים ביני לבין סנג'רו, הזכרתי את הסימולציה ככלי בטיחותי חשוב במשפט הפלילי. ברור שהיה אסור לו להציע להשתמש בסימולציות ככלי בטיחותי למשפט הפלילי בפרסומים הנושאים את שמו בלבד. הרי לא מדובר על רעיון שלו.

סנג'רו אכן לא כלל בספר את הסימולציות והחישובים שלי. אולם נדהמתי לקרוא בעמוד 114-115 ארבעה משפטים אשר בהם הצעה בגוף ראשון ("אני טוען") לבצע סימלוציות מסוימות, ככלי בטיחותי חשוב במשפט הפלילי. אותם ארבעה משפטים באנגלית מופיעים בסוף הפוסט - בנספח א' - ולהלן תרגום חופשי שלי שלהם:

"מעט חוקרים, כולל Bruce Weir ו- Laurence Muellerהשתמשו בסימולציות עם בסיס נתונים במחקר שלהם. אבל בסיסי הנתונים שהיו זמינים להם היו קטנים. אני טוען כי ביצוע סימולציות נרחבות במאגרי ה-DNA הלאומיים NDIS)) יהוה כלי בטיחותי חשוב במשפט הפלילי. אכן, אנשים לא צרכים להישפט ולהשלח לכלא על בסיס תיאוריה וחישובים (של הסתברות התאמה מקרית RMP) לבדם, כאשר אנו יכולים לוודא בעזרת סימולציות (תוך שימוש במחשבים חזקים) את הסתברות ההתאמה המקרית האמיתית, עבור כל כמות של אתרים בפרופיל."

אלא שלא קשה לגלות כי הקטע כולל טעויות מביכות מאד:

א.     המשפט... "כאשר אנו יכולים לוודא בעזרת סימולציות (תוך שימוש במחשבים חזקים) את הסתברות ההתאמה המקרית האמיתית" הוא משפט שגוי בעליל הכולל סתירה פנימית. כי סימולציה בדומה לזאת שנעשתה על ידי Mueller, לא עוסקת בפרופילים גנטיים אמיתיים, אלא בפרופילים סינתטיים המיוצרים על סמך מודלים תאורטיים קיימים ועל סמך טבלאות שכיחות אללים באוכלוסיה ועל סמך מחולל מספרים אקראיים. לכן לא ניתן לוודא את "הסתברות ההתאמה המקרית האמיתית" (של פרופילים גנטיים מציאותיים), על סמך פרופילים סינתטיים שיוצרו בסימולציה ממספרים אקראיים. מדובר על המצאה של סנג'רו, שכנראה לא באמת מבין מהי סימולציה של מאגר פרופילים גנטי.

ב.      לצורך חישוב הסתברות ההתאמה המקרית "האמיתית" (ככל שניתן להגדיר מושג שכזה), מדטה מתויג הנמצא במאגרים גדולים, אין צורך במחשב חזק כמו זה הדרוש לביצוע סימולציה. כל מה שצריך, זה לחשב את שכיחות האללים באוכלוסיה רלוונטית בעזרת חישוב פשוט המתבצע בשברירי שנייה בכל מחשב צנוע. הטענה כי יש צורך במחשב חזק כדי לחשב הסתברות התאמה מקרית "אמיתית", היא המצאה נוספת של סנג'רו.

ג.      החוקר Weir לא ביצע סימולציה לא עם בסיס נתונים קטן ולא עם גדול. Weir לא ביצע סימולציה בכלל. הוא ביצע חישוב תיאורטי שאמור לנבא את הכמות הממוצעת של התאמות וההתאמות חלקיות במאגר. הוא גם השווה את החישוב התיאורטי שלו, לכמות ההתאמות החלקיות שמצא במאגר שהיה ברשותו. הטענה כי Weir ביצע סימולציה היא המצאה של סנג'רו המלמדת שהוא לא הבין את ההבדל בין סימולציה לבין חישוב תיאורטי, ולא את מה ש- Weir ביצע.

ד.      Laurence Mueller לא ביצע סימולציה עם בסיס נתונים קטן (וגם לא גדול) מהסיבה הפשוטה שהסימולציה אותה Mueller ביצע ייצרה בעצמה דטה סינטטי (פרופילים מוגרלים ולא אמיתיים). החוקר Mueller דימה מאגר בגודל של המאגר באריזונה על סמך מודל גנטי וטבלאות שכיחות אללים באוכלוסיה, וספר את כמות ההתאמות החלקיות בה. הוא ניסה להשוות זאת לתוצאות ההתאמות החלקיות שהתגלו במאגר האמיתי באריזונה. מכאן ששוב מדובר על המצאה של סנג'רו.

מיותר לציין כי בעמוד 161 במאמר של David H. Kaye לשם סנג'רו מפנה (בהערת שוליים 68) כדי לתמוך את טיעוניו אין שום זכר להמצאות הללו. בפרט, בכל המאמר של Kaye אין שום אזכור כי החוקר Bruce Weir ביצע סימולציה. זאת, כאמור, מהסיבה הפשוטה כי Weir לא ביצע סימולציה. המילה סימולציה מופיעה במאמר של Kaye בהקשר של הסימולציה של  Mueller ולא בהקשר של חישוב הסתברות התאמה מקרית "אמיתית". וכמובן, שלא כתוב במאמר כי Mueller  ביצע סימולציה על בסיס נתונים קטן.

מכאן, עולים הדברים החמורים הבאים:

א.     סנג'רו נחשף למחקר נרחב שלי בנושא סימולציות והתאמות במאגרים ולא מאזכר זאת בספר בשום מקום.

ב.      הוא בחר לכתוב על נושא טכני בו אינו מבין ותוך כדי כך ייצר טעויות מביכות.

ג.      סנג'רו הפנה למקור, שלא תומך בתכנים אותם הוא טען שמצא בו.

ד.   באותם משפטים ספורים, סנג'רו הראה בורות גדולה וחוסר הבנה בנושאים טכניים הקשורים למאמרים אליהם הוא התייחס.

ברור אם כך, כי המשפט השגוי: " אני טוען כי ביצוע סימולציות נרחבות במאגרי ה-DNA הלאומיים NDIS)) יהוה כלי בטיחותי חשוב במשפט הפלילי"? אינו עולה מאף אחד מהמחקרים עליהם הוא לכאורה מתבסס. יש להניח כי סנג'רו הושפע מאד מהמחקר שהעברתי אליו, ובפרט מהעובדה שביצעתי סימולציה של מאגר בגודל של ה-NDIS. הוא כנראה ניסה בכל כוחו להיות זה שמציע (בגוף ראשון) לבצע סימולציות ככלי בטיחותי במשפט הפלילי, וזאת, גם שאינו מבין מהי סימולציה.

נספח א- עמודים 114-115 בספרו של סנג'רו נשוא הדברים לעיל:

נספח ב- מידע כללי לגבי סימולציות שהעברתי לסנג'רו. 

נספח ג':התפלגות הפרופילים הגנטיים בסימולציה שעשיתי:

נספח ד': תוצאות סימולציה של חקירה משטרתית במאגר בגודל של NDIS על פרופיל בין שישה אתרים (כמו מספר האתרים במקרה של ג'ון פאקט)

נספח ה': הגדלה של הגרף בנספח ד'. 

נספח ו': תוצאות מחישובים תאורטיים והתייחסות להרשעתו של ג'ון פאקט.