"אלגוריתמי התאמה משוערים" (עדיין טיוטת NIST) או "דמיון השומר על פונקציות hash" עשויים לעניין אותך. אלגוריתמים אלה תוכננו במיוחד לקביעת הדמיון בין שני אובייקטים דיגיטליים. חלק מהאלגוריתמים המוצעים עד כה (ושימושיים) הם (כרונולוגית): ssdeep, sdhash, mrsh-v2.

כדי לקבוע את הדמיון בין אובייקטים אלגוריתמים אלה דורשים נתח מינימלי. Mrsh-v2 מתפקד בצורה הטובה ביותר מבחינת גודל מינימלי הנדרש.

Mrsh-v2 נראה ממש מבטיח מבחינת ביצועים וגודל נתח מינימלי הנדרש, אך עדיין בפיתוח. אני מקווה שזה עשוי לפתור את הבעיה שלך לטיפול בקבצים דומים.

ישנן סיבות תיאורטיות טובות מדוע חשיש כזה אינו יכול להתקיים, או אינו יכול להיות "חשיש" במובן הצפנה של המונח. במילים פשוטות, אם ערכי חשיש של שתי תשומות "דומות" הם עצמם "דומים" זה לזה, אז אתה יכול להשתמש בזה בכדי לשחזר ביעילות קלט מפלט נתון, הסותר את התנגדות לפני תמונה .

מהתגיות שלך, אני מניח שאתה מנסה לעצב תוכנת אנטי-וירוס שמכירה את "חתימות" הנגיף N ומה לזהות כל וירוס שהוא "דומה" (עבור מושג כלשהו של דמיון) לכל אחד מ N ערכים הללו, אך בעלות חישובית נמוכה משמעותית מ N השוואות (מכיוון ש N יכול להיות גבוה מאוד ). כאשר מושג הדמיון הוא "שוויון מדויק", תוכלו למיין את החתימות ולבצע חיפוש בינארי עם עלות O (יומן N) (לאחר מכן משתמשים בפונקציות hash כדי להפוך את התהליך למהיר עוד יותר על ידי הקפדה על כך לכל "החתימות" יש גודל קבוע קבוע). עם זאת, למושג דמיון שאינו חד, הבעיה הופכת להיות קשה.

חיפוש דמיון בבסיסי נתונים הוא בעיה ידועה של ביואינפורמטיקה בה היא משמשת לרצפי נוקלאוטידים ו אובייקטים דומים שיש להתאים אותם בבסיסי נתונים ענקיים למרות הבדלים מזדמנים. בשורה התחתונה:

• ישנם פתרונות אפשריים, אך הם מסתמכים על מודל הסתברותי של ההבדלים האמיתיים שאפשר להיתקל בהם.
• אנשים חיפשו אחר פיתרון טוב מזה עשרות שנים ועדיין מחפש.

השיטות האמיתיות בהן משתמשת תוכנת האנטי-וירוס לבדיקת חתימות מבלי להאט את המכונה לסריקה הן בבסיס העסק שלהן. אפשר להבין שהם לא מאוד מדברים על זה. אנו יכולים לשער כי כל פתרון שהם ימצאו עשוי לכלול הרבה שינויים והשערות על וריאציות וירוסיות בפועל כפי שנצפו בטבע.

Hashing נועד במיוחד לגרום לתשומות להיראות שונות ככל האפשר. מה שאתה רוצה הוא אלגוריתם אשכולות שנועד למיין פריטים "דומים" לאותו סל או סמוך. דמיון אינו מושג מוגדר היטב, תזדקק להגדרה ספציפית לתחום.

בדיוק כניסוי מחשבה, נניח שרצית לזהות הונאת נייר מונח שנעשית על ידי גזירה והדבקה ממסמכים אחרים. אתה יכול לעשות משהו כמו:

1. חישב כל רצף בן 4 מילים וספור את מספר המופעים של כל hash.
2. מחק את כל הגיבובים המופיעים במילון גדול של נפוץ מסמכים.
3. בין ה n החשיפות הנפוצות ביותר שנותרו.

כדי להשוות בין שני מסמכים לצורך דמיון, ספור כמה חשיפות פנימיות יש להם במשותף.