כיצד עובד זיהוי הספאם של Telm

1בוט אחד, שכבות רבות

Telm אינו נשען על טריק יחיד. חשבו על זה כמו אבטחה בשדה תעופה: הודעה עוברת דרך מספר נקודות ביקורת, אחת אחרי השנייה, וניתן לאשר או לעצור אותה בכל אחת מהן.

העיצוב הרב-שכבתי הזה הוא מה שהופך את ההגנה גם לאמינה וגם למהירה. מקרים ברורים מיושבים מיד, ורק ההודעות הגבוליות באמת נבחנות מקרוב יותר — ולכן אפילו קבוצה עמוסה של עשרות אלפי חברים עוברת מודרציה בזמן אמת מבלי שתרגיש איטית אי פעם.

• בדיקת ספאמר גלובלית — ספאמרים ידועים נעצרים בכניסה, לפני הודעתם הראשונה.
• גלאי כללים ותבניות — ספרייה גדולה שמזהה מזימות ספאם במבט.
• זיכרון ספאם חוזר — גל של ספאם זהה או דומה נתפס בבת אחת.
• מודל ML משלנו — מאומן על ספאם אמיתי בשפות רבות כדי לתפוס קמפיינים שמעולם לא ראה.
• מסווג AI — קורא משמעות, עבור ההודעה הנדירה שהיא גבולית באמת.
• למידה עצמית — ההחלטות שלכם מחדדות כל שכבה עבור הקבוצה שלכם.

2המסע של הודעה בודדה

הנה מה שקורה כשמישהו מפרסם בקבוצה שלכם. ההודעה נבדקת מול שכבה אחר שכבה, ורוב ההודעות מאושרות או נתפסות הרבה לפני הסוף.

מנהלים, בעל הקבוצה וחברים מהימנים ברשימה הלבנה לעולם אינם עוברים מודרציה — ההודעות שלהם מדלגות על הבדיקות האלה לחלוטין, ולכן לעולם אינכם צריכים לדאוג שהבוט ייגע בצוות שלכם.

• בדיקת כניסה — ספאמר ידוע נעצר בשער על ידי מסד הנתונים הגלובלי של ספאמרים לפני הודעתו הראשונה (ראו רשימת החסימה CAS ומסד הנתונים הגלובלי של ספאם).
• כללים ותבניות — גלאים רבים מצטברים לכדי ציון ספאם. אף מילה בודדת אינה חוסמת מישהו; ההחלטה נובעת מסכום הסימנים.
• זיכרון ספאם חוזר — אם אותו טקסט או טקסט כמעט זהה זה עתה נשפט בקבוצה שלכם, נעשה שימוש חוזר באותה תשובה, כך שמבול של עותקים מטופל בבת אחת.
• מודל ה-ML שלנו — מדרג עד כמה הניסוח נראה ספאמי; ספאם ודאי וטקסט נקי ודאי מיושבים כאן, והאמצע ממשיך הלאה.
• שכבת AI — מודל שפה קורא את משמעות ההודעה שעדיין גבולית (ראו מודרציית AI).
• תמונות ואודיו — גיבוב תפיסתי, זיהוי טקסט OCR, זיהוי קודי QR ותמלול קול מזינים את הטקסט שלהם בחזרה לאותן בדיקות עצמן.
• פסק דין ופעולה — מעבר, מחיקה, השתקה, חסימה או שליחה לבדיקת מנהל. הכול מתועד עם הסיבה ביומן המודרציה.

3מה כל שכבה באמת עושה

כדאי לדעת מהי המשימה שכל נקודת ביקורת באמת מבצעת, מכיוון שהן תופסות סוגים שונים מאוד של ספאם. יחד הן מכסות זו את נקודות העיוורון של זו.

• גלאי כללים ותבניות — גלאים בנויים ידנית שמזהים מזימות ספאם ולא מילים בודדות: פיתויים למעבר להודעות פרטיות, פרסומות מוסתרות, קידום ערוצים חיצוניים, טריקים מבניים והסוואה. הם פועלים על טקסט מנורמל, כך שאלפביתים מעורבים וסמלים משובצים אינם מטעים אותם.
• זיכרון ספאם חוזר — מזהה הודעות זהות וכמעט זהות (מספר טלפון מוחלף, כינוי אחר) ועושה שימוש חוזר בפסק הדין הקודם, כך שמבולים מתואמים נעצרים ברגע שהם מתחילים.
• מודל ML משלנו — מסווג למידת מכונה שמאומן על אוסף עצום של ספאם מאומת בתוספת דיבור נקי בשפות רבות. הוא מכליל לקמפיינים שמעולם לא ראה, כולל וריאציות מוסוות ומתורגמות.
• מסווג AI — מודל שפה השמור לאזור האפור האמיתי. הוא קורא כוונה, כך שהוא יכול להבחין בין שאלה אמיתית לבין מצג מוסווה.
• הבנת תמונות ואודיו — OCR שולף טקסט מבאנרים וצילומי מסך, גיבוב תפיסתי מתאים תמונות ספאם ידועות, קודי QR מפוענחים, והערות קול ווידאו מתומללות. כל הטקסט שהוחזר נכנס מחדש לאותן בדיקות כללים, מודל ו-AI.

4ציונים, ספים ופעולות

במקום כן/לא בוטה, כל הודעה צוברת ציון ספאם ממספר סימנים. ככל שהציון גבוה יותר, כך הפעולה חזקה יותר — ומילה אחת ביש מזל לעולם אינה יכולה להגיע לחסימה בעצמה, מכיוון שתרומת מילות המפתח מוגבלת הרבה מתחת לספי הענישה.

זהו מנגנון ההגנה המובנה מפני חסימות שווא: פסק דין לעולם אינו ניתן על ידי מילים לבד, אלא רק על ידי התמונה המלאה. בחומרת הספים האלה אתם שולטים דרך רמות חומרת מודרציה ופריסטים של הגנה.

• ציון גבוה מאוד — הסרה אוטומטית, ולהתעללות ברורה השתקה או חסימה.
• ציון בינוני — נשלח למנהל לבדיקה במקום לפעול עליו בעיוורון.
• ציון נמוך, שום דבר חשוד — ההודעה משוחררת מיד.
• חברים חדשים או לא מהימנים ניצבים בפני ספים מעט מחמירים יותר מאשר קבועים ותיקים ומהימנים, כך שחברים מהימנים כמעט לעולם אינם נתפסים.
• כל פעולה ניתנת לביטול ולערעור, וכל החלטה מתעדת איזו שכבה החליטה ומדוע (ראו הבנת החלטות מודרציה).

5מה זה תופס

במקום להתאים מילות עצירה, המנוע מזהה מזימות ספאם לפי כל התבנית שלהן, כולל וריאציות מוסוות, מבוססות תמונה ומדוברות. אלה המשפחות שהוא בנוי לעצור.

• פיתויים למעבר להודעות פרטיות — הזמנות להמשיך בהודעות פרטיות, אפילו כשהן מנוסחות כהערה רגילה.
• פרסומות מוסתרות וקידום ערוצי צד שלישי, כולל העברות מערוצים אחרים (ראו שליטה בהעברות וערוצים).
• קמפיינים מתואמים — אותו טקסט שצץ בקבוצות רבות, או מכמה חשבונות בתוך קבוצה אחת בחלון זמן קצר.
• תבניות הונאה ופישינג — מתנות מזויפות, פיתיונות השקעה והתחזות למנהלים (ראו כיצד עובד זיהוי הונאות).
• ספאם תמונה — באנרים של קזינו, קודי QR וטקסט מוטבע בתמונות.
• ספאם קול והערות וידאו — מצגים וקישורים שנקראים בקול כדי לחמוק מבוטים מבוססי טקסט בלבד.
• טקסט מוסווה — אלפביתים מעורבים, סמלים משובצים ותווים דומים.

6כיצד נמנעות חסימות שווא

הפחד הגדול ביותר מכל בוט אנטי-ספאם הוא שהוא יסיר חבר אמיתי בטעות. Telm מתוכנן כך שזה יהיה גם נדיר וגם תמיד ניתן לשחזור, מכיוון שכל החלטה שקופה וניתנת לביטול.

כמה מנגנוני הגנה פועלים בו-זמנית, וכולם מציבים שיפוט אנושי מעל המכונה.

• הגבלת ציון — מילות מפתח לבדן לעולם אינן יכולות להגיע לחסימה; זה דורש את המשקל המשולב של סימנים עצמאיים רבים.
• מנהלים וחברים מהימנים לעולם אינם עוברים מודרציה, ואתם יכולים להוסיף שמות נוספים לרשימה הלבנה והאמון שלכם.
• אזור הביטחון הבינוני עובר לבדיקת מנהל במקום לענישה אוטומטית.
• כל פעולה מתועדת עם הסיבה שלה וניתנת לערעור — ערעורים שאושרו מנקים גם הודעות דומות (ראו כיצד עובדים ערעורים).
• מודל ML אישי אופציונלי לומד את הדיבור הרגיל של הקהילה שלכם ומטיל וטו על התראות שווא שאינן מתאימות לו — הוא יכול רק לנקות הודעות, לעולם לא להעניש.

7היא לומדת מכם

המערכת אינה קפואה. החלטות המודרציה שלכם והערעורים שאישרתם מלמדים אותה ברציפות, כך שהיא הופכת למדויקת יותר עבור הקהילה הספציפית שלכם עם הזמן.

כל אחת מלולאות המשוב האלה יושבת מתחת לשיפוט האנושי — כשאתם מאשרים ערעור או מסמנים זיהוי שגוי, פסק הדין הזה גובר על המכונה ומנקה גם הודעות דומות.

• התיקונים שלכם ממשיכים לשפר את מודל ה-ML, כך שהזיהוי מתחדד עבור סוג ההודעות שהקבוצה שלכם באמת רואה.
• סימון הודעה אחת כזיהוי שגוי מנקה מיד את ההודעות הדומות סביבה.
• גלאים חדשים מוכחים על תעבורה אמיתית לפני שמותר להם לפעול, ונמשכים אחורה אם הם מתחילים להחליק.
• היסטוריית ההתנהגות של חבר משפיעה על כמות ההקלה שהוא מקבל: היסטוריה של הודעות נקיות מזכה במעט מרווח, ענישה מהדקת אותו.
• מודל ML אישי יכול להיות מאומן על הצ'אט שלכם כדי לנקות התראות שווא על אופן הדיבור הרגיל של הקהילה שלכם.

8נשארים בשליטה

אתם מחליטים עד כמה הבוט מחמיר. שתי הגדרות חשובות ביותר כשאתם מתחילים, וכל מה שהבוט עושה גלוי וניתן להתאמה.

מצב ניטור מאפשר לכם לראות מה הבוט היה עושה מבלי שהוא באמת יעניש מישהו — הדרך הבטוחה ביותר לבנות אמון לפני הפעלת אכיפה אמיתית.

• מצב ניטור — צפייה בלבד, ללא ענישות, הכול מתועד לבדיקה.
• רמות חומרה ופריסטים — בחרו פרופיל מוכן או כווננו ספים לקהילה שלכם.
• כללים מוקלים — נקבו בגלאים ספציפיים שאסור להם לצבור ניקוד בקבוצה שלכם (הגנות קריטיות אינן ניתנות להקלה).
• אפשרו מכירות ומצב קהילת קריפטו — רככו טריגרים לקהילות שבהן שיח מסחר הוא רגיל.
• מתגים לכל קבוצה עבור CAS, מסד הנתונים הגלובלי של ספאם, מודרציית AI, מודרציית קול והמודל האישי.

9שיטות עבודה מומלצות וטעויות נפוצות

כמה הרגלים מעניקים לכם את מירב ההגנה עם מיעוט התראות השווא. רוב הבעיות שמנהלים חדשים נתקלים בהן נובעות מדילוג על אחד מאלה.

• התחילו במצב ניטור וקראו את היומן לכמה ימים לפני אכיפה.
• הוסיפו את הצוות שלכם ושותפים ידועים לרשימה הלבנה כך שהקישורים שלהם לעולם לא יוטלו בספק.
• הפעילו את בדיקת הספאמר הגלובלית מיד — היא מסירה התקפות עוד לפני שאתם רואים אותן.
• פעלו על ערעורים וזיהויים שגויים; כל תיקון מחדד את ההגנה של הקבוצה שלכם.
• אל תשביתו הגנות שלמות כדי לתקן התראת שווא אחת — הקלו את הכלל היחיד המעורב או הוסיפו את החבר לרשימה הלבנה במקום.
• אל תצפו שספאמרים חדשים לגמרי יהיו ברשימה חיצונית כלשהי; בדיוק בשביל זה קיימות שכבות הכללים, המודל וה-AI.