Jak funguje detekce spamu v Telmu

1Jeden bot, mnoho vrstev

Telm nespoléhá na jediný trik. Představte si to jako bezpečnostní kontrolu na letišti: zpráva prochází několika kontrolními body, jedním po druhém, a na kterémkoli z nich může být propuštěna, nebo zastavena.

Právě tato vrstvená konstrukce činí ochranu spolehlivou i rychlou. Zjevné případy jsou vyřešeny hned a jen skutečně nejednoznačné zprávy jsou zkoumány blíže — proto je i rušná skupina o desítkách tisíc členů moderována v reálném čase, aniž by kdy působila zpomaleně.

• Globální kontrola spamerů — známí útočníci jsou zastaveni u vchodu, ještě před první zprávou.
• Pravidlové a vzorové detektory — rozsáhlá knihovna, která rozpozná spamová schémata na první pohled.
• Paměť na opakovaný spam — vlna totožného nebo podobného spamu je zachycena naráz.
• Náš vlastní ML model — trénovaný na skutečném spamu v mnoha jazycích, aby zachytil i kampaně, které nikdy neviděl.
• AI klasifikátor — čte význam, pro vzácnou zprávu, která je skutečně hraniční.
• Samoučení — vaše rozhodnutí zostřují každou vrstvu pro vaši skupinu.

2Cesta jediné zprávy

Zde je, co se stane, když někdo ve vaší skupině něco napíše. Zpráva je kontrolována vrstvou za vrstvou a většina zpráv je propuštěna nebo zachycena dávno před koncem.

Správci, vlastník skupiny a důvěryhodní členové na seznamu povolených nejsou nikdy moderováni — jejich zprávy tyto kontroly zcela přeskakují, a proto se nikdy nemusíte bát, že by se bot dotkl vašeho vlastního týmu.

• Vstupní kontrola — známý spamer je zastaven u dveří globální databází spamerů ještě před svou první zprávou (viz blokační seznam CAS a globální databáze spamu).
• Pravidla a vzory — mnoho detektorů sečte skóre spamu. Žádné jediné slovo nikoho nezablokuje; rozhodnutí vychází ze součtu signálů.
• Paměť na opakovaný spam — pokud byl stejný nebo téměř totožný text ve vaší skupině právě posouzen, tato odpověď se znovu použije, takže záplava kopií je vyřízena naráz.
• Náš ML model — ohodnotí, jak spamově znění vypadá; jistý spam a jistě čistý text se vyřeší zde a střed pokračuje dál.
• Vrstva AI — jazykový model přečte význam stále nejednoznačné zprávy (viz AI moderace).
• Obrázky a zvuk — percepční hashování, rozpoznávání textu OCR, detekce QR kódů a přepis hlasu vracejí svůj text zpět do těchže kontrol.
• Verdikt a akce — propustit, smazat, umlčet, zablokovat nebo poslat ke kontrole správci. Vše se zaznamená s důvodem do žurnálu moderace.

3Co každá vrstva vlastně dělá

Pomáhá vědět, jakou práci každý kontrolní bod skutečně vykonává, protože zachytávají velmi odlišné druhy spamu. Společně pokrývají navzájem svá slepá místa.

• Pravidlové a vzorové detektory — ručně sestavené detektory, které rozpoznají spamová schémata, nikoli jednotlivá slova: lákání do soukromých zpráv, skryté reklamy, propagace cizích kanálů, strukturní triky a obfuskace. Pracují na normalizovaném textu, takže smíšené abecedy a vložené symboly je neošálí.
• Paměť na opakovaný spam — rozpozná totožné a téměř totožné zprávy (vyměněné telefonní číslo, jiné uživatelské jméno) a znovu použije dřívější verdikt, takže koordinované záplavy jsou zastaveny hned, jak začnou.
• Náš vlastní ML model — klasifikátor strojového učení trénovaný na obrovské sbírce potvrzeného spamu i čisté řeči v mnoha jazycích. Zobecňuje na kampaně, které nikdy neviděl, včetně obfuskovaných a přeložených variant.
• AI klasifikátor — jazykový model vyhrazený pro skutečnou šedou zónu. Čte záměr, takže dokáže odlišit opravdovou otázku od zamaskované nabídky.
• Porozumění obrazu a zvuku — OCR vytáhne text z bannerů a snímků obrazovky, percepční hashování spáruje známé spamové obrázky, QR kódy jsou dekódovány a hlasové i video zprávy přepsány. Veškerý takto získaný text se vrací zpět do týchž kontrol pravidel, modelu a AI.

4Skóre, prahy a akce

Místo tupého ano/ne každá zpráva nasbírá skóre spamu z mnoha signálů. Čím vyšší skóre, tím silnější akce — a jediné nešťastné slovo nemůže samo o sobě nikdy dosáhnout na blokaci, protože příspěvek klíčových slov je zastropován výrazně pod prahy trestů.

To je vestavěná pojistka proti falešným blokacím: verdikt není nikdy vynesen jen na základě slov, ale jen na základě celkového obrazu. Přísnost těchto prahů řídíte vy skrze úrovně přísnosti moderace a přednastavené profily ochrany.

• Velmi vysoké skóre — automatické odstranění a u zjevného útoku umlčení nebo blokace.
• Střední skóre — posláno správci ke kontrole, nikoli slepě vykonáno.
• Nízké skóre, nic podezřelého — zpráva je okamžitě propuštěna.
• Noví nebo nedůvěryhodní členové čelí o něco přísnějším prahům než dlouholetí důvěryhodní štamgasti, takže důvěryhodní členové se téměř nikdy nechytí.
• Každá akce je vratná a odvolatelná a každé rozhodnutí zaznamenává, která vrstva rozhodla a proč (viz porozumění rozhodnutím moderace).

5Co zachytává

Místo párování zakázaných slov engine rozpoznává spamová schémata podle celkového vzoru, včetně obfuskovaných, obrazových a mluvených variant. Toto jsou rodiny, které je stavěn zastavit.

• Lákání do soukromých zpráv — pozvání pokračovat v soukromé konverzaci, i když je formulováno jako běžná poznámka.
• Skryté reklamy a propagace cizích kanálů, včetně přeposlání z jiných kanálů (viz řízení přeposílání a kanálů).
• Koordinované kampaně — tentýž text vyplouvající napříč mnoha skupinami nebo z několika účtů uvnitř jedné skupiny v krátkém okně.
• Podvodné a phishingové vzory — falešné soutěže, investiční návnady a vydávání se za správce (viz jak funguje detekce podvodů).
• Obrazový spam — kasinové bannery, QR kódy a text zapečený do obrázků.
• Spam v hlasových a video zprávách — nabídky a odkazy přečtené nahlas, aby obešly boty čtoucí jen text.
• Obfuskovaný text — smíšené abecedy, vložené symboly a podobně vypadající znaky.

6Jak se předchází falešným blokacím

Největší obavou u každého antispamového bota je, že omylem odstraní skutečného člena. Telm je navržen tak, aby to bylo vzácné a vždy napravitelné, protože každé rozhodnutí je transparentní a vratné.

Naráz působí několik pojistek a všechny staví lidský úsudek nad stroj.

• Stropování skóre — samotná klíčová slova nemohou nikdy dosáhnout na blokaci; je k tomu potřeba kombinovaná váha mnoha nezávislých signálů.
• Správci a důvěryhodní členové nejsou nikdy moderováni a další jména můžete přidat na svůj seznam povolených a důvěru.
• Zóna střední jistoty jde ke kontrole správci místo automatického trestu.
• Každá akce je zaznamenaná s důvodem a lze se proti ní odvolat — schválená odvolání pročistí i podobné zprávy (viz jak fungují odvolání).
• Volitelný osobní ML model se učí normální řeč vaší komunity a vetuje falešné poplachy, které do ní nezapadají — může zprávy pouze propustit, nikdy potrestat.

7Učí se od vás

Systém není zamrzlý. Vaše rozhodnutí moderace a schválená odvolání ho průběžně učí, takže se pro vaši konkrétní komunitu časem stává přesnějším.

Každá z těchto zpětnovazebních smyček sedí pod lidským úsudkem — když schválíte odvolání nebo označíte falešný poplach, tento verdikt přebije stroj a pročistí i podobné zprávy.

• Vaše opravy stále zlepšují ML model, takže se detekce zostřuje pro druh zpráv, které vaše skupina skutečně vídá.
• Označení jedné zprávy jako falešného poplachu okamžitě pročistí podobné zprávy kolem ní.
• Nové detektory jsou ověřeny na skutečném provozu, než jim je dovoleno jednat, a staženy zpět, pokud začnou klouzat.
• Historie člena upravuje, kolik tolerance dostane: záznam čistých zpráv vydělá trochu volnosti, trest ji utáhne.
• Osobní ML model lze natrénovat na vašem vlastním chatu, aby pročišťoval falešné poplachy nad normálním způsobem řeči vaší komunity.

8Zůstáváte u kormidla

Vy rozhodujete, jak přísný bot je. Když začínáte, nejvíc záleží na dvou nastaveních a vše, co bot dělá, je viditelné a nastavitelné.

Monitorovací režim vám umožní sledovat, co by bot udělal, aniž by kohokoli skutečně trestal — nejbezpečnější způsob, jak vybudovat důvěru, než zapnete skutečné vynucování.

• Monitorovací režim — pouze pozoruje, žádné tresty, vše se zaznamenává ke kontrole.
• Úrovně přísnosti a přednastavené profily — vyberte hotový profil nebo dolaďte prahy pro svou komunitu.
• Uvolněná pravidla — pojmenujte konkrétní detektory, které ve vaší skupině nesmí bodovat (kritické ochrany uvolnit nelze).
• Režim povolení prodeje a krypto komunity — změkčí spouštěče v komunitách, kde jsou řeči o obchodování normální.
• Přepínače na skupinu pro CAS, globální databázi spamu, AI moderaci, hlasovou moderaci a osobní model.

9Doporučené postupy a časté chyby

Pár návyků vám zajistí maximum ochrany s nejmenším počtem falešných poplachů. Většina problémů, na které noví správci narazí, se scvrkne na vynechání jednoho z nich.

• Začněte v monitorovacím režimu a pár dní čtěte žurnál, než začnete vynucovat.
• Přidejte na seznam povolených svůj vlastní tým a známé partnery, aby jejich odkazy nikdy nebyly zpochybňovány.
• Ihned zapněte globální kontrolu spamerů — odstraní útoky dřív, než je vůbec uvidíte.
• Reagujte na odvolání a falešné poplachy; každá oprava zostřuje ochranu vaší skupiny.
• Nevypínejte celé ochrany kvůli jednomu falešnému poplachu — místo toho uvolněte to jediné dotčené pravidlo nebo přidejte člena na seznam povolených.
• Nečekejte, že úplně noví spameři budou na nějaké externí listině; přesně od toho jsou vrstvy pravidel, modelu a AI.