Komentářový spam, jak se bráníte?

[Smitka]

Rád bych navázal na 2 roky starý thread, kde se řešil problém komentářového spamu. Doba pokročila, tak bych chtěl vědět, jakým způsobem se změnily techniky útočníků a obrana proti nim.
V té době jsem mimojiné navrhoval filtrování pomocí hodnoceného slovníku.
Dnes jsem po velmi dlouhé době koukal do svého spam koše a bylo v něm velké množství odchycených spamů, žádný špatně detekovaný a na web se také nic nedostalo. Na svém webu používám právě slovník, který jsem před 2 lety nastavil a od té doby jede... Nicméně je mnoho dalších botů, kteří se ke mě nedostali a mohli by filtrem projít....

Tak jsem se chtěl zeptat co používáte vy a jak to šlape.

Další možnosti obrany, které znám:

Přidání do formuláře dalšího čudlíku submit, který je skrytý, bot odešle i jej, člověk jen pravý submit, na který klikne, to jsem asi před rokem navrhoval jako jedno řešení, ale ten člověk se nakonec rozhodl pro Captchu, tak nevím jestli to funguje....

Captcha - klasické obrázkové hesla, která často dělají i člověku je rozluštit.... beru ji jako user-unfriendly

Kontrolní otázka - třeba kolik je 1+2, to je fajn, nicméně to beru také jako u-unf

Vkládání hodnoty JS - javasriptem se vloží něco do formuláře, stojí na tom, že spamboti neprováději JS z důvodu rychlosti (čímž si nejsem za ty 2 roky jistý, když se vezme fakt, že louskají captchu) a odřízen to nonJS uživatele

Kombinace předchozích 2 - kontrolní otázka, která se JS skryje a vyplní třeba při onclick, když uživatel nemá JS, otázka se mu normálně zobrazí, když je to bot, tak buď JS neumí (?) a nebo třeba nezparcovává onclick a posílá formulář rovnou, což by mohlo fungovat...

Uvítal bych i odkaz na weby, které jsou zaspamované, abych mohl případně analyzovat jak dnešní příspěvky vypadají jinde než u mě.

[visby]

pouzivam captchu, kedze je casto implementovana a ready-to-use...

nie je to vzdy ucinne, kedze boti vedia rozpoznavat aj captchu ak to nie je lustenka(co uz je zase user unfriendly)...

[l_iNu$]

Myslím že nejlepší je opravdu kombinace kontrolní otázky a skrýt ji pomocí javascriptu uživatel většinou ani nepozná že tam nějaká kontrola je + že nebude tlačítko Odeslat/Uložit ale Náhled který pouze zprávu zobrazí a po dalším odeslání formuláře teprve uloží, boti totiž formulář odešlou ale dál už se o to nestarají.

[peshwood]

V nejbližších dnech budu řešit odspamování tohoto fóra (SMF):
http://diskuze.deticky.cz/
Moderátoři to tam zatím občas čistí, ale párkát v týdnu tam přibyde tak 10-20 spamových komentářů. Přibývají do sekcí do kterých je povoleno psát bez registrování, což by chtěl provozovatel zachovat.
Od známého jsem dostal tip na tu hádanku 1+1 vyplněnou a skrytou přes JS, jemu to někde funguje. Ale radši bych vyzkoušel to skryté tlačítko. Jestli to zabere, tak dám vědět.

[Jey]

<span id="antispam">
Kolik je 2x2?<input type="text" id="check">
</span>
<script type="text/javascript">
document.getElementById("check").value="4";
document.getElementById("antispam").style.display="none";
</script>

ja preferuji toto reseni. je funkcni a znam minimalne dalsi dva weby, kde je stale 100% ucinne. pokud ma uzivatel vypnuty nebo jakkoliv nefuncni javascript, tak ho to neodstrihne, ale holt si musi vyplnit kontrolni otazku rucne. urcite by bylo zajimave udelat nejakou statistiku nebo pocitadlo, kolik lidi prispiva takto s rucnim vyplnenim pole check.

[Smitka]

peshwood: to budu rád, jsem zvědavej na výsledky z praxe

Já jsem zatím spokojenej se slovníkovou analýzou, kterou jsem napsal před 2 lety, pár stovek spamů to chytlo a zatím nic neproklouzlo, takže zatím nebudu rejpat do něčeho co funguje Ale co platí dnes, nemusí platit zítra...

A až mi to přestane fungovat, chtěl bych zkusit právě skrytý čudlík, nebo automatické vyplnění skrytého pole.

Pro experimentátory, používám primitivní kód:

$slovnik=file("slovnik.txt");
$text=strtolower($_POST["text"]);
$spam=0;
for ($i=0;$i<sizeof($slovnik);$i++){
$filter=explode(',',$slovnik[$i]);
$spam=$spam+(substr_count($text,$filter[0])*$filter[1]);
}

V proměnné $spam je pak hodnota, mám nastaveno, že pokud je větší než 25, tak se to zahodí

Jako slovník mám:

http://,1
buy,2
viagra,5
order,3
cheap,3
discount,3
valium,5
tramadol,5
hydrocodone,5
fioricet,5
adipex,5
free,2
porn,4
flyfolder,2
federal,2
tax,2
myspace,1
[url,2
custom,2
teen,1
href,1
pussy,4
nude,4
cam,2
boob,3
tits,3
xxx,2
fuck,3
casino,2
online,1
poker,2
play,1

Případný test: http://smitka.org/spam.php

[Rainbow]

Mame na par weboch jedno stare (robene) diskusne forum. Este nikdy som tam nevidel spam. Mam pocit, ze dovod je ten, ze sa sprava neda odoslat hned - najprv sa ukaze preview a ten treba este odoslat.
V komentaroch pod clankami sa to odosielalo hned a to bolo spamu plne.

[Smitka]

Tak se mi to docela rozjelo...
Chodi mi ted cca 20 spamu denne. Zatim mi nic neproslo, ale uz se to zacina blizit hranici filtru...
Asi udelam pokus, ze prejmenuju soubor na vkladani komentaru a na tom soucasnem vyzkousim ruzna antispam reseni...

[Smitka]

Tak si me uz nasli, spamu extremene pribylo... Zacly chodit i kratky - asi testovaci - s nejakym divnym retezcem... Tak jsem provedl dalsi 3 opatreni
1) zmenil jsem nazev souboru co zpracovava kometare
2) pridal jsem javasriptovy doplneni pole (priklad typu 3+4)
3) nastrazil jsem csskem schovane policko "nick"
4) jeste testuju filtrem

Tak by to snad melo fungovat, uvidim.

Provel jsem i testy jednotlivych reseni vyse, vsechny byly uspesne.

Neuspesny byl test s dalsim submitem, ale to bylo z duvodu, ze spousta botu odesila na uz naucenou adresu a kdyz se prida input, tak jim to nevadi, ale pokud se tahle ochrana dala na novy web, tak by mela byt pomerne ucinna

[ripper]

Neuspesny byl test s dalsim submitem, ale to bylo z duvodu, ze spousta botu odesila na uz naucenou adresu a kdyz se prida input, tak jim to nevadi, ale pokud se tahle ochrana dala na novy web, tak by mela byt pomerne ucinna

No on ten dvoj-submit (nahled->odeslat) ma fungovat tak, aby to prave neslo posilat primo na adresu zpracujiciho skriptu. Melo by stacit po prvnim odeslani formulare vygenerovat token a ten pri dalsim zpracovani zkontrolovat. Kdyz nebude spravne, odmitnout. (Aspon tak bych to programoval, nerealizoval jsem to.)

[Smitka]

No on ten dvoj-submit (nahled->odeslat) ma fungovat tak, aby to prave neslo posilat primo na adresu zpracujiciho skriptu. Melo by stacit po prvnim odeslani formulare vygenerovat token a ten pri dalsim zpracovani zkontrolovat. Kdyz nebude spravne, odmitnout. (Aspon tak bych to programoval, nerealizoval jsem to.)

Bavime se o trosku odlisnem reseni... "Muj" dvoj submit jsou 2 submity, jedem z nich je driv a je skryty, bot kdyz stranku prozkoumava, tak najde prvni skryty submit a odesle formular pres nej. Clovek odesila pres normalni viditelny.
Je to primitivni pasticka...

Samozrejme generovani nahledu a tokenu je velmi dobre reseni

[fr33k]

Zajimavy clanek k tematice - http://blog.synopsi.com/2008-02-26/g...esne-prelomena (nejedna se o prakticke reseni, jen uvahy o prolomeni capchy).

Capchy jako uzivatel bytostne nesnasim, u nekterych mam uspesnost mensi nez robot

[e1]

Ja na blogu WP mám jednoduchší spôsob. Keď spambot spamuje, tak dáva sa snaží o reklamu na nejaký web, prípadne len dáva komentáre typu nice page so odkazom na svoju stránku, ktorej chce zvyšovať PR. Akonáhle je v texte nejaký odkaz, ide po odoslaní najprv moderačnú listinu. Takto neotravujem bežného smrtelníka ktorý nie je registrovaný s Capcha. Mám ešte nastavené že v prípade že prispievateľ je nový (ešte nepoužitá kombinácia mena a mailu), tak sa čaká na moderovanie, ale to už je iba ďalšia vychytávka proti vandalom.

[Smitka]

Dovolil bych si zhruba po roce znova obnovit tuhle diskuzi, protože jsem v poslední době narazil na dost webů "pod plnou palbou".

Za ten rok jsem několikrát na různých webech nasazoval anti-komentář-spam ochranu a na svém webu loguji chování spambotů (od 18.1. ještě víc podrobněji).
Během toho jsem testoval i účinnost různých metod.

Používám několik typů ochrany, které různě kombinuji:

1. Nastražené políčko formuláře, skryté css s "pěkným" jménem - používám nick, pokud je políčko vyplněno jedná se o bota
2. Políčko v početním příkladem vyplněné javascriptem a skryté - po načtení je do políčka vložen výsledek příkladu, který používám buď statický, nebo generovaný z session_id
3. Nastrčený schovaný submit pře opravdovým submitem, pokud byl formulář odeslán tímto submitem, jedná se o bota
4. Kontextový filtr na straně serveru

Kupodivu jsem zjistil, že v současné době je dostačující ochrana nastrčeným políčkem NICK. Všechny boty mi toto políčko vyplnili. Použili tam většinou stejnou hodnotu jako v poli jméno/name, do políček s neznámým name vkládali náhodnou hodnotu. Pravděpodobně to vychází z toho, že nechtějí riskovat, že by nevyplnily nějaká povinná políčka. Na svých stránkách tato ochrana vždy zareagovala jako první a dále nebylo potřeba nic řešit. A hlavně je opravdu strašně jednoduchá na implementaci.

Z přijatých hodnot se ukázalo, že by zareagovala správně i obrana javascriptem. Na stránkách, kde jsem nedával políčko, tak si žádný bot s javascriptem neporadil a vyplnil náhodnou hodnotu, nebo nějaké URL.

Podstrčený submit také trochu fungoval, byly komentáře většinou s oběma submity, několik s prvním submitem a pravděpodobně starší boti s korektním submitem. Z toho usuzuji, že je to spíše zbytečná ochrana, ale u nových webů by mohl av budoucnu trochu pomoci.

Kontextový filtr jsem vylepšil tím, že zvyšoval skóre u krátkých příspěvků (např. pod 20znaků spamindex*2), protože se nikdy nic nedostalo až k němu, nemůžu říci procentuální úspěšnost, ale když jsem namátkově zkoušel ho aplikovat na zablokované příspěvky a vždy jim přiřadil odpovídající skóre. Protože mám teď udělanou důkladnější analýzu a jedu od začátku, až nasbírám dost vzorků, budou nějaké podrobnější výstupy. Myslím, že kontextový filtr není špatné doplňkové řešení, které může odstranit i některé živé spamery.

Další postřehy:
Ip adresy opravdu blokovat nemá smysl.
Časy mezi vstupem na stránku a odeslání komentáře botem se na mém webu pohybovaly od 4s do 47s (to se již kreje s normálním uživatelem).
Referal si myslím není dobré řešení, protože i normální uživatel vstoupí na stránku přímo (hlavně když prohlížeč doplňuje již navštívené stránky) a také (aspoň na mém webu, kde to vidím) roboti nejdřív vstoupili na nejdřív na stránku a až pak odeslali formulář.
Občas nejdřív přišel krátký komentář, bez zlých slov (a viděl jsem i vytvořený z obsahu původní stránky) a odkazů a když prošel, tak robot spustil útok.
Na mém webu je identifikátor prohlížeče ve velké většině Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Odkazované stránky jsou většinou napadené reálné weby, kde se pak tváří že nabízí porno a stahují se z nich soubory typu blablaXXXbla.mpeg.exe s různými trojany.
Zkoušel jsem několikrát napsat majitelům webů, kteří občas i zareagovali

Doplňkové info na mém webu (i s počítačkou spamů ): http://smitka.org/blog/komentarovy-spam

[Smitka]

Tak jsem ještě prozkoumal ochranu pomocí vloženého submitu. Boti používají téměř bez výjimky (u mě 100%) první nalezený submit.
Bohužel mi došlo, že když uživatel vyplní formulář a odšle ho enterem, tak se vnitřně také použije první submit v pořadí. Takže tahle ochrana sice pro nové boty funguje bezproblému, ale mohla by omezovat běžného uživatele.

Ve svém komentářovacím formuláři mám celkem 4 submity a na různých pozicích a kromě manuálního kliknutí na jediný viditelný čudlík, nebo dotabulatorování na něj je vždy poslán ten první submit, i když první submit před vyplňovanými políčkama.

[ripper]

Časy mezi vstupem na stránku a odeslání komentáře botem se na mém webu pohybovaly od 4s do 47s (to se již kreje s normálním uživatelem).

To jsem bohužel zjistil taky, když jsem zkoušel timeout 10 sekund na odeslání... Nefunguje.

Občas nejdřív přišel krátký komentář, bez zlých slov (a viděl jsem i vytvořený z obsahu původní stránky) a odkazů a když prošel, tak robot spustil útok.

To vídám taky, napřed zkusí něco nevinného, pak postupně přitvrzují obsahem i kadencí.

Nastražené políčko formuláře, skryté css s "pěkným" jménem - používám nick, pokud je políčko vyplněno jedná se o bota

To je moc pěkný nápad, a jestli funguje, taky ho implementuju, díky

[Smitka]

No ted jsem si vsiml zvlastni veci... Mel jsem cca 30spamu denne a najednou nic. Nevim zda je to nahoda, ale od te doby co jsem pridal 4. submit do formulare, tak zadny bot nic nepostnul

EDIT: uz se to zase rozjelo

[Smitka]

Udělal jsem menší statistiku ze 155 spamů, podle toho jaký typ ochrany by je zachytil.

spamy odifiltrované nick políčkem - 155
spamy odfiltrované js příkladem - 155
spamy, které použily první nastrčený submit - 154
spamy, které nepoužily žádný submit (přímý přístup) - 1
spamy ofiltrované kontextovým filtrem (nad 20 bodů) - 155
nejnižší spam-score - 23
nejvyšší spam-score - 307
nejčastější jména - TestName (17), teen (4), tiava (3), youtube (3)
nejčastější user agent - Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) (155)
počet IP adres, které se objevily 2× - 9
počet IP adres, které se objevily 3× - 1
počet IP adres, které se objevily vice než 3× - 1
nejčastější IP - 212.62.97.23 (13)
nejčastější řetězce: com (477), http (468), href (465), www (260), livevideo (170), teen (118), vidilife (95), notlong (88), preteen (58)

[Smitka]

Tak jsem zpracoval výsledky z dlouhodobějšího testování:
http://smitka.org/blog/komentarovy-spam-vysledky

V souhrnu:
- počet spamů narůstá (to ale asi každý ví )
- jsou chytřejší (to asi taky)
- některé už umí javasript
- 100% ochrana se ukázalo nastražení formulářové políčko s lákavým názvem
- kontextový filtr může odfiltrovat velké množství spamů
- lákají hlavně na sex, lolitky a zvířata
- zdrojem jsou hlavně botnety