Bad robot detektálása

Bad robot detektálása
2017-01-05T22:22:35+01:00
2017-02-04T13:22:51+01:00
2022-12-04T08:40:42+01:00
somazoli77
sziasztok
szeretném a rossz robotokat (email cím halászok stb) php kóddal detektálni és számukra egy üres oldalt megjeleníteni, míg a rendes látogatóknak és a jó robotoknak (google, bing, yahoo stb) pedig a rendes oldalt

egy ilyet raktam be a kódomba:

$lowerUserAgent = strtolower ($_SERVER['HTTP_USER_AGENT']);

if (preg_match('/bot|google|crawl|slurp|bing|face|archiver|spider/i', $lowerUserAgent)) {

if (preg_match('/google|bingbot|msnbot|bingpreview|slurp|duckduckbot|baidusxpider|yandexbot|facebot|facebookexternalhit|ia_archiver/i', $lowerUserAgent)) {
$badRobot = false;
}
else {
$badRobot = true;
}
}

+ még annyit, hogy bad robotnak kirakok egy input mezőt, meg hozzá egy random generált stringet és megkérem, hogy írja be, küldje el. ha ezt megteszi akkor úgy veszem, hogy ő rendes user és továbbiakban megjelenítem neki az oldalt

a gondom csak annyi, hogy ha én rosszindulatú robot lennék, akkor tuti egy olyan user agenttel érkeznék ami mondjuk egy szimpla böngészőé

milyen hatékony védelmet tudnék rakni az oldalamra? gondoltam rá, hogy pl ha 5 oldalt lekér úgy hogy egy oldalon 5 mp-et tartózkodik, akkor onnantól kezdve őt is rossz robotnak veszem, de az oldalamon van képgaléria funkció ahol a következő kép mindig egy új oldal letöltését jelenti, azaz tök reális, hogy valaki ilyen gyorsan töltögessen le egymás után oldalakat.

------------------
a tárhelyszolgáltatóm iscpomega környezetből átköltöztetett cpanelre és azóta adatforgalom limit van. ezt meg sajnos a robotok miatt előreláthatólag kb 2 hét alatt el fogom érni és havonta nullázódik a limit. ki szoktam az ilyen dolgokat guglizni, csak most sürget az idő, mert eszik a bad robotok a limitet és nem voltam rá felkészülve. hobbi oldal, és most nem igazán tudok időt szakítani kutakodásra és főleg nagy átírásokra, ezért örülnék pár tippnek mivel tudnám visszafogni kicsit az adatforgalom zabálókat

(hobbi oldal, de viszonylag elég nagy, kb 10k aloldala van, kb 12 gb tartalom)
Mutasd a teljes hozzászólást!
ha mostanában nem kerültek el a robotok engem, akkor úgy tűnik a fenti kis trükk elég sokat javított a helyzeten

a hónap első 4 napjában 7.59 gb volt az adatforgalmam, ekkor üzemeltem be a fenti kiegészítést, ma néztem (azóta 3 nap telt el) és most 8.43 gb-nál tartok. szóval az adatforgalom csökkenés drasztikusnak mondható (persze megismételve, ha az utóbbi napokban nem hanyagoltak amúgy is a robotok)

szóval ha valaki hasonló gonddal küzd, akkor a fenti trükk bevetése első lépésben jó megoldásnak tűnik. azért ha van valakinek további tippje, hogyan lehet még hatékonyabban kiszűrni a nem kívánatos robotokat, azt továbbra is várom :)
Mutasd a teljes hozzászólást!

Tetszett amit olvastál? Szeretnél a jövőben is értesülni a hasonló érdekességekről?
abcd