Robots.txt letiltása (tumblr)
2017-07-26T22:25:06+02:00
2017-07-28T18:56:24+02:00
2022-08-10T18:10:29+02:00
GalgLev
Üdv!

A tavalyi évben viszonylag sikerült felfuttatnom egy tumblr oldalt (fél éven át napi 18-22ezer egyedi látogatót sikerült elérnem vele a googleból), aztán hirtelen drasztikusan csökkenni kezdett a nézettsége, amit kezdetben annak tudtam be, hogy az oldal, egy szezonális összeállításra alapult, de a csökkenés mértéke nem volt logikus, ugyanis hasonló kulcsszavakra, több, sokkal régebbi weboldal is feljön a kereső első oldalán, köztük többnyire olyanok, amik mind címükben, mind tartalomukban 2-3 éves szezonális lemaradást mutatnak. (Az én összeállításom több 100 közepesen erős kulcsszóra volt fél éven keresztül első találaton.) Végül észrevettem, hogy a tumblr explicitnek bélyegezte az oldalam...

(Itt megjegyezném, hogy egyáltalán nem pornóról van szó, csak fürdőruhás és fehérneműs modellekről vannak fent képek. - NSFW, de egyértelműen softcore.)

A tumblr, a weboldalad láthatóságára három különböző beállítási lehetőséget ad meg az "Edit appearance"/"Visibility" menüpontban:
1. HIDE (This Tumblr will only be viewable within the Tumblr dashboard.)
2. HIDE FROM SEARCH RESULTS (It'll be hidden from Tumblr searches, and from external search engines like Google or Yahoo.)
3. EXPLICIT (It'll only be viewable to 1) logged-in users who 2) have safe mode off)

Ennek az oldalamnak az esetében a harmadik rádiógomb (EXPLICIT) a staff által be lett kapcsolva, és én már nem tudom kikapcsolni. Érdekes, hogy a beállítási lehetőség magyarázatának ellenére az oldal tumblr regisztráció nélkül is elérhető bármilyen böngészőben. A másik két rádiógomb pedig továbrra is kikapcsolt állapotban van. (Elvileg a második rádiógombbal tiltana ki a googleből, de az továbbra sincs bekapcsolva.)

Tehát a probléma, az Explicit bélyeg hatására a tumblr a következőképpen módosította az oldalam robots.txt fájlját:
"
User-agent: *
Disallow: /
"

Érdekesen csak ma kaptam róla üzenetet a webmestereszközökben, pedig az oldal nézettsége az elmúlt 2 hónapban már csak napi 100-500 egyedi látogató volt. (20ezer után!)

(Mégérdekesebb, hogy van másik EXPLICIT-nek bélyegzett oldalam is, de annak a robots.txt-je a mai napig így néz ki:
"
User-agent: *
Disallow: /private
Disallow: /random
Disallow: /day
Disallow: /sticky-ad-iframe.html
Crawl-delay: 1
"
)


Tehát a kérdésem az lenne, hogy van-e bármilyen lehetőségem arra, hogy letiltsam/megakadályozzam/felülírjam a robots.txt elérését/tartalmát a google számára, valami metataggel esetleg, mert a tumblr nem ad lehetőséget a fájl szerkesztésére.

Eddig olyan megoldást találtam, hogy a következő metataget illeszem be az oldalam html kódjába:
<meta name="robots" content="index, follow">
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
<META NAME="robots" CONTENT="index, follow">
<meta name="robots" CONTENT="all">

De, szerintem ezt csak abban az esetben szokták használni, ha nincs robots.txt fájl. Azt felülírni nem fogja.
Mutasd a teljes hozzászólást!
Az első, amit a search engine megnéz, az a robots.txt (jobb esetben). Ha talál ilyet, figyelmen kívül hagy minden mást. Ezt valószínűleg a tumblr staff is tudja, nem véletlen van így megoldva a dolog.
Az egyetlen lehetőséged, hogy megkeresed az üzemeltetőt, és megbeszéled vele, hogy kapcsolja ki az explicit flag-et.
Mutasd a teljes hozzászólást!

  • Érdekes, hogy a beállítási lehetőség magyarázatának ellenére az oldal tumblr regisztráció nélkül is elérhető bármilyen böngészőben. A másik két rádiógomb pedig továbrra is kikapcsolt állapotban van. (Elvileg a második rádiógombbal tiltana ki a googleből, de az továbbra sincs bekapcsolva.)

    Az az opció azt jelenti, hogy csak belépet, és a safe módot kinyomott felhasználók keresésében fogja megtalálni az oldaladat. Az oldalad elérését nem befolyásolja, így ha a linkje megvan, akkor értelemszerűen eléred, csak a keresés nem fogja kidobni, kivéve ha a feltételek teljesülnek(be vagy logolva unsafe modban).

    Amúgy a legjobb az, ha keresel egy más bloggert, és oda rakod fel a cuccodat. A tumblr-t SJW-k viszik, nem ez volt a első lépésük a "káros" tartalmak ellen, és valószínű nem is az utolsó, szal jobban jársz ha keresel más helyet.
    Mutasd a teljes hozzászólást!
  • Nem, a mai naptól fogva már egyáltalán nem lehet megnyitni az oldalt semmiféle böngészőben regisztráció nélkül. Úgytűnik eltartott nekik egy ideig, mire átálltak az új rendszerre.

    A leírásban az [1) logged-in users who] feltételhez köti a bejelentkezést, a kettes pont pedig azt szabja meg, hogy a bejelentkezett felhaszálóknak is csak egy része láthatja.
    Mutasd a teljes hozzászólást!
  • Igen, most már.
    De amúgy ez még 1 indok arra hogy minél hamar lelépj onnan.
    Mutasd a teljes hozzászólást!
Tetszett amit olvastál? Szeretnél a jövőben is értesülni a hasonló érdekességekről?
abcd