Google keresési javaslatok lementése

Google keresési javaslatok lementése
2015-01-17T09:26:10+01:00
2015-01-17T11:35:00+01:00
2022-10-15T23:06:07+02:00
arktor02
Sziasztok! 
Mikor elkezdünk beírni valamit a google keresőbe, felkínálja nekünk a leggyakoribb kereséseket. Ezeket a felkínálásokat szeretném valahogy autómatikusan kimenteni egy szöveges fájlba. Úgy mintha elkezdeném beírni sorba egyenként, hogy aa, ab, ac, ...., zx, zy, zz. Tehát ezen lista elemeihez tartozó "keresési javaslatok" listáira lenne szükségem. Van rá ötletetek vagy megoldások, hogy tudnám ezt megcsinálni?
Mutasd a teljes hozzászólást!
Gyors Google-keresés alapján nincs hivatalos API a keresési javaslatokra. (Ha a Google a saját funkcióit nem találja meg a saját keresőjével, ott már nagy a baj) Viszont a böngészők valahogy csak fel szoktak tudni ajánlani Google keresési javaslatokat a címsorukból is, úgyhogy valami API van, csak nem biztos, hogy mindenkinek szabad használni.

Kicsi Fiddleres nyomozás alapján például az Opera 26.0 erre az URL-re küld egy GET kérést, ha beírom a címsorba, hogy "blargh", de nem nyomok Entert:
http://www.google.com/complete/search?client=opera&q=blargh&hl=en
A HTTP header-ök úgy néz ki nem számítanak, de ha már a client=opera részt lehagyom, akkor nem méltat válaszra. A válasz egyébként JSON formátumú, bár text/javascript content-type-ot deklarál a header-ökben.

Egyébként ne nagyon éld bele magad, hogy hosszú távon ezt használd. Egyrészt az URL bármikor megváltozhat a Google kénye-kedve szerint, másrészt ha detektálják, hogy automatizálva próbálod leszipkázni az eredményeiket, kitiltják a szervered IP-jét seperc alatt. Gondolom az ő architektúrájukkal nem lesz nehéz kiszúrniuk, hogy "valaki" gyanúsan gyorsan ABC-rendben növekvő szavakkal küld kéréseket a szervereik felé...
Mutasd a teljes hozzászólást!

  • Készítesz az oldaladba egy: Google Custom Search Engine, és naplózod az ajax válaszokat.
    Mutasd a teljes hozzászólást!
  • Gyors Google-keresés alapján nincs hivatalos API a keresési javaslatokra. (Ha a Google a saját funkcióit nem találja meg a saját keresőjével, ott már nagy a baj) Viszont a böngészők valahogy csak fel szoktak tudni ajánlani Google keresési javaslatokat a címsorukból is, úgyhogy valami API van, csak nem biztos, hogy mindenkinek szabad használni.

    Kicsi Fiddleres nyomozás alapján például az Opera 26.0 erre az URL-re küld egy GET kérést, ha beírom a címsorba, hogy "blargh", de nem nyomok Entert:
    http://www.google.com/complete/search?client=opera&q=blargh&hl=en
    A HTTP header-ök úgy néz ki nem számítanak, de ha már a client=opera részt lehagyom, akkor nem méltat válaszra. A válasz egyébként JSON formátumú, bár text/javascript content-type-ot deklarál a header-ökben.

    Egyébként ne nagyon éld bele magad, hogy hosszú távon ezt használd. Egyrészt az URL bármikor megváltozhat a Google kénye-kedve szerint, másrészt ha detektálják, hogy automatizálva próbálod leszipkázni az eredményeiket, kitiltják a szervered IP-jét seperc alatt. Gondolom az ő architektúrájukkal nem lesz nehéz kiszúrniuk, hogy "valaki" gyanúsan gyorsan ABC-rendben növekvő szavakkal küld kéréseket a szervereik felé...
    Mutasd a teljes hozzászólást!
  • A kitiltást is el lehet kerülni. A google search apiját ingyenesen naponta 100x lehet használni fizetősen meg 1000-10000 között egy meghatározott api key-el. Az adatgyűjtéshez ötletet ad egy múlt század elején élt angol fizikus módszere, akinek a látogatói panaszkodtak hogy a kertkaput nagyon nehéz nyitni vagy becsukni, mire mosolyogva elárulta nekik, hogy minden látogató aki jön vagy megy, 20 liter vizet szivattyúz fel neki a kútjából. Hasonló trükkel az oldalak legenerálásánál a látógató IP je szerint el lehet helyezni benne egy az oldal letöltődésénél megfutó szkriptet ami legenerál 100 kérést a google felé más -más ingyenes api key-el és ajaxal elküldi az eredményeket a szervernek.
    Mutasd a teljes hozzászólást!
  • Hasonló trükkel az oldalak legenerálásánál a látógató IP je szerint el lehet helyezni benne egy az oldal letöltődésénél megfutó szkriptet ami legenerál 100 kérést a google felé más -más ingyenes api key-el és ajaxal elküldi az eredményeket a szervernek.

    Azért a Google-nél se hülyék dolgoznak. Előbb-utóbb fel fog tűnni nekik, hogy azok mellett a különböző API key-ek mellett valahogy mindig ugyanaz a domain szerepel a Referer header-ben.

    Nem mondom, hogy nem lehet kijátszani a Google-t, de a kettőtök közti versenyben ő lesz az erősebb, mert neki több erőforrása van a trükközés kijátszására, mint amennyi erőforrásod neked van a trükközésre.
    Mutasd a teljes hozzászólást!
  • Létezik ilyen.

    suggestqueries.google.com/complete/search?client=firefox&q=lekérdezés%20ide

    Visszaad egy txt-t, benne a kért adatokkal. Arról nincs infóm, hogy hányszor használható ingyen, vagy egyáltalán szabad-e használni. Egyszer FF3.6 alá egy toolbar-t írtunk, ahol ezt használtuk, nem szólt érte a google. (Nem naplóztunk és nem használtunk crawlert adatgyűjtésre, csak amikor az input mező változott, GET kéréssel lehúztuk a szükséges adatokat.)
    Mutasd a teljes hozzászólást!
Tetszett amit olvastál? Szeretnél a jövőben is értesülni a hasonló érdekességekről?
abcd