PHP cURL teljes oldal letöltése
2019-12-16T00:39:05+01:00
2019-12-16T09:39:26+01:00
2022-08-11T16:45:35+02:00
*deleted_09844152
Sziasztok!

Az alábbi kódot használom a file_get_contents függvény helyett:

<?php function file_get_contents_curl ( $url ) { $ch = curl_init (); curl_setopt ( $ch, CURLOPT_AUTOREFERER, TRUE ); curl_setopt ( $ch, CURLOPT_HEADER, 0 ); curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 ); curl_setopt ( $ch, CURLOPT_URL, $url ); curl_setopt ( $ch, CURLOPT_FOLLOWLOCATION, TRUE ); curl_setopt ( $ch, CURLOPT_SSL_VERIFYPEER, 0 ); // curl_setopt ( $ch, CURLOPT_SSL_VERIFYHOST, 0 ); // curl_setopt ( $ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13' ); $data = curl_exec ( $ch ); curl_close ( $ch ); return $data; } ?>
Valamiért nem tölti le a teljes oldalt, tehát például vannak <img> tag-ek is az oldalon, de nem tudom begyűjteni az összes src tulajdonságot mert az 56 db képből csak 18 db-nak látom az src tulajdonságát. Gondolom ez az oldal gyorsabb betöltése érdekében lett így lefejlesztve, viszont ilyen esetben mit tudok tenni? Sajnos a file_get_contents függvény még ennyire se hozta le az oldalt, hiába építettem bele a stream_context_create függvényt és társait.

Előre is köszönöm a segítséget.
Mutasd a teljes hozzászólást!
Hali!

Valamiért nem tölti le a teljes oldalt, tehát például vannak <img> tag-ek is az oldalon, de nem tudom begyűjteni az összes src tulajdonságot mert az 56 db képből csak 18 db-nak látom az src tulajdonságát.

Valószínűleg úgy készítették el az oldalt, hogy a böngésző dinamikusan töltse be a tartalmat (valamilyen lazy loading-technikát alkalmazva, Javascript/AJAX, stb.). Ebben az esetben pusztán PHP-vel nem fogod tudni megoldani ezt a problémát.

Az img tag-eket látod, csak a src attribútumukat nem? Melyik oldal ez pontosan?

Megjegyzés: Firefox 2.0/Windows XP user agent-sztring? Ez komoly? 

Mutasd a teljes hozzászólást!

abcd