Laravel XML feldolgozás (AnubisTravel)
2020-04-22T15:05:00+02:00
2020-04-22T15:31:13+02:00
2022-08-19T01:22:05+02:00
tippElek
Sziasztok,



AnubisTravel-el kell kapcsolatot kiépítenem. Azt kell erről a kapcsolatról tudni, hogy egy linken keresztül érem el XML formátumban az adatokat és utána mentem az adatbázisban ezeket. Az XML fájl mérete 670MB... Sajnos ennek feldolgozása rengeteg időt igényel (10+ óra), így olyan kérdésem lenne felétek, hogy-hogy lehet ezt a futásidőt optimalizálni? Vagy mi a helyes megközelítése egy ekkora XML feldolgozásának PHP-ben vagy Laravelben?
Mutasd a teljes hozzászólást!

  • Amikor ilyesmit kellett csinálnom, emlékeim szerint a SimpleXML-t használtam és ezek voltak a kulcstényezők:
    - A feldolgozó függvénynek adtam egy $from és $to paramétert, hogy melyik elemtől, hányadikig dolgozza fel a rendszer a fájlt.
    - A rendelkezésre álló erőforrások figyelembevételével több process-t is indítottam.

    Ezt úgy képeld el, hogy az egyszerűség kedvéért, ha van 1000 elem, akkor lesz egy külön process az 1-200., a 201-400., a 401-600. stb. elemekre.

    Első körben megnézném, hány CPU szál / vCPU áll a rendelkezésre és mindegyiken indítanék egy process-t. Aztán ezt később tudod finomhangolni.

    Mondanom sem kell, hogy a memóriafogyasztás több process esetén a többszörösére fog nőni, szóval addig nyújtózkodj, amíg az a bizonyos takaró ér...
    Mutasd a teljes hozzászólást!
abcd