Több mint 10 millió adat kezelése
2010-04-24T13:35:09+02:00
2010-04-26T17:10:41+02:00
2022-07-25T04:04:53+02:00
  • Mysqlben simán kezelhető/importálható ekkora adatbázis. Persze nem phpmyadminnal kell importálni.
    Nézelődni már jó a phpmyadmin.

    szerk: legalábbis linuxon. windowson nem tudom.
    Mutasd a teljes hozzászólást!
  • Milyen táblába importáltad be?

    Mert ha elogadtad az alapbeállításokat, akkor lehet, hogy a szöveg típusokat 255 karakteresre vette. Ekkor szokott a méret ilyen nagy lenni.

    Ha ismered a struktúrát, akkor készíts egy olyan felépítésű táblát amibe bele lehet importálni, majd abba tedd bele. Ez a tábla természetesen a lehető legkisebb méretű sorokból álljon.

    Nem tudom milyen feldolgozást akarsz ezen a CSV-n futtatni, de csatolhatod is. Ekkor nem olvassa be, de kezelhetővé válik, igaz nagyon lassú lesz.


    Kombinálhatod a két eljárást, csatolod a CSV-t, definiálod a táblát és egy hozzáfűző lekérdezéssel feltöltöd a táblát.
    Mutasd a teljes hozzászólást!
  • Valóban az Access lehetséges maximális mérete 2GB, minusz a rendszerobjektumok számára szükséges hely. Mivel beimportáltad a szükséges adatokat, és csak 1,2 GB, ezzel az SQL szerveren nem lesz probléma.

    Az Access projekt nem tartalmaz táblákat, csak hivatkozásokat az SQL szerveren lévőkre, így ott sem lesz probléma. A lekérdezések is a szerveren futnak le, ezért a sebességet is alapvetően az határozza meg.

    Egyébként a puding próbája, ha megeszik.
    Mutasd a teljes hozzászólást!
  • Jogos, nem te voltál
    Mutasd a teljes hozzászólást!
  • "és nem fogja meghaladni a 4gb-ot az adatbázis?"

    ezt csak te tudhatod.
    (amúgy access esetében a fájl(mdb) max 2GB lehet)
    Mutasd a teljes hozzászólást!
  • maximum database size of 4 GB per database (2005 and 2008 versions) or 10 GB (2008 R2 version[2]) (compared to 2 GB in the former MSDE). The limit applies per database (log files excluded); but in some scenarios users can access more data through the use of multiple interconnected databases.

    SQL Server Express - Wikipedia, the free encyclopedia
    Mutasd a teljes hozzászólást!
  • Hmm, és nem fogja meghaladni a 4gb-ot az adatbázis? :)
    Azt hiszem van egy ilyen korlát az express verzióban...
    Mutasd a teljes hozzászólást!
  • Persze neked könnyű, mert kíválóan beszélsz Excelül, de én csak az Accesst dadogom.
    Persze gondolom nem én vagyok a címzett, valójában.
    Mutasd a teljes hozzászólást!
  • Még egy problémám lenne: Accesben nem lehet egy oszlop adatait valami függvénnyel (bal, jobb) feltölteni, mint az excelbe?


    De. Frissítő lekérdezésnek nevezik.
    Mutasd a teljes hozzászólást!
  • Még egy problémám lenne: Accesben nem lehet egy oszlop adatait valami függvénnyel (bal, jobb) feltölteni, mint az excelbe?

    Nem pontosan értem, hogy mit akarsz, de biztos megoldható.
    megpróbálok szerezni egy MSSQL Expresst.

    Nem kell "szerezni" Simán, ingyen letöltöd az MS oldaláról. Az adatokat az Accessből importálhatod. Javaslom, hogy az Access project megoldást próbáld ki. (A kiterjesztése ADP:)
    Mutasd a teljes hozzászólást!
  • Szia Micu!

    Win7-es gépen sikerült beimportálnom, korábban WinXP-n nem tudtam. Akkor írta ki a hibaüzenetet, amit nem jegyeztem fel.

    Igazad lett, az Access elég lassú... megpróbálok szerezni egy MSSQL Expresst.

    Köszi!
    Mutasd a teljes hozzászólást!
  • Sziasztok!

    Vannak fejlemények, sikerült beolvasnom az Accesbe a CSV-t. A vége 13 millió lett és a fájl mérete 1,2 Gb... őrület. Ez a méret nem csökkenthető valahogy?

    Még egy problémám lenne: Accesben nem lehet egy oszlop adatait valami függvénnyel (bal, jobb) feltölteni, mint az excelbe?

    Továbbra is köszönöm a segítségetekt!
    Mutasd a teljes hozzászólást!
  • Még egy szavazat az SQL 2008 mellett. A felhasználói felületetakár Accessben is megírhatod. (ADP)
    Mutasd a teljes hozzászólást!
  • Szerintem elbeszélünk egymás mellett. Én azt mondtam, hogy _miután_ már az adatok importálva vannak, utána már nem okoz gondot 10M rekord egy táblában a MySQL-nek. És azért a már importált állapotról beszéltem, mert nézd meg, mi a topik címe (adatok kezelése, és nem importálása)...

    Te pedig azt ecseteled, hogy mennyire macera ekkora adatmennyiséget importálni. Pedig nem macera, csak kisebb darabokra kell felszeletelni, és ezeket a darabokat kell egyszerre rászabadítani az import folyamatra. A darabolást meg lehet automatizálni <10 soros kóddal.
    Mutasd a teljes hozzászólást!
  • de az is vmi hibára hivatkozva leállt


    Részleteznéd?

    Egyébként egy MSSQL Express nem lenne jobb ehhez? (Az Access lassú lesz)
    Mutasd a teljes hozzászólást!
  • Akkor fel kell szeletelni az CSV-t 1 m soronként :)
    Mutasd a teljes hozzászólást!
  • Próbálj meg egyszerre annyi adatot importálni . Már a phpnuke párszázas tábláitól is kiakadt a mysql online. Offline nekem 30e méretű táblánál mondta azt, hoyg na ezt akkor most hanyagoljuk.
    SQL 2008-at vagy Oracle javasolnám én is. Az elbír vele. MySQL-t saját tapasztalat alapján hát nem.
    Mutasd a teljes hozzászólást!
  • Ha már témamegjelölésnél a MySQL-t is beraktad, akkor miért nem próbálod ki azzal? A MySQL-nek 10-15 millió rekord nem fog gondot okozni. Például amikor anno az annyiavilag.hu-t csináltuk, és a söröskupakokban lévő kódokat kellett eltárolni egyetlen táblában, az a tábla 54 millió rekordos lett. És jól indexelve a MySQL nem panaszkodott miatta, simán lekezelte, és relatíve elég gyorsan is csinálta. Bár itt csak 3 oszlopos volt ez a böhöm nagy tábla, de neked meg "csak" 10-15 millió rekordod lesz több oszloppal. Szerintem nyugodtan ereszd rá az egészet a MySQL-re, nem fog tőle zavarba jönni.
    Mutasd a teljes hozzászólást!
  • Miért nem használsz adatbázis kezelőt?
    SQL 2008 játszva elbír ekkora állománnyal..
    Mutasd a teljes hozzászólást!
  • Sziasztok!

    Van egy hatalmas CSV adatbázisom 540 MB, ami körülbelül
    10-15 millió sort tartalmaz (8 oszloppal). A legjobban csak NotePaddal sikerült megnyitnom akkor 6 millió sort láttam (új excel is csak 1 milliót lát ). Próbáltam CSV-vel Accesbe importálni, de az is vmi hibára hivatkozva leállt. Szóval meg vagyok lőve, hogyan tudnám ezt a fájlt vmi olyan adatbázisba tenni, amit később egy kis progi tud kezelni.

    Egy irányt most próbálok: 1 milliónként feldarabolom és úgy olvasom be az Accesbe.

    Ja és még egy fontos kérdés, szerintetek érdemes ezt mondjuk Accesbe tölteni? Vagy úgysem lesz kezelhető (lassú, ott is baromi nagy... stb)

    A Segítségeket előre is köszönöm!

    Üdv: Antil
    Mutasd a teljes hozzászólást!
abcd