Triton: CUDA-gyilkos, nyílt forrású programozási nyelvet adott ki az OpenAI

Triton: CUDA-gyilkos, nyílt forrású programozási nyelvet adott ki az OpenAI
2021-08-04T08:14:51+02:00
2021-08-05T11:24:18+02:00
2022-10-17T08:40:33+02:00
  • A PyTorchhoz se kell ismerni a CUDA-t, nem is kell tudod, hogy épp azon fut a programod. Sőt, egy egyszerű konfigurációs paraméter állításával ugyanaz a kódod egyből futhat CPU-n, TPU-n, vagy AMD GPU-n (ROCm). (Persze utóbbiak előbb vagy utóbb gondolom jönnek a Tritonba is.)

    Szerintem ennek az előnye az MI-kutatók számára annyi, hogy ha egy specifikus kódrészt nagyon ki kell optimalizálni mert a PyTorch tempója nem elég, akkor ezzel könnyebben megoldható.
    De ez nekem inkább azzal tűnik analógnak, hogy van most egy C#-od (PyTorch), amivel aránylag könnyű gyors kódot írni, de ha igazán gyors kódra van szükséged, ott van a sokkal nehezebb C (CUDA), és most a kettő közé tradeoffnak bejött a Rust (Triton).

    Viszont Tritonban minden kódot neked kell megírnod, hiszen a sebességelőnye csak akkor jön ki, ha az adott kódot a te usecasedre optimalizálod és nem általánosabb megoldásokat csinálsz, mint ahogy azok a PyTorchban vannak. Szóval az MI-ben szerintem ennek nagyon marginális lesz ennek a haszna/használati értéke.
    Én 3-4 éve dolgozok napi szinten PyTorchal és eddig mindössze 1x volt szükségem natív cuda kódra, amikor ki akartam próbálni egy új activation functiont és érdekelt, mennyivel gyorsabb a cuda implementáció, mint a PyTorch jit-es. A többieknél a kutatócsoportban hasonló az arány - persze a saját tapasztalataimból nem lehet általános következtetéseket levonni - de azért gyanús, hogy az NVIDIA MI publikációinak is a döntő többsége PyTorch-ot/Tensorflowt használ, natív CUDA helyett.


    Másik oldalról viszont egyéb felhasználási területen (fizikai és egyéb szimulációk pl, vagy kép/videó feldolgozás) nagyon hasznos lehet ez, egyszerűen csak szerintem nem az átlag MI kutatók lesznek ennek a fő felhasználói (egyébként nem is írják ezt a triton oldalán sem).
    Mutasd a teljes hozzászólást!
  • Teljesen mindegy, mert ennek pont az a lényege, hogy nem kell ismerni a CUDA-t ahhoz, hogy használni lehessen. Mi több, gyorsabban működő megoldást generál, mint amit PyTorch-ban lehetne.
    Mutasd a teljes hozzászólást!
  • Érdekelne, hogy hány MI-kutató programozik direktben CUDA-ban és nem PyTorchban, vagy Tensorflowban...
    Mutasd a teljes hozzászólást!
Tetszett amit olvastál? Szeretnél a jövőben is értesülni a hasonló érdekességekről?
abcd