Przy trenowaniu sieci neuronowych czy modelowaniu rynków finansowych istnieje potrzeba zastosowania platformy obliczeniowej o możliwie najwyższej przepustowości danych. Procesory graficzne (GPU) zużywają dane znacznie szybciej niż procesory jednostek centralnych (CPU), a wraz ze wzrostem mocy obliczeniowej GPU rośnie zapotrzebowanie na przepustowość danych.
NVIDIA GPUDirect to rodzina technologii firmy NVIDIA wchodząca w skład Magnum IO, która usprawnia przenoszenie danych i dostęp dla procesorów graficznych NVIDIA. Korzystając z GPUDirect, karty sieciowe i napędy pamięci masowej mają bezpośredni dostęp do pamięci GPU przy odczycie i zapisie danych, eliminując niepotrzebne kopie pamięci, zmniejszając obciążenie CPU i zmniejszając opóźnienia, co skutkuje znaczną poprawą wydajności.
Technologie te — w tym GPUDirect Storage, GPUDirect Remote Direct Memory Access (RDMA), GPUDirect Peer to Peer (P2P) i GPUDirect Video — są prezentowane za pośrednictwem kompleksowego zestawu interfejsów API.
Najnowszym postępem w komunikacji GPU-GPU jest GPUDirect RDMA. Ta technologia zapewnia bezpośrednią ścieżkę danych P2P (Peer-to-Peer) między pamięcią GPU bezpośrednio do lub z kart sieciowych NVIDIA. Zapewnia to znaczne zmniejszenie opóźnień w komunikacji GPU-GPU i całkowicie odciąża CPU, usuwając go z całej komunikacji GPU-GPU w sieci. GPU Direct wykorzystuje możliwości PeerDirect RDMA i PeerDirect ASYNC™ kart sieciowych NVIDIA. Wynikiem zastosowania GPUDirect RDMA jest dziesięciokrotnie lepsza wydajność.
GPUDirect RDMA jest dostępny w pakiecie CUDA Toolkit. Sterowniki urządzeń sieciowych, które zapewniają obsługę GPUDirect RDMA dostępne są u producentów sprzętu.
Wraz ze wzrostem rozmiaru zestawów danych czas poświęcony na ładowanie danych może wpłynąć na wydajność aplikacji. GPUDirect Storage tworzy bezpośrednią ścieżkę między pomiędzy lokalną lub zdalną pamięcią masową, taką jak NVMe lub NVMe over Fabrics (NVMe-oF) i pamięcią GPU. Włączając silnik bezpośredniego dostępu do pamięci (DMA) w pobliżu karty sieciowej lub pamięci masowej, przenosi dane do lub z pamięci GPU — bez obciążania CPU.
Umożliwia kopiowanie danych z GPU do GPU, a także ich ładowanie i przechowywanie z wykorzystaniem PCIe i NVLink. GPUDirect Peer to Peer jest natywnie obsługiwany przez sterownik CUDA. Deweloperzy powinni używać najnowszego zestawu narzędzi CUDA i sterowników w systemie z co najmniej dwoma kompatybilnymi urządzeniami.
Oferuje zoptymalizowany algorytm przesyłania danych dla urządzeń opartych na klatkach, takich jak frame grabbery, przełączniki wideo, urządzenia do przechwytywania HD-SDI i urządzeń typu CameraLink, aby efektywnie przesyłać klatki wideo do lub z pamięci GPU NVIDIA:
Funkcjonalność dostępna tylko w systemie Windows.