Virtio-nvgpu: Παρά.native πρόσβαση NVIDIA GPU μέσα σε KVM guest

Εισαγωγή: Η πρόκληση της άμεσης πρόσβασης GPU σε εικονικές μηχανές

Οι παραδοσιακές λύσεις GPU virtualization (π.χ. virtio‑gpu + Venus, VFIO passthrough) αντιμετωπίζουν είτε αυξημένη latency από API‑level serialization, είτε ακαταλλήλους πόρους σε πολυ‑tenant περιβάλλοντα. Το virtio‑nvgpu προσεγγίζει το πρόβλημα από άλλη πλευρά: forwarding των NVIDIA ioctl σε επίπεδο driver ABI, ώστε ο guest να τρέχει τα αμετάβλητα user‑mode drivers της NVIDIA.

Πώς λειτουργεί το virtio‑nvgpu: Μεταφορά ioctl σε επίπεδο οδηγού

Ο guest kernel driver (GPL) καταχωρίζει τα /dev/nvidia* και σε κάθε ioctl() σειροποιεί το αίτημα σε ένα control virtqueue. Η mmap() αντιστοιχίζει την κοινή μνημική περιοχή με τις σωστές caching attributes. Η Rust device crate (Apache‑2.0) δέχεται τα αιτήματα, μετατρέπει τους δείκτες και file descriptors σε host‑side τιμές και εκτελεί το ioctl antithetical /dev/nvidia*. Τα events virtqueue ενημερώνουν τον guest όταν η GPU είναι έτοιμη, αποφεύγοντας busy‑waiting.

Αποτελέσματα απόδοσης: Παρά.native GPU Zugang μέσα στο KVM

Μετρήσεις με identique headless Vulkan workload σε RTX 3060 (driver 595.99.02) έδειξαν:

• Για cadres ≥2 ms (το παντού σε παιχνίδια) το guest frame time είναι 98‑100% του bare metal (≤2% απόκλιση).
• Η CPU χρήση ενός rendering guest είναι 0,37 s έναντι 0,40 s του host για 12 s, δηλαδή ίδια.
• Το όριο crossing ανά frame είναι ~0,02 messages (περίπου ένα crossing ανά 59 frames), ενώ λύσεις όπως το Venus χρειάζονται χιλιάδες messages ανά frame.

Πολλοί Gästeς στην ίδια κάρτα: Ισορροπία και κλιμακωσιμότητα

Τέσσερα guests σε μία RTX 3060, με ίδιο headless Vulkan load, έφτασαν 25,8‑26,5 FPS καθένα (συνολικά ~104 FPS), ενώ ένα μόνο guest έφτανε 102,9 FPS. Τα p50 frame times ήταν prácticamente ίδια (≈39,16 ms). Αυτό δείχνει ότι το virtio‑nvgpu επιτρέπει διαλειτουργικότητα (interoperability) και ισορροπία χωρίς θετικό overhead, οριοθετώντας την κλιμακωσιμότητα μόνο από τη φυσική δυνη της GPU.

Σχεδίαση και άδεια: Διαχωρισμός GPL/Apache/BSD

Το αποθετήριο χωρίζεται σε τέσσερις μέρη:

• driver/ (GPL‑2.0): guest kernel module, registers /dev/nvidia*, forwards ioctl/mmap.
• device/ (Apache‑2.0): virtio device ως Rust crate, χωρίς VMM dependencies.
• isolate/ (Apache‑2.0): σχεδιασμός sandboxed helper per guest (ακόμη όχι υλοποιημένο).
• gen/ και protocol/ (BSD‑3‑Clause OR GPL‑2.0+): wire format και ABI definitions, dual licensed ώστε και τα δύο μέρη να μπορούν να τα συμπεριλάβουν.

Αυτό το μοντέλο ακολουθεί το chromeos/virtio-media, διασφαλίζοντας ότι το guest half μπορεί να είναι GPL ενώ το host half παραμένει permisive για ευρύτερη χρήση.

Συγκριτική ανάλυση: Γιατί ξεπερνάει το Venus και άλλες προσεγγίσεις

| Προσέγγιση | Μεταφορά | Latency | CPU overhead | Guest buffer ownership | Guest NVENC | |------------|----------|---------|--------------|------------------------|-------------| | Venus (API‑level) | serialize+transport+replay per draw call | 1‑3 ms ανά frame (6‑18%) | Ypόση (serialization) | HOST (compositor δεν βλέπει buffers) | ❌ (απαιτεί readback) | VFIO passthrough | Direct PCI passthrough | Native | Low (no translation) | HOST (exclusive) | ✅ (αλλά exclusive) | virtio‑nvgpu | ioctl forwarding per submit | ~0,02 ms crossing | Μηδενικό (μόνο wake‑up) | GUEST (πλήρης έλεγχος) | ✅ (zero‑copy)

Η διαφορά είναι δομική: το virtio‑nvgpu περνάει το όριο per ioctl (περίπου 5‑20 ανά frame) αντί per API call (χιλιάδες), κάτι που εξαλείπτει το serialization bottleneck και επιτρέπει real‑time streaming pipelines (render → composite → encode) εντός του guest.

Περιορισμοί και μελλοντική εργασία

• Τεστέστηκε μόνο με έως τέσσερα guests; περισσότερα δεν έχουν δοκιμαστεί.
• Μονόpath driver versions: υποστηρίζονται explicit ABI intervals (535.129.03‑580.178.04‑595.71.05+).
• CUDA forwarding είναι παρόμοιο με ioctl, αλλά δεν έχει βenchmark‑tested πέρα από την enumeration.
• Το isolate/ είναι σχεδιασμένο sandboxed helper που θα τρέχει σε ξεχωριστό process, μειώνοντας την εμπιστοσύνη που απαιτεί το VMM σήμερα.

Εντός αυτού του πλαισίου, το virtio‑nvgpu προσφέρει μια πρακτική, χαμηλή‑overhead λύση για headless streaming, cloud gaming και βίντεο transcoding σε εικονικά περιβάλλοντα, με απόδοση που είναι αμετάβλητη από την bare metal για την πρακτική χρήση.