Rilis PyTorch 2.9, Pengembang Dorong Inovasi Multi-GPU, Optimasi LLM, dan Dukungan Perangkat yang Lebih Luas

Rilis PyTorch 2.9, Pengembang Dorong Inovasi Multi-GPU, Optimasi LLM, dan Dukungan Perangkat yang Lebih Luas

PyTorch Machine Learning Deep Learning Artificial Inteligence

Komunitas machine learning dan deep learning kembali menyambut kabar gembira dengan dirilisnya PyTorch 2.9, versi terbaru dari framework open-source terkemuka untuk penelitian dan produksi AI. Rilis ini membawa lompatan signifikan dalam hal skalabilitas multi-GPU, efisiensi inferensi model bahasa besar (Large Language Model, LLM), serta ekspansi dukungan perangkat keras lintas platform, termasuk AMD ROCm, Intel XPU, dan CPU Arm.

Diumumkan melalui blog resmi PyTorch, versi 2.9 mencakup 3.216 commit dari 452 kontributor sejak rilis PyTorch 2.8, yang menegaskan komitmen proyek terhadap kolaborasi komunitas global dan inovasi berkelanjutan.

Fitur Utama PyTorch 2.9

1. Symmetric Memory: Pemrograman Multi-GPU yang Lebih Efisien

Salah satu sorotan utama PyTorch 2.9 adalah pengenalan Symmetric Memory, fitur API-unstable yang memungkinkan pengembang menulis kernel multi-GPU dengan komunikasi langsung melalui NVLink atau jaringan RDMA. Fitur ini membuka tiga peluang baru dalam penggunaan GPU, yaitu:

  • Komunikasi di dalam kernel → GPU dapat melakukan operasi put/get secara langsung dari dalam kernel, menggabungkan komputasi dan komunikasi pada granularitas terkecil.
  • Akses jarak jauh berlatensi sangat rendah → Komunikasi satu sisi tanpa perlu sinkronisasi eksplisit dari GPU tujuan.
  • Pola komunikasi kustom → Mendukung arsitektur model canggih seperti Mixture of Experts (MoE) melalui operasi seperti all_to_all_vdev.

Fitur ini tersedia melalui modul torch.ops.symm_mem dan saat ini mendukung backend CUDA dan NVSHMEM.

2. Stabilisasi ABI untuk Ekstensi C++/CUDA

Bagi pengembang yang membuat ekstensi C++ atau CUDA kustom, PyTorch 2.9 memperluas libtorch ABI yang stabil. API baru seperti torch::stable::Tensor, utilitas perangkat (Device Guard, Stream), serta operasi ATen stabil (amax, narrow, pad, dll.) memungkinkan ekstensi dibangun sekali dan dijalankan di berbagai versi PyTorch, seperti yang telah diimplementasikan pada FlashAttention 3.

Meski masih dalam status preview, inisiatif ini menjadi langkah penting menuju ekosistem ekstensi yang lebih kompatibel dan andal.

3. Kontrol Lebih Fleksibel atas Graph Breaks di torch.compile

PyTorch 2.9 memperkenalkan torch._dynamo.error_on_graph_break(), sebuah context manager yang memungkinkan pengguna secara dinamis memilih apakah ingin menghentikan eksekusi atau melanjutkannya saat terjadi graph break dalam kode yang dikompilasi. Berbeda dengan mode fullgraph yang bersifat tetap, fitur ini memberikan fleksibilitas lebih besar dalam debugging dan optimasi.

4. Dukungan Wheel yang Lebih Luas: ROCm, XPU, dan CUDA 13

Sebagai bagian dari partisipasi dalam inisiatif WheelNext, PyTorch 2.9 kini menyediakan binary wheel resmi untuk:

  • AMD ROCm (Linux)
  • Intel XPU (Linux)
  • NVIDIA CUDA 13 (Linux & Windows)

Fitur ini mempermudah instalasi dan deteksi otomatis perangkat keras, memperluas akses PyTorch ke berbagai arsitektur komputasi AI.

5. Optimasi LLM: FlexAttention dan Flash Decoding
  • FlexAttention kini didukung di GPU Intel, memungkinkan kode attention yang portabel dan efisien tanpa modifikasi.
  • Flash decoding berbasis FlexAttention hadir untuk CPU x86, mengoptimalkan inferensi LLM dengan konteks panjang melalui paralelisasi urutan KV. Fitur ini sangat bermanfaat saat batch size kecil atau jumlah head terbatas.
6. Peningkatan Performa di Platform Arm

PyTorch 2.9 juga memperkuat dukungan untuk arsitektur Arm AArch64, termasuk:

  • Peningkatan performa torch.compile pada benchmark TorchBench, Hugging Face, dan TIMM.
  • Optimasi operator konvolusi, aktivasi, dan kuantisasi.
  • Integrasi CI dengan instance AWS Graviton 4 (Neoverse V2) untuk cakupan pengujian yang lebih luas.

Cara Menginstal

Pengguna dapat menginstal PyTorch 2.9 melalui sistem manajemen paket modern seperti uv:

# Linux/macOS
curl -LsSf https://astral.sh/uv/install.sh | INSTALLER_DOWNLOAD_URL=https://wheelnext.astral.sh/v0.0.2 sh
uv venv
uv pip install torch
# Windows
powershell -c { $env:INSTALLER_DOWNLOAD_URL = 'https://wheelnext.astral.sh/v0.0.2'; irm https://astral.sh/uv/install.ps1 | iex }
uv venv
uv pip install torch

Penutup

Dengan PyTorch 2.9, tim pengembang tidak hanya memperluas cakupan perangkat keras, tetapi juga membangun fondasi untuk sistem AI yang lebih cepat, fleksibel, dan terdistribusi. Fitur-fitur seperti Symmetric Memory dan dukungan LLM yang diperluas menunjukkan arah jelas menuju scalable AI infrastructure generasi berikutnya.

Komunitas diajak untuk mencoba fitur-fitur baru ini dan melaporkan masukan demi penyempurnaan lebih lanjut.

Pelajari lebih lanjut dan mulai menggunakan PyTorch 2.9 di: https://pytorch.org

Tambah komentar

Previous Post Next Post