İçeriğe geç

GPU ve CUDA hızlandırma

Daha hızlı hesaplama, öncesi ve sonrası ölçülerek

Yavaş ve hesaplama yoğun yazılımları NVIDIA GPU'larda CUDA ile, çok çekirdekli CPU'larda OpenMP ile hızlandırıyoruz. Önce profil çıkarır, veri transferlerini ve bellek düzenini düzeltir, ardından zamanın harcandığı yerde çekirdek yazar ya da kütüphane kullanırız. Her hızlanma aynı iş yükü ve aynı donanım üzerinde raporlanır.

İş günlerinde 48 saat içinde dönüş yapıyoruz (GMT+3).

Kimler için

  • Görüntü işleme, simülasyon, sinyal işleme ya da analitik çalıştıran ekipler
  • Bulut GPU faturası kullanımından hızlı büyüyen ekipler
  • Ölçeklenmesi gereken bir CPU algoritmasına sahip Ar-Ge grupları

Sık duyduğumuz problemler

  • “Dakikalar sürmesi gereken işlemler saatler sürüyor.”
  • “GPU faturamız kullanıcı sayımızdan hızlı büyüyor.”
  • “Veri transferleri baskın olduğu için GPU boşta bekliyor.”
  • “Darboğazın CPU'da mı GPU'da mı olduğunu bilmiyoruz.”

Neler teslim edilir

  • Darboğazları önem sırasına koyan profil raporu
  • CUDA çekirdekleri ya da NVIDIA kütüphane entegrasyonu
  • GPU'nun doğru araç olmadığı CPU işleri için OpenMP
  • Veri düzeni ve transfer iyileştirmeleri
  • İş yükünüz üzerinde öncesi ve sonrası ölçümleri

Çalışma modelleri

Performans denetimi

Bir ila iki hafta. Zamanın nereye gittiğini ve bir düzeltmenin neye değeceğini gösterir.

Optimizasyon sprinti

Denetimin en üst sıraya koyduğu düzeltmeleri uygular.

Ekip genişletme

Uzun projelerde ekibinizin içinde çalışan bir GPU mühendisi.

Nasıl ölçüyoruz

  • Hızlanmalar aynı girdi ve aynı makinede tekrarlanan çalıştırmaların medyanı olarak raporlanır.
  • Sonuçlar, baştan anlaşılan bir tolerans içinde referans çıktıyla karşılaştırılır.

Teknolojiler

  • CUDA
  • TensorRT
  • OpenMP
  • C ve C++
  • Python
  • NVIDIA GPU'lar
  • NVIDIA Jetson
Yalnızca CUDA mı kullanıyorsunuz?

Hayır. NVIDIA GPU'larda CUDA, CPU'larda OpenMP kullanıyoruz. Kararı profil ve hedef platform verir.

Sonuçlar orijinal sürümle aynı mı olacak?

Sayısal uyumu, iş başlamadan anlaştığımız bir tolerans içinde orijinal çıktıyla karşılaştırır ve her farkı raporlarız.

Yeniden yazmaya karar vermeden önce denetim yapabilir misiniz?

Evet. Performans denetimi tam olarak bu karar için var.

Gerçek donanımda çalışması gereken bir cihazınız, makineniz ya da modeliniz mi var?

Hedefi, hedef donanımı ve teslim tarihini gönderin. İş günlerinde 48 saat içinde dönüş yaparız. Doğru ekip biz değilsek bunu açıkça söyleriz.

Ekibinizin içinde çalışacak kıdemli bir mühendis mi lazım? Sözleşmeli, yarı zamanlı ve danışmanlık modelleri; en az üç ay.

Mühendis desteği alın