انویدیا با همکاری چند شرکت فناوری، به‌روزرسانی منبع باز TensorRT-LLMرا ارائه کرده که قرار است عملکرد پردازنده‌های گرافیکی پرچم‌دار H100 Tensor Core را دو برابر کند.

این به‌روزرسانی که قرار است در هفته‌های آینده منتشر شود عملکرد گرافیکی H100 را به هشت برابر A100 خواهد رساند، در حالیکه قبلا این عدد فقط چهار برابر بود. انویدیا این نرم‌افزار را روی GPT-J 6B تست کرده است.

از آنجائیکه پویایی مدل‌های زبان بزرگ (LLM) ممکن است گروه‌بندی تقاضاها و اجرای موازی آن‌ها را دشوار کند، برای حل این مشکل، انویدیا و شرکت‌های همکارش سعی کردند TensorRT-LLM را مجهز به فناوری جدیدی به نام گروه‌بندی در پرواز کنند. این فناوری می‌تواند پروسه تولید متن را به وظایف متعددی تقسیم‌بندی کند.

TensorRT-LLM دارای یک کامپایلر یادگیری عمیق TensorRT است و از هسته‌های بهینه‌‌شده، فرایندهای پیش‌پردازش و پس‌پردازش و همچنین قابلیت‌های multi-GPU و multi-node بهره می‌برد.

TensorRT-LLM شامل نسخه‌های بهینه‌شده Llama 2 ،GPT-2 ،GPT-3 ،Falcon ،Mosaic MPT BLOOM و موارد دیگر می‌شود که همه آن‌ها از طریق API پایتون قابل دسترس هستند.

این به‌روزرسانی هم‌اکنون در دسترس عموم قرار دارد و قرار است به زودی با پلتفرم Nvidia NeMo که بخشی از پروژه AI Enterprise انویدیا است ادغام شود.

اتاق خبر مستر جانبی

منبع: https://techfars.com/260951/hey-presto-nvidia-pulls-software-hack-out-of-ai-hat-and-doubles-performance-of-h100-gpu/