اپل برای بهبود عملکرد مدل‌های زبانی بزرگ (LMM) خود با همکاری انویدیا تکنیک جدیدی را برای تولید متن پیاده‌سازی کرده است که باعث می‌شود برنامه‌های هوش مصنوعی سرعت بسیار بیشتری پیدا کنند.
مهندسان اپل در یک پست وبلاگی جزئیات همکاری این شرکت با انویدیا را شرح داده‌اند. غول سازنده آیفون اوایل سال جاری میلادی تکنیک Recurrent Drafter (ReDrafter) خود را به‌طور متن باز منتشر کرد. این تکنیک روش جدیدی برای تولید متن به LLMها ارائه می‌کند که به‌طور قابل‌توجهی سریع‌تر است و «پیشرفته‌ترین عملکرد» را ارائه می‌کند.
اپل در پست خود توضیح می‌دهد تکنیک ReDrafter دو رویکرد الگوریتم جستجوی پرتو محلی و Tree Attention را با یکدیگر ترکیب می‌کند. هر دو تکنیک برای بهبود عملکرد تولید متن طراحی شده‌اند.
پس از تحقیقات خود، اپل با همکاری انویدیا ReDrafter را به فریم‌ورک TensorRT-LLM آن اضافه کرده است. TensorRT-LLM ابزاری است که به مدل‌های زبانی بزرگ کمک می‌کند تا روی پردازنده‌های گرافیکی انویدیا سریع‌تر اجرا شوند. یکی دیگر از پیشرفت‌های فناوری اپل این است که می‌تواند نرخ تاخیر را کاهش داده و انرژی کمتری مصرف کند.
در بخشی از بیانیه اپل آمده است:
«LLMها بیش از پیش برای برنامه‌های تولید استفاده می‌شوند و بهبود کارایی استنتاج می‌تواند تاثیر زیادی بر هزینه‌های محساباتی داشته باشد و تاخیر را برای کاربران کاهش دهد. با رویکرد جدید ReDrafter که اکنون در فریم‌روک NVIDIA TensorRT-LLM ادغام شده است، توسعه دهندگان در پردازنده‌های گرافیکی انویدیا از تولید سریع‌تر توکن برای برنامه‌های تولید خود بهره خواهند برد.»
