استارتآپ آمریکایی PrismML از مدل زبانی Bonsai 27B رونمایی کرده است که بدون نیاز به فضای ابری مستقیما روی آیفون اجرا میشود. به گزارش سرویس هوش مصنوعی تکناک، این مدل با وجود داشتن ۲۷ میلیارد پارامتر، تنها ۳.۹ گیگابایت حجم دارد و برای نخستینبار امکان اجرای یک مدل زبانی بزرگ را به صورت کاملاً محلی روی آیفون فراهم میکند. مدل Bonsai 27B بر پایه مدل متنباز Qwen3.6 27B شرکت علیبابا توسعه یافته است. نسخه اصلی این مدل حدود ۵۴ گیگابایت حجم دارد، اما PrismML با استفاده از فناوری فشردهسازی، هر وزن شبکه عصبی را بهجای ۱۶ بیت، با تنها ۱ یا ۲ بیت ذخیره میکند و در نتیجه حجم مدل را به کمتر از ۴ گیگابایت کاهش داده است. این شرکت دو نسخه از Bonsai 27B را عرضه کرده است. نسخه ۵.۹ گیگابایتی برای لپتاپها طراحی شده است و حدود ۹۵ درصد از عملکرد مدل اصلی را حفظ میکند، در حالی که نسخه ۳.۹ گیگابایتی مخصوص گوشیهای هوشمند است و حدود ۹۰ درصد از عملکرد نسخه اصلی را ارائه میدهد. طبق اعلام PrismML، عملکرد مدل در پردازش مسائل ریاضی و برنامهنویسی تقریباً بدون افت باقی مانده است. مدل زبانی Bonsai 27B از طریق چارچوب Apple MLX روی آیفون، آیپد و مک اجرا میشود، همچنین از اجرای مبتنی بر CUDA روی کارتهای گرافیک انویدیا نیز پشتیبانی میکند. براساس اطلاعات منتشرشده، نسخه ۳.۹ گیگابایتی Bonsai 27B روی iPhone 17 Pro Max قادر است حدود ۱۱ توکن در ثانیه تولید کند. همچنین یک بار شارژ کامل باتری برای تولید حدود ۶۷ هزار توکن کافی است. البته پس از حدود پنج دقیقه استفاده مداوم، تراشه برای کنترل دما وارد حالت کاهش فرکانس میشود. استارتآپ PrismML اعلام کرده که بزرگترین محدودیت Bonsai 27B در پردازش تصویر و استفاده از ابزارها است؛ بخشهایی که برای عملکرد دستیارهای هوش مصنوعی اهمیت زیادی دارند. همچنین نسخه آمادهای برای کاربران عادی منتشر نشده است و این مدل فعلاً بیشتر توسعهدهندگان و علاقهمندان به هوش مصنوعی را هدف قرار میدهد. مدیرعامل PrismML نیز اعلام کرده است که اپل و چند شرکت دیگر در حال آزمایش مدل زبانی Bonsai 27B از نظر سرعت، مصرف انرژی و عملکرد هستند. هرچند این همکاریها هنوز در مراحل اولیه قرار دارند، اما اجرای مدلهای هوش مصنوعی به صورت محلی میتواند وابستگی به فضای ابری را کاهش دهد و حریم خصوصی کاربران را بیش از گذشته حفظ کند.
تکنوک
تکنوکتکنوک