پیشتازی مدل متنباز چینی Kimi K3 با ۲.۸ تریلیون پارامتر، موجب ترس مدیران OpenAI و اتهام عجیب ترویج کمونیسم هوش مصنوعی شده است. معرفی مدل متنباز بزرگ Kimi K3 توسط استارتاپ چینی مونشات و صعود ناگهانی آن به صدر ردهبندی پلتفرم Arena، موجی از هراس را در میان شرکتهای فناوری آمریکایی ایجاد کرده است. این موفقیت سبب شده تا برخی از مدیران به موضعگیریهای تند سیاسی و بیان مسائل ایدئولوژیک روی آورند. «دین دبلیو بال» (Dean W. Ball)، مدیر استراتژی OpenAI، در واکنش به پیشتازی مدل Kimi K3، در شبکه اجتماعی ایکس گفت: «یکی از نتایج محتمل در جهانی که مدلهای وزنباز در آن مسلط باشند، کمونیسم کامل هوش مصنوعی خواهد بود؛ این همان چیزی است که چین در نظر دارد: نگریستن به هوش مصنوعی نه به عنوان یک محصول تجاری در بازار آزاد رقابتی، بلکه به عنوان یک «کالای عمومی» که درنهایت باید توسط دولت به عنوان نوعی «زیرساخت عمومی دیجیتال» ارائه شود.» کمونیستم هوش مصنوعی Kimi K3 و واکنش مدیر OpenAI این اظهارنظر جنجالی نشاندهنده فشار شدیدی است که شرکتهای بزرگی چون اوپنایآی و آنتروپیک زیر بار هزینههای زیاد سرورها و آموزش مدلهای انحصاری خود تحمل میکنند. عرضه یک مدل متنباز با کارایی فوقالعاده بالا، عملاً بقای مدلهای اشتراکی و تجاری این شرکتها را با تهدید جدی روبهرو میکند؛ چرا که کاربران ترجیح میدهند بدون پرداخت هزینههای سنگین ماهیانه، از ابزارهای قدرتمند و رایگان متنباز استفاده کنند. مدل انقلابی Kimi K3، دارای 2.8 تریلیون پارامتر است و بهطور اختصاصی برای محاسبات پیشرفته در مقیاس مرزهای دانش طراحی شده است. این مدل چندوجهی با برخورداری از پنجره زمینه 1 میلیون توکنی، عملکردی بسیار سریعتر و رقابتیتر نسبت به رقبای گرانقیمت غربی خود ارائه میدهد. البته تحلیلگران معتقدند مونشات احتمالاً پایههای این مدل را از مدل Claude آنتروپیک استخراج کرده است، اما نوآوری اصلی این مدل در معماری بهینهسازی حافظه کش KV است که Kimi Delta Attention یا (KDA) نام دارد. بهینهسازی حافظه کش در مدلهای با زمینه طولانی، یکی از بزرگترین مسائل فنی هوش مصنوعی محسوب میشود. در روشهای قدیمی، با افزایش طول متن ورودی، حجم حافظه کش به شکل خطی افزایش مییابد که این موضوع سرعت پردازش را کاهش میدهد. مدل Kimi K3 با ابداع یک معماری جدید، کارایی مدلهای بزرگ را در پردازش متون طولانی متحول کرده است. برای درک بهتر نوآوری KDA، میتوان فرایند پردازش متن را به نویسندهای با حافظه کوتاهمدت ضعیف تشبیه کرد که برای نوشتن هر کلمه جدید، ناگزیر است تمام متن نوشتهشده قبلی را دوباره بخواند تا رشته کلام از دست او خارج نشود. طبیعی است که با طولانیتر شدن نوشته، این فرایند بسیار زمانبر خواهد شد. روش KDA مانند یادداشتبرداری روی یک برگ کاغذ مجزا است تا نویسنده مدام مجبور به خواندن کل صفحات قبلی نباشد.
دیجیاتو
دیجیاتودیجیاتو