استقرار

هوش مصنوعی داخل سازمان — و اینکه چه زمانی GPU لازم است

بزرگ‌ترین اعتراض خرید در بازار ایران این نیست که «هوش مصنوعی به چه دردمان می‌خورد». این است که «برای این کار باید چند صد میلیون سخت‌افزار بخریم؟». این صفحه جواب عددی می‌دهد.

برای راه‌اندازی پلتفرم ایجنت لازم نیست GPU بخرید؛ پروفایل کاملاً آنلاین بدون هیچ سخت‌افزار خاصی راه می‌افتد و GPU فقط وقتی لازم می‌شود که بخواهید متن خام کاربر از سازمان خارج نشود.

اول یک تفکیک: سه نقش مدل، نه یک مدل

تصور رایج این است که «هوش مصنوعی داخلی» یعنی یک مدل بزرگ روی سرور سازمان. در عمل سه نقش متفاوت وجود دارد که نیاز محاسباتی‌شان زمین تا آسمان فرق می‌کند، و کل بحث سخت‌افزار روی همین تفکیک می‌چرخد.

نقشکارشحداقل توان لازم
نمایه‌سازپیدا کردن گزینه‌های مرتبط با حرف کاربرCPU کافی است
مسیریابانتخاب بین چند کاندید و استخراج ورودی‌هامدل کوچک تا میان‌رده
اجراکنندهاستدلال و تولید محتوا داخل خود ایجنتهرچه قوی‌تر بهتر — ولی فقط وقتی لازم است

جدا کردن مسیریاب از اجراکننده همان چیزی است که هزینه را قابل کنترل می‌کند. مسیریاب برای هر پیام صدا زده می‌شود ولی ورودی و خروجی‌اش کوتاه است؛ اجراکننده سنگین است ولی فقط وقتی صدا زده می‌شود که ایجنت واقعاً به آن نیاز داشته باشد.

چهار پروفایل استقرار

انتخاب پروفایل یک تنظیم است، نه نسخه‌ی متفاوتی از محصول. با رشد سازمان یا تغییر الزامات قابل تغییر است و کد عوض نمی‌شود.

پروفایلنمایه‌سازمسیریاباجراکنندهبرای
A — کاملاً آنلاینآنلاینآنلاینآنلاینشروع سریع و اکثر سازمان‌ها
B — بازیابی داخلیمحلی (CPU)آنلاینآنلاینفهرست سامانه‌ها و قابلیت‌ها بیرون نرود
C — ترکیبیمحلی (CPU)محلیآنلاینمتن خام کاربر بیرون نرود
D — کاملاً داخلیمحلیمحلیمحلیالزام قانونی یا شبکه‌ی بدون اینترنت

سخت‌افزار واقعی هر پروفایل

این اعداد نقطه‌ی شروع برآوردند، نه تضمین. عدد نهایی به تعداد کاربر همزمان و حجم کاتالوگ بستگی دارد و باید با آزمون بار واقعی تأیید شود، نه پذیرفته شود.

پروفایلکارت گرافیکحافظهنکته
Aندارد۱۶ تا ۳۲ گیگابایتهشت هسته پردازنده کافی است
Bندارد۳۲ تا ۶۴ گیگابایتنمایه‌سازی روی CPU؛ با مدل بزرگ تأخیر بالا می‌رود
Cیک کارت ۲۴ گیگابایتی (کف) تا ۴۸ گیگابایتی (راحت)۶۴ گیگابایتنقطه‌ی شیرین برای اکثر سازمان‌ها
Dدو کارت ۴۸ گیگابایتی یا بیشتر۱۲۸ گیگابایت به بالااجراکننده‌ی محلی، سنگین‌ترین بخش

درباره‌ی کارت‌های رده‌ی آموزش مثل A100: برای این کار لازم نیست و صرفه ندارد. بیشتر قیمتشان صرف قابلیتی می‌شود که در سرو یک مدل مسیریاب میان‌رده استفاده نمی‌شود. فقط وقتی توجیه پیدا می‌کنند که همزمانی خیلی بالا باشد یا اجراکننده‌ی محلی سنگین لازم شود.

چرا پروفایل ترکیبی نقطه‌ی شیرین است

در پروفایل C، متن خام کاربر هرگز از سازمان خارج نمی‌شود: هم پیدا کردن گزینه‌ها و هم انتخاب بین آن‌ها داخل سازمان انجام می‌شود. چیزی که ممکن است بیرون برود فقط داده‌ی ساختاریافته‌ی خود ایجنت است — که آن هم با سطح محرمانگی اعلامی کنترل می‌شود. و همه‌ی این‌ها با یک کارت گرافیک به دست می‌آید.

برای بیشتر سازمان‌های ایرانی، فاصله‌ی امنیتی بین پروفایل C و D بسیار کمتر از فاصله‌ی هزینه‌ی آن‌هاست. مگر اینکه الزام قانونی صریح یا شبکه‌ی بدون اینترنت داشته باشید، C انتخاب درست‌تری است.

با مدل ضعیف چه اتفاقی می‌افتد

اگر سخت‌افزار محدود باشد و ناچار باشید مدل کوچک‌تری اجرا کنید، سیستم بی‌استفاده نمی‌شود — رفتارش عوض می‌شود. چهار محافظ تنظیمی وجود دارد که مبادله را مدیریت می‌کنند.

  • آستانه‌ی اطمینان بالاتر: بیشتر می‌پرسد، کمتر حدس می‌زند.
  • کاندیدهای کمتر: انتخاب ساده‌تر می‌شود.
  • استخراج ورودی مرحله‌ای به‌جای یک‌باره.
  • تأیید انسانی، که در این پروفایل‌ها قابل غیرفعال کردن نیست.

نتیجه‌ی خالص: با مدل ضعیف، سیستم کندتر و پرسش‌گرتر می‌شود ولی غلط عمل نمی‌کند. این معامله‌ی آگاهانه‌ای است و بهتر از سیستمی است که سریع و مطمئن اشتباه می‌کند.

سه حالت استقرار و مالکیت

حالتکجا اجرا می‌شودمالکیت
ابری مشترکزیرساخت ما، چندمستأجراشتراک
اختصاصی مدیریت‌شدهنمونه‌ی جدا، نگهداری با مااشتراک بالاتر
داخل سازمانزیرساخت شما، تک‌مستأجرلایسنس به‌علاوه‌ی نگهداری سالانه

تفاوت این سه در پیکربندی و بسته‌بندی است، نه در کد. یعنی از روز اول باید بدون اینترنت هم بالا بیاید و مهاجرت داده بین حالت‌ها ممکن باشد.

پرسش‌های متداول

برای شروع باید GPU بخریم؟

نه؛ پلتفرم در پروفایل کاملاً آنلاین بدون هیچ سخت‌افزار خاصی راه می‌افتد.

الگوی متداول این است که با پروفایل A شروع می‌شود تا ارزش کار روی دو فرایند اول ثابت شود، و بعد اگر الزام محرمانگی مطرح شد، به پروفایل C ارتقا پیدا می‌کند. این ارتقا یک تغییر تنظیمات است، نه یک پروژه‌ی جدید.

می‌شود مدل زبانی را روی سرور خودمان اجرا کرد؟

بله؛ در پروفایل ترکیبی مسیریاب و در پروفایل کاملاً داخلی همه‌ی نقش‌ها روی زیرساخت خود سازمان اجرا می‌شوند.

نکته‌ی مهم این است که «مدل محلی» یک تصمیم واحد نیست. اجرای نمایه‌ساز روی CPU تقریباً رایگان است، اجرای مسیریاب یک کارت گرافیک می‌خواهد، و اجرای اجراکننده‌ی قوی چند کارت. بیشتر سازمان‌ها با اجرای دو تای اول به هدف امنیتی‌شان می‌رسند.

در شبکه‌ی بدون اینترنت هم کار می‌کند؟

بله؛ پروفایل کاملاً داخلی برای همین حالت طراحی شده.

شرطش این است که همه‌ی وابستگی‌ها قابل تأمین داخلی باشند — که از روز اول یک قید طراحی بوده، نه چیزی که بعداً اضافه شود. هزینه‌اش سخت‌افزار سنگین‌تر و به‌روزرسانی دستی‌تر است.

داده‌ی سازمان ما به مدل بیرونی می‌رود؟

این را سیاست سازمان تعیین می‌کند نه ایجنت: برای هر قابلیت مشخص می‌شود چه سطحی از داده را لمس می‌کند و کدام مدل مجاز است آن را ببیند.

در بیشتر سازمان‌ها مشکل این نیست که داده بیرون می‌رود؛ مشکل این است که کسی نمی‌داند کدام درخواست بیرون رفت. وقتی تصمیم مدل در سیاست پلتفرم گرفته شود و در لاگ ممیزی ثبت شود، جواب این سؤال از حدس به سند تبدیل می‌شود.

برآورد سخت‌افزار برای سازمان شما

تعداد کاربر همزمان و الزامات محرمانگی‌تان را بگویید تا بگوییم کدام پروفایل برایتان معنا دارد — و کدام خرید سخت‌افزار لازم نیست.

گفتگو با تیم فنی