Embedding متن را به یک بردار عددی تبدیل میکند تا بتوانید متنهای هممعنی را پیدا کنید. پایه‌ی جستوجوی معنایی، چتبات مبتنی بر اسناد (RAG) و سیستم‌های پیشنهاد است.
اگر نمیخواهید خودتان پایگاه برداری راه بیندازید، پایگاه دانش هوشوانا همین کار را برایتان انجام میدهد: سایت یا فایل را می‌دهید و مستقیم سؤال می‌پرسید.
openai/text-embedding-3-small
text-embedding-3-small مدل Embedding اقتصادی OpenAI است که متن را به بردار ۱۵۳۶ بعدی تبدیل میکند. پایگاه‌های دانش هوشوانا هم به‌طور پیش‌فرض از همین مدل استفاده می‌کنند و برای جستوجوی معنایی فارسی کیفیت خوبی دارد.
openai/text-embedding-3-large
text-embedding-3-large دقیق‌ترین مدل Embedding شرکت OpenAI با بردار ۳۰۷۲ بعدی است. وقتی دقت بازیابی از هزینه مهم‌تر است، مثلاً در اسناد حقوقی یا پزشکی، نتیجهی بهتری از نسخه‌ی کوچک میدهد.
| مدل | نوع | کانتکست | قیمت ورودی | قیمت خروجی | کیفیت فارسی |
|---|---|---|---|---|---|
| Text Embedding 3 Smallopenai/text-embedding-3-small | Embedding | ۸ هزار توکن | ۵٬۹۰۰ تومان | - | ۴ از ۵ |
| Text Embedding 3 Largeopenai/text-embedding-3-large | Embedding | ۸ هزار توکن | ۳۸٬۳۵۰ تومان | - | ۴ از ۵ |
قیمت مدلهای متنی و Embedding برای هر یک میلیون توکن است. مدلهای تصویر برای هر تصویر، گفتار به متن برای هر دقیقه و متن به گفتار برای هر یک میلیون کاراکتر حساب می‌شوند.
Embedding متن را به یک بردار عددی تبدیل میکند، طوری که متنهای هممعنی بردارهای نزدیک به هم داشته باشند. از آن برای جستوجوی معنایی، چتبات مبتنی بر اسناد (RAG)، پیدا کردن محتوای مشابه، دستهبندی و حذف موارد تکراری استفاده میشود. برای ساخت بردار، متن را به endpoint embeddings میفرستید. نمونهی درخواست در /docs/api/embeddings آمده است.
بردارها را در یک پایگاه دادهی برداری نگه دارید تا بتوانید نزدیکترینها را سریع پیدا کنید. اگر از Postgres استفاده میکنید، افزونهی pgvector سادهترین گزینه است و سرویس جداگانه نمیخواهد. اگر نمیخواهید این زیرساخت را خودتان بسازید، پایگاه دانش هوشوانا ذخیره و جستوجو را برایتان انجام میدهد. راهنما در /docs/knowledge-base آمده است.
مدلهای چندزبانه معمولاً برای متن فارسی نتیجهی بهتری دارند. برای انتخاب، چند ده سؤال واقعی همراه با سند درستشان آماده کنید و ببینید هر مدل چند بار سند درست را بین نتیجههای اول پیدا میکند. ابعاد بردار هم مهم است، چون بردار بزرگتر فضای ذخیرهسازی بیشتری میگیرد. قیمت تومانی هر مدل در جدول همین صفحه آمده است.
بردارهای مدلهای مختلف با هم قابل مقایسه نیستند، حتی اگر ابعادشان یکی باشد. پس اگر مدل را عوض کنید، باید همهی متنهای ذخیرهشده را دوباره با مدل جدید به بردار تبدیل کنید. برای همین قبل از ساخت یک پایگاه بزرگ، مدل را با دقت انتخاب کنید و نام مدل را کنار هر بردار ذخیره کنید تا بعداً سردرگم نشوید.