رفتن به محتوای اصلی
بازگشت به وبلاگ

راهنماهای هوش مصنوعی

MinHash چیست؟ شباهتِ دو متن را با مجموعه و امضای کوچک بسنجیم

دو جمله را به مجموعهٔ bigram تبدیل و Jaccard را با۲۴جایگشت کنترل کنید؛ امضای هشت‌جایگاهی تخمین است و مجوزِ حذفِ سند نمی‌سازد.

MinHash برای برآوردِ شباهتِ Jaccard میان مجموعه‌ها به کار می‌رود. در سندِ متنی ابتدا باید معلوم باشد مجموعه از چه ساخته می‌شود؛ واژه، bigram یا واحدِ دیگری. یکسان‌بودنِ امضای کوچک، سندِ برابر یا معنای برابر را ثابت نمی‌کند. این راهنما اصلِ minwise را در جهانِ چهارعضوی به‌صورت دقیق نشان می‌دهد.

از دو جمله به دو مجموعه

دو جملهٔ اصیلِ ما «این کتاب خوب است» و «این کتاب خوب بود» هستند. با split روی فاصله و پنجرهٔ دوواژه‌ای، مجموعهٔ اول سه عضو دارد: «این کتاب»، «کتاب خوب»، «خوب است». مجموعهٔ دوم عضو آخر را با «خوب بود» عوض می‌کند. اشتراک۲ و اجتماع۴ است؛ Jaccard دقیق برابر۲÷۴=۰٫۵ است.

پنجره‌ها همان قراردادِ n-gram واژه‌ای هستند، ولی اینجا آن‌ها را در مجموعه می‌گذاریم؛ تعدادِ تکرارِ یک عضو نگه داشته نمی‌شود. توکنایزرِ فارسی، تصحیحِ املا یا نرمال‌سازی اجرا نشده است. جملهٔ تک‌واژه‌ای در این دامنه bigram ندارد و به‌عنوان ورودیِ خالی رد می‌شود.

کمینه در یک ترتیبِ مشترک

برای چهار عضوِ اجتماع، یک ترتیبِ کامل انتخاب کنید. امضای هر مجموعه، اولین عضوِ حاضر در آن مجموعه طبق همان ترتیب است. اگر کمینهٔ مشترکِ اجتماع در اشتراک قرار گیرد، دو امضا برابر می‌شوند. حتماً یک ترتیب را برای هر دو مجموعه استفاده می‌کنیم؛ مقایسهٔ امضاهایی که با دو قرارداد ساخته شده‌اند معنیِ این آزمایش را ندارد.

چهار عضو۲۴ ترتیبِ ممکن دارند. کد همه را می‌شمارد: در۱۲جایگاه، کمینهٔ دو مجموعه یکی است؛۱۲÷۲۴=۰٫۵، درست برابرِ Jaccardِ همین نمونه. این نمایش از رتبهٔ دقیقِ اعضا استفاده می‌کند؛ تابعِ هشِ برخوردپذیر یا پیاده‌سازیِ datasketch اجرا نشده است.

امضای کوتاه، تخمین است

سپس کد با seed=۱۷ هشت ترتیب را به‌طور یکنواخت و بدونِ جایگذاری از۲۴ترتیبِ همین جهان انتخاب می‌کند. سهمِ جایگاه‌های برابر در JSON ثبت شده است. این عددِ یک نمونه لزوماً۰٫۵ نیست؛ شمارِ بیشترِ جایگاه و کیفیتِ روشِ ساختِ امضا در برآورد نقش دارند. از یک اجرای کوچک، خطای تضمین‌شدهٔ سامانهٔ واقعی نتیجه نگیرید.

این جهانِ بسیار کوچک اجازه می‌دهد همهٔ جایگشت‌ها را بشماریم؛ این روشِ شمارش برای میلیاردها عضو عملی نیست. پیاده‌سازی‌های مقیاس‌پذیر از خانوادهٔ توابع و امضای محدود استفاده می‌کنند. قبل از مقایسه باید نسخه، واحدِ مجموعه و قراردادِ ساختِ امضا سازگار باشد.

شباهتِ لفظی با تکراری‌بودنِ معنایی فرق دارد

در متن‌های هم‌اندازه، یک واژهٔ عوض‌شده می‌تواند زمان، نفی یا شرطی مهم را تغییر دهد. شباهتِ بالای مجموعه به معنی مجازبودنِ حذفِ یکی از سندها نیست. این تمرین شناسهٔ سند، حقِ نگهداری، نسخه و قضاوتِ انسانیِ تکراری‌بودن را مدیریت نمی‌کند؛ نتیجه فقط دربارهٔ مجموعه‌های همین مثال است.

همچنین SHA-256 برای برابریِ بایت و سلامتِ فایل است، نه تقریبِ شباهتِ مجموعه‌ها. MinHash هم تضمینِ محرمانگیِ متن یا امضای اصالت نیست. اگر مسئلهٔ شما چند نسخهٔ راهنمای پاسخ‌گویی است، ابتدا مالک و تاریخِ منبع را مشخص کنید و سپس نامزدهای مشابه را برای بازبینی کنار هم بگذارید.

قدم بعد

فایل Python و JSON این صفحه هم شمارشِ کامل و هم نمونهٔ هشت‌جایگاهی را بازتولید می‌کنند؛ سه ورودیِ بیرون از دامنه هم رد می‌شوند. هیچ سندِ مشتری، شبکه یا پایگاهِ برداری استفاده نشده است. برای آماده‌کردنِ راهنماهای مجازِ پاسخ‌گویی، نیاز و نسخه‌های مرجع را در مسیر چت سایت اپرا مطرح کنید؛ این نمونه ارائهٔ ابزارِ حذفِ خودکارِ سند در محصول را اعلام نمی‌کند.

فایل تمرین و منبع

آزمایشِ دقیقِ minwise روی جهانِ چهارعضوی، بدون برخوردِ هش · مجموعه‌ها،۲۴جایگشت و نمونهٔ هشت‌جایگاهیِ قابل بازتولید

منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.

برای این نیاز، کدام خدمت مناسب‌تر است؟

تماس و منشی، چت سایت و تحلیل مکالمه سه مسیر متفاوت‌اند. ابتدا خدمت متناسب نیازتان را انتخاب کنید.

انتخاب میان سه خدمتراهنمای شروع با تیم اپرا

برآورد هزینه