امتیاز یک ابزار تشخیص متن هوش مصنوعی، به‌تنهایی اثبات منشأ یک نوشته نیست. برای فهم عدد، باید بدانید ابزار روی چه متن‌هایی، با چه آستانه‌ای و با چه نرخ خطایی ارزیابی شده است. در تمرین زیر، صد امتیاز را خودمان ساخته‌ایم تا اثر آستانه را ببینیم؛ هیچ آشکارساز واقعی اجرا نشده است.
عددِ روی صفحه دقیقاً چه چیزی است؟
عبارت «۰٫۹» ممکن است امتیاز داخلی، احتمال تخمینی یا خروجیِ تبدیل‌شدهٔ ابزار باشد. بدون تعریف رسمی و بررسی کالیبراسیون، آن را «۹۰درصد یقین دربارهٔ نویسنده» نخوانید. تشخیص «وجود کمک هوش مصنوعی» نیز با تشخیص «تمام متن ماشینی» یا «کپی از منبع» سه سؤال متفاوت است.
مرجع NIST در۵مه۲۰۲۵، ارزیابی تولید و تمایز متن را روی مجموعهٔ مرجع و معیارهای مشخص توصیف می‌کند. این منبع خبر امروز یا نتیجهٔ آزمون فارسی اپرا نیست؛ عددهای مثال ما نیز از آن پژوهش برداشته نشده‌اند.
یک مجموعهٔ آموزشی با منشأ معلوم
صد ردیف داریم: پنجاه ردیف با برچسب human و پنجاه با ai. این‌ها شناسه و امتیازِ ساختگی‌اند؛ متن یا نویسندهٔ واقعی ندارند. برای گروه انسانی،۵امتیاز۰٫۹،۱۵امتیاز۰٫۶ و۳۰امتیاز۰٫۲ ساخته‌ایم. برای گروه AI،۲۵امتیاز۰٫۹،۱۵امتیاز۰٫۶ و۱۰امتیاز۰٫۲. قاعدهٔ تصمیم این است: امتیاز بزرگ‌تر یا مساوی آستانه، «AI تشخیص داده‌شده» حساب شود.
| آستانه | AI درست تشخیص‌داده‌شده TP | انسان اشتباه متهم‌شده FP | AI جاافتاده FN | انسان درست TN |
|---|---|---|---|---|
| 0.5 | 40 | 20 | 10 | 30 |
| 0.8 | 25 | 5 | 25 | 45 |
عبارت «متهم‌شده» فقط معنی خطای فرضیِ این جدول را روشن می‌کند و دربارهٔ شخصی ادعا ندارد. مهم است FP را هم ببینیم؛ فقط تعداد متن‌های AI پیدا‌شده تصویر کاملی از کیفیت نمی‌دهد.
کدام درصد را گزارش می‌کنیم؟
در آستانه۰٫۵، Precision برابر۴۰/۶۰ یا حدود۶۶٫۷درصد است: از شصت برچسب مثبت، چهل مورد طبق مرجع درست‌اند. Recall برابر۴۰/۵۰ یا۸۰درصد است. نرخ مثبت کاذب در میان متن‌های انسانی۲۰/۵۰ یا۴۰درصد می‌شود. این سه درصد مخرج متفاوت دارند.
در آستانه۰٫۸، Precision حدود۸۳٫۳درصد، Recall پنجاه‌درصد و نرخ مثبت کاذب انسانی ده‌درصد است. این تغییر در همین دادهٔ ثابت، خطا روی انسان‌ها را کمتر و موارد AI جاافتاده را بیشتر کرده است. از آن، بهترین آستانهٔ عمومی یا عملکرد یک برند نتیجه نگیرید. اگر نسبت منشأها در جمعیت واقعی تغییر کند، Precision هم ممکن است تغییر کند.
اگر منشأ واقعی معلوم نیست چه کنیم؟
برای اندازه‌گیری خطا، مجموعه‌ای با روش تولید و نسخهٔ مستند لازم است؛ حدس بازبین دربارهٔ «حس ماشینی متن» مرجع قطعی نیست. زبان، طول، موضوع، متن ویرایش‌شده و همکاری انسان و ابزار را در طراحی ارزیابی مشخص کنید. امتیاز را کنار سابقهٔ نگارش، پیش‌نویس‌ها و توضیح فرایند بررسی کنید؛ یک عدد برای نسبت‌دادن منشأ قطعی به فرد کافی نیست.
برای معرفی شفاف محتوای واقعاً تولیدی، برچسب منشأ محتوا موضوع جداگانه‌ای است. افشای داوطلبانهٔ روش ساخت با حدس‌زدن منشأ از روی امتیاز آشکارساز فرق دارد.
فایل‌ها و تمرین بعدی
CSV و Python همراه، هرصد ردیف و محاسبهٔ مستقل دو آستانه را دارند. کد محلی بدون API اجرا شده است؛ نتیجه، بنچمارک هیچ سرویس واقعی نیست. برای تمرین، آستانه را۰٫۷ بگذارید و بررسی کنید چرا در این داده با۰٫۸ نتیجهٔ یکسانی دارد: هیچ امتیازی بین آن دو نداریم. ادامهٔ مبانی و مرز استفاده از ابزارها در صفحهٔ هوش مصنوعی است.
فایل تمرین و منبع
صد امتیاز کاملاً ساختگی با منشأ آموزشی معلوم؛ CSV · کد محلی محاسبهٔ خطای دو آستانه
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.