امتیاز confidence در خروجی تشخیص گفتار، اگر ارائه شود، تخمین سامانه درباره متن است؛ نبودن آن با صفر بودنش یکی نیست. پیش از انتخاب آستانه بازبینی، ابتدا مطمئن شوید برنامه حضور فیلد، مقدار معتبر و ترتیب گزینهها را درست میخواند. خطای این لایه میتواند حتی قبل از ارزیابی کیفیت، گزارش را عوض کند.
سه حالت را به یک عدد تبدیل نکنیم
| نمونه آموزشی | برداشت درست از داده |
|---|---|
| فیلد confidence وجود ندارد | امتیاز ارائه نشده؛ مقدار ناموجود نگه داشته شود |
| confidence برابر۰٫۰ صریح است | یک مقدار عددی در قرارداد این نمونه وجود دارد |
| alternatives خالی است | گزینه متنی برای خواندن نداریم؛ متن خالی را نتیجه موفق فرض نکنیم |
استفاده از عبارتی مانند value or 0.5 صفر واقعی را هم به عدد جایگزین تبدیل میکند. همینطور get با مقدار پیشفرض صفر میتواند نبود فیلد را پنهان کند. نمونه این صفحه برای یک شیء JSON با حضور صریح فیلد نوشته شده است؛ در SDKها و قالبهای دیگر، معنای مقدار پیشفرض باید جدا از مستند همان قرارداد خوانده شود.
چرا بزرگترین confidence را انتخاب نکنیم؟
در مستند Google Cloud، گزینه اول بر اساس سیگنالهایی فراتر از confidence رتبهبندی میشود و الزاماً بالاترین مقدار این فیلد را ندارد. در مثال ساختگی، گزینه اول امتیاز۰٫۴ و گزینه دوم۰٫۹ دارد. اگر برنامه خودکار بیشترین امتیاز را برگزیند، ترتیب خروجی ارائهدهنده را عوض کرده است. این تغییر میتواند سیاست آزمایشی شما باشد، اما باید جدا ارزیابی شود؛ آن را خواندن خنثی پاسخ ننامید.
کد خواندن گزینه نخست و امتیاز حضور فیلد را کنترل میکند، مقدار خارج از بازه یا غیرعددی را رد میکند و گزینهها را دوباره مرتب نمیکند. هیچ درخواست شبکه یا مدل صوتی در کد وجود ندارد. حالت ناموجود، صفر، چندگزینهای و فهرست خالی در آزمون محلی بررسی شدهاند.
ثبات متن با اعتماد به درستی فرق دارد
در بعضی خروجیهای زنده، stability درباره تغییرکردن حدس موقت است، نه همان confidence. اگر یک جمله چند پیام پشت سر هم ثابت مانده، لزوماً درست شنیده نشده است. همچنین نهاییبودن یک قطعه، معیار مستقل درستی نام یا مبلغ نیست. متن موقت و نهایی را جدا مدیریت کنید.
بعد از خواندن صحیح، تازه ارزیابی شروع میشود
- معنای فیلد و نسخه مدل را برای همان سرویس ثبت کنید.
- امتیاز را کنار متن مرجع بازبینیشده و نوع نمونه ذخیره کنید.
- اثر لهجه، نام ناآشنا و کانال را در مجموعه نماینده ببینید.
- برای فیلد حساس، معیار جدا داشته باشید؛ امتیاز کلی جمله جای تأیید عدد نیست.
- قانون ارجاع را روی داده توسعه تنظیم و روی داده مستقل بسنجید.
کالیبراسیون احتمال رابطه امتیاز و فراوانی درستی را بررسی میکند؛ سیاست ارجاع نامطمئن مرحله تصمیم عملیاتی است. این صفحه بهطور محدود خواندن صحیح فیلد خروجی ASR را حل میکند و آستانه جهانی پیشنهاد نمیدهد.
در ارزیابی اپرانگار، اگر امتیاز کلمه یا جمله لازم دارید، وجود، تعریف و شکل تحویل آن را با تیم روشن کنید. این نوشته ارائه confidence در محصول را اعلام نمیکند. منبع: بخش Confidence values در مستند رسمی Google Cloud.