مقاله تابع زبان C برای دسته بندی الگوها (2014 الزویر)

۱ مقدمه

۲ نظریه آماری دسته بندی

۱ ۲ توابع زیان و ریسک

۲ ۲ قاعده تصمیم بهینه بیز

۳ ۲ همسانی و سازگاری فیشر

۳ تابع زیان القایی با Correntropy

۴ آموزش با استفاده از تابع زیان C

۵ آزمایشات و نتایج

۶ بحث

۱ ۶ کاربرد

۲ ۶ انتخاب اندازه هسته

۳ ۶ انتخاب طرح سوئیچینگ

۷ نتیجه گیری

This paper presents a new loss function for neural network classification, inspired by the recently proposed similarity measure called Correntropy. We show that this function essentially behaves like the conventional square loss for samples that are well within the decision boundary and have small errors, and L0 or counting norm for samples that are outliers or are difficult to classify. Depending on the value of the kernel size parameter, the proposed loss function moves smoothly from convex to non-convex and becomes a close approximation to the misclassification loss (ideal 0–1 loss). We show that the discriminant function obtained by optimizing the proposed loss function in the neighborhood of the ideal 0–1 loss function to train a neural network is immune to overfitting, more robust to outliers, and has consistent and better generalization performance as compared to other commonly used loss functions, even after prolonged training. The results also show that it is a close competitor to the SVM. Since the proposed method is compatible with simple gradient based online learning, it is a practical way of improving the performance of neural network classifiers.

مقاله حاضر تابع زیان جدیدی برای دسته بندی شبکه های عصبی معرفی می کند که از معیار تشابه اخیراً پیشنهاد شده به نام الهام گرفته است. در اینجا نشان می دهیم که این تابع برای نمونه هایی که درست در مرز تصمیم قرار داشته و دارای خطاهای کوچکی هستند و یا نرم شمارش برای نمونه هایی که دور افتاده بوده یا دسته بندی آنها سخت و دشوار می باشد، اساساً مثل زیان مربعی معمولی عمل می کند. بسته به مقدار پارامتر اندازه هسته، تابع زیان پیشنهاد شده به صورت هموار از محدب به غیر محدب حرکت کرده و به تقریبی نزدیک برای زیان دسته بندی نادرست تبدیل می شود ( زیان ایده آل 0-1). در اینجا نشان می دهیم که تابع تشخیص بدست آمده از طریق بهینه سازی تابع زیان پیشنهادی در همسایگی تابع زیان ایده آل 0-1 برای آموزش شبکه عصبی، در برابر بیش برازش ایمن بوده، در برابر نمونه های دورافتاده پایدار و در مقایسه با دیگر توابع زیان معمولاً بکاررفته حتی بعد از آموزش بلند مدت، عملکرد تعمیم بهتر و همسانی از خود به معرض نمایش می گذارد. نتایج بدست آمده همچنین نشان می دهد که این تابع رقیبی نزدیک برای SVM نیز محسوب می شود. از آنجایی که روش پیشنهاد شده با یادگیری آنلاین مبتنی بر گرادیان سازگاری دارد، در نتیجه شیوه ای عملی برای بهبود عملکرد دسته بندهای شبکه های عصبی محسوب می شود.