مقاله رویکرد لیست محور برای یادگیری رتبه بندی: تئوری و الگوریتم (2008)

1. مقدمه

2. مطالعات مربوطه

3. رویکرد لیستی

4. تحلیل نظری

4-1 ویژگی های تابع زیان

4-2 پیوستگی

4-3 مطالعات موردی

4-3-1 زیان احتمالی

4-3-2 زیان کوسینوس

4-3-3 زیان انتروپی متقابل

5-LisTMLE

6- نتایج ازمایش

6-2 ازمایش بر روی داده های OHSUMED

7- نتیجه گیری

This paper aims to conduct a study on the listwise approach to learning to rank. The listwise approach learns a ranking function by taking individual lists as instances and minimizing a loss function defined on the predicted list and the ground-truth list. Existing work on the approach mainly focused on the development of new algorithms; methods such as RankCosine and ListNet have been proposed and good performances by them have been observed. Unfortunately, the underlying theory was not sufficiently studied so far. To amend the problem, this paper proposes conducting theoretical analysis of learning to rank algorithms through investigations on the properties of the loss functions, including consistency, soundness, continuity, differentiability, convexity, and effi- ciency. A sufficient condition on consistency for ranking is given, which seems to be the first such result obtained in related research. The paper then conducts analysis on three loss functions: likelihood loss, cosine loss, and cross entropy loss. The latter two were used in RankCosine and ListNet. The use of the likelihood loss leads to the development of a new listwise method called ListMLE, whose loss function offers better properties, and also leads to better experimental results.

هدف این مقاله انجام مطالعه ای بر روی رویکرد لیست محور برای یادگیری رتبه بندی می باشد. این رویکرد، یک تابع رتبه بندی را با در نظر گرفتن لیست های فردی به صورت نمونه و کمینه سازی تابع زیان تعریف شده در لیست واقعی و پیش بینی شده آموزش می دهد. کار های موجود در خصوص این رویکرد بر توسعه الگوریتم های جدید متمرکز است و روش هایی نظیر RankCosine وListNet پیشنهاد شده اند و عملکرد خوب آن ها مشاهده شده است. متاسفانه، تئوری اصلی و اولیه به طور کامل مطالعه نشده است. برای حل مسئله، این مقاله یک تحلیل نظری بر روی یادگیری جهت رتبه بندی الگوریتم را از طریق بررسی ویژگی های تابع زیان، مشتق پذیری، تحدب و نیز کارایی پیشنهاد می کند. یک شرط کافی برای پیوستگی رتبه بندی ارایه شده است که این مقاله تحلیلی را بر روی سه تابع زیان انجام می دهد. زیان احتمالی، زیان کوسینوس و زیان انتروپی. دو مورد اخیر در RankCosine وListNet مورد استفاده قرار می گیرند. کاربرد زیان احتمالی منجر به توسعه یک روش موسوم بخ LISTMLE شده است که تابع زیان آن ویژگی های بهتری را ارایه کرده و منجر به نتایج ازمایشی بهتر می گردد.