Reranking nədir: axtarış nəticələrini mənaya görə yenidən sıralamaq

Müştəri saytdakı assistentə yazır: «Sifarişi necə geri qaytara bilərəm?» Sistem bilik bazasında axtarış edir və ilk yerə… «Çatdırılma şərtləri» sənədini çıxarır. Qaytarma siyasəti isə dördüncü, beşinci yerdədir. Assistent ilk fraqmentlərə əsaslanıb çatdırılmadan danışmağa başlayır və müştəri lazımsız cavab alır.

Axtarış səhv etməyib: bütün bu sənədlər həqiqətən də sifarişlər haqqındadır və mövzuca bir-birinə yaxındır. Sadəcə sıralama dəqiq deyil. Bu problemi həll edən mərhələnin adı reranking, yəni yenidən sıralamadır.

Reranking nə deməkdir

Reranking ingiliscə «yenidən sıralamaq» deməkdir. Bu, axtarışın ikinci mərhələsidir: birinci mərhələ minlərlə və ya milyonlarla sənəd arasından tez bir şəkildə bir neçə onluq namizəd seçir, reranker isə bu qısa siyahını götürüb hər sənədi sualla diqqətlə müqayisə edir və onları real uyğunluğa görə yenidən düzür.

Bunu kitabxanaya bənzətmək olar. Birinci mərhələ kitabxanaçıdır ki, sualınızı eşidib lazımi rəfdən iyirmi kitab gətirir. Reranker isə həmin iyirmi kitabın hər birini açıb vərəqləyən və sizə «bax, bu ikisi məhz sizin sualınıza cavab verir» deyən mütəxəssisdir.

Niyə bir mərhələ kifayət etmir

Müasir semantik axtarış embedding-lər üzərində qurulur: hər sənəd əvvəlcədən rəqəmlər siyahısına çevrilir, sual da eyni şəkildə çevrilir və sistem mənaca ən yaxın sənədləri tapır. Bunun necə işlədiyini embedding nədir məqaləsində ətraflı izah etmişik.

Bu üsulun güclü tərəfi sürətdir. Sənədlər bir dəfə çevrilir və saxlanılır, axtarış isə milyonlarla qeyd arasında millisaniyələr çəkir. Zəif tərəfi isə budur ki, sual və sənəd ayrı-ayrı rəqəmə çevrilir. Model sənədi oxuyanda sualı görmür. Nəticədə «mövzuca yaxın» və «suala real cavab verən» sənədlər eyni səviyyədə qiymətləndirilir.

Reranker necə işləyir

Reranker adətən cross-encoder adlanan modeldir. O, sualı və sənədi birlikdə oxuyur, onların arasındakı əlaqəyə söz-söz baxır və bir rəqəm qaytarır: bu sənəd bu suala nə dərəcədə cavab verir. Məsələn, 0.94 çox uyğundur, 0.05 isə demək olar ki, əlaqəsizdir.

Bu yanaşma daha dəqiqdir, amma daha bahadır: hər «sual + sənəd» cütü üçün model ayrıca işə düşür. Milyon sənədin hamısını belə yoxlamaq çox uzun çəkərdi. Ona görə iki mərhələ birləşdirilir: sürətli axtarış namizədləri seçir, yavaş və dəqiq reranker isə yalnız onları sıralayır.

Real nümunə: əvvəl və sonra

Gəlin girişdəki sualla nə baş verdiyinə baxaq. Vektor axtarışı beş sənəd tapıb və onların hamısına təxminən eyni bal verib: 0.73 ilə 0.81 arasında. Ən lazımlı sənəd, qaytarma siyasəti, ən aşağıdadır.

Reranker-dən sonra şəkil tamam dəyişir. «Qaytarma siyasəti» 0.96 balla birinci yerə, «Pulun karta qaytarılması» ikinci yerə qalxır. «Hədiyyə kartları» isə 0.03 alır və siyahıdan praktik olaraq çıxır. Diqqət edin: ballar arasındakı fərq də kəskinləşir. Bu, sistemə «yaxşı cavab tapılmadı» vəziyyətini tanımağa da kömək edir.

Reranking harada istifadə olunur

• RAG və AI assistentlər. Dil modeli cavabı tapılmış fraqmentlər əsasında yazır. Fraqmentlər nə qədər dəqiqdirsə, cavab da o qədər dəqiqdir. Bu, assistentin «uydurma» riskini ciddi azaldır, bu barədə süni intellektin səhvləri haqqında yazıda danışmışıq.
• Sayt daxilində axtarış. Onlayn mağazada «qış üçün isti uşaq çəkmələri» sorğusunda «uşaq» və «çəkmə» sözləri olan, amma yay sandalları olan məhsullar aşağı düşür.
• Korporativ bilik bazaları. Əməkdaş müqavilələr, təlimatlar və qaydalar arasında axtarış edəndə ən dəqiq bənd yuxarıda olur.
• Tövsiyə sistemləri. Əvvəl yüzlərlə namizəd seçilir, sonra hər istifadəçi üçün yenidən sıralanır.

Böyük axtarış sistemləri də uzun illərdir çoxmərhələli sıralama ilə işləyir: əvvəl geniş seçim, sonra daha ağır modellərlə dəqiq sıralama. Reranking məhz bu ideyanın biznes layihələrində əlçatan olan versiyasıdır.

Reranking xərcə necə təsir edir

İlk baxışda əlavə model əlavə xərc deməkdir. Praktikada isə tez-tez əksinə olur. Reranker olmadan dil modelinə «hər ehtimala qarşı» 20–30 fraqment göndərilir. Reranker ilə 3–5 ən dəqiq fraqment kifayət edir. Bu, hər sorğuda minlərlə token qənaət deməkdir. Tokenlərin büdcəyə necə təsir etdiyini AI inteqrasiyasının qiyməti haqqında yazıda rəqəmlərlə göstərmişik.

Bundan əlavə, dil modelləri kontekstin ortasında itən məlumatı daha pis istifadə edir. Az və dəqiq fraqment həm ucuz, həm də keyfiyyətlidir.

Hansı reranker-lər var

• Bulud API-ləri: Cohere Rerank, Voyage AI, Jina Reranker. Qoşmaq asandır, çoxdilli dəstək var.
• Açıq modellər: BAAI bge-reranker ailəsi və digərləri. Öz serverinizdə işləyir, məlumat kənara çıxmır. Bu, məlumat təhlükəsizliyi tələbləri ciddi olan şirkətlər üçün vacibdir.
• Dil modeli reranker kimi. Böyük modelə namizədləri verib «ən uyğun olanları seç» demək olar. Çevikdir, amma daha yavaş və bahadır.

Azərbaycan dilində mətnlər üçün mütləq çoxdilli model seçmək və onu öz məlumatlarınızda test etmək lazımdır. Sırf ingilis dilində öyrədilmiş reranker-lər Azərbaycan və rus dillərində zəif nəticə verə bilər.

Reranker sizə lazımdırmı

Əgər axtarış və ya assistent «təxminən düzgün, amma tam yerində olmayan» nəticələr verirsə, bu, reranking-ə ehtiyacın klassik əlamətidir. Xüsusilə bu hallarda:

• bilik bazasında mövzuca bir-birinə yaxın çoxlu sənəd var;
• suallar uzun və ya konkretdir, məsələn müqavilənin müəyyən bəndi barədə;
• assistent düzgün sənədi tapır, amma cavabda başqa sənəddən istifadə edir;
• dil modelinə həddən artıq çox kontekst göndərilir və xərclər artır.

Reranker-i mövcud axtarışa əlavə etmək adətən bütün sistemi yenidən qurmaq demək deyil: o, axtarış ilə dil modeli arasına ayrıca addım kimi qoşulur və nəticəni test sualları ilə ölçmək olur.

Nəticə

Reranking axtarışın «ikinci baxışıdır»: sürətli axtarış namizədləri tapır, reranker isə onları sualın real mənasına görə sıralayır. Nəticədə istifadəçi ilk yerdə lazım olan cavabı görür, AI assistent daha dəqiq danışır və dil modelinə daha az token gedir.

Biz AI inteqrasiyası layihələrində semantik axtarış, reranking və RAG-ı birlikdə qururuq və keyfiyyəti real suallar üzərində ölçürük. Axtarışınızın və ya assistentinizin nə qədər dəqiq işlədiyini yoxlamaq istəyirsinizsə, bizə yazın.