Jamoa rusiyzabon bazada RAG qidiruvni qilgandan keyin uni shunchaki o'zbekchaga o'girganda sifat yomonlashadi.
Xato №1: lotin va kirill uchun bir xil embedding model. Yechim - indeksatsiya va query bosqichida normalizatsiya.
Xato №2: belgilar yoki tokenlar bo'yicha qat'iy chanking. O'zbek gaplari aglyutinatsiya tufayli uzunroq.
Xato №3: faqat rus yoki ingliz tilida o'qitilgan embedding modellar. Multilingual modellar yaxshiroq.
Xato №4: ikki yozuv uchun bitta indeks. Ikkita saqlash va re-ranking bosqichida birlashtirish yaxshiroq.
Xato №5: sifat nazorati yo'qligi. Muntazam baholashlarsiz degradatsiya oylar davomida ko'rinmaydi.