U-BSS
Блог

RAG-поиск по узбекским документам: 5 типичных ошибок интегратора

13-may, 20267 дақиқа ўқиш

Жамоа русийзабон базада RAG қидирувни қилгандан кейин уни шунчаки ўзбекчага ўгирганда сифат ёмонлашади.

Хато №1: лотин ва кирилл учун бир хил embedding модель.

Хато №2: белгилар ёки токенлар бўйича қатъий чанкинг.

Хато №3: фақат рус ёки инглиз тилида ўқитилган embedding моделлар.

Хато №4: икки ёзув учун битта индекс.

Хато №5: сифат назорати йўқлиги.