Почему LLM деградирует на больших документах и как поднять точность с 34% до 68%
Автор провёл эксперимент: полный контекст 500 страниц даёт точность 34% и 14 секунд до первого токена. Naive RAG — 42%, но теряет контекст. Предложен подход «Семантический привратник» — маленькая модель выделяет ключевые фрагменты, большая LLM работает только по ним. Это повысило точность до 68% при снижении затрат в 8 раз.