Автор провёл эксперимент: полный контекст 500 страниц даёт точность 34% и 14 секунд до первого токена. Naive RAG — 42%, но теряет контекст. Предложен подход «Семантический привратник» — маленькая модель выделяет ключевые фрагменты, большая LLM работает только по ним. Это повысило точность до 68% при снижении затрат в 8 раз.
habr.com · #ai #ai #context #llm #rag
Исследователи представили тест для измерения влияния RAG на безопасность ответов, разделяя задачу на 4 условия: без RAG, с oracle-документом, с релевантными и случайными документами. Результаты на 5 open-source LLM показали, что baseline guardrails не работают в RAG-сценарии, а даже безвредные документы провоцируют unsafe-генерацию.
tldr.takara.ai · #ai #llm #rag #safety #security
Mistral представила Agentic Search — retrieval-слой с пятью инструментами (search, open, navigate, read, grep). На FinanceBench точность выросла с 26,7% до 86%, на OfficeQA Pro — с 6,3% до 51,9%. P90 latency снижена до 39,6%, токенов тратится на треть меньше.
mistral.ai · #ai #mistral #rag #search