Бизнес‑задача
Задача — реализовать сценарий «Гибридный поиск (Hybrid search) по 60+ млн документов» с измеримыми требованиями к релевантности, задержке, фильтрам, правам доступа и обновлению данных.
Как устроено решение
Решение опирается на Elasticsearch. Для промышленной эксплуатации (production) отдельно определяют модель векторных представлений (embedding model), индекс, схему метаданных, первые K результатов (top-K), фильтры, гибридный поиск (hybrid search), переранжирование (reranking), версионирование и безопасный откат.
Данные и проверка
До выбора конфигурации фиксируют объём и рост корпуса документов (corpus), размерность векторов, языки, частоту обновления, селективность фильтров, права доступа (ACL), эталонные запросы (golden queries) и целевую задержку.
Результат
Что можно повторить
Повторять следует метод: собрать предметную эталонную выборку (domain golden set), сравнить точный поиск и ANN, проверить фильтры и сложные запросы, затем масштабировать решение с наблюдаемостью и планом восстановления.
Риски переноса
- не считать цифры чужого кейса обещанием
- проверить собственный корпус, запросы, фильтры и язык
- сравнить с точной базовой линией (exact baseline) и измерить Recall@K, nDCG, P95 и QPS
- оценить оперативную память, переиндексацию, резервные копии, права доступа, лицензии и совокупную стоимость
- зафиксировать критерии остановки пилота и план отката
Официальный источник: www.elastic.co ↗