Положительная пара (positive pair): понятное определение, место в архитектуре векторного поиска, параметры, проверка качества и границы применения.
Место в поисковой архитектуре
Промышленный векторный поиск (production vector search) разделяет источник истины, подготовку объектов, вычисление эмбеддингов, ANN‑индекс, фильтры метаданных, переранжирование и оценку качества. Версия модели и индекса является частью контракта результата.
Как проверять на практике
Для темы «Положительная пара (positive pair)» зафиксируйте модель векторных представлений (embedding model) и её версию, метрику расстояния (distance metric), первые K результатов (top-K), правила фильтрации, параметры ANN, набор размеченных запросов и процедуру отката.
- Опишите задачу. Намерение (intent), корпус, языки, число результатов (top‑K), фильтры и бизнес‑результат.
- Соберите эталонный набор (golden set). Реальные запросы, градуированная релевантность и трудные отрицательные примеры.
- Постройте базовую линию (baseline). BM25, точный векторный поиск и текущая промышленная выдача.
- Проведите контролируемый эксперимент. Меняйте одну модель, метрику, индекс или переранжировщик.
- Подготовьте промышленную эксплуатацию. SLO, дрейф, сверка, права доступа, резервное копирование, миграция и откат.
Практический пример
Команда проверяет сценарий «Положительная пара (positive pair)» на репрезентативных запросах и документах: строит точную эталонную выдачу (exact ground truth), измеряет базовый уровень (baseline), меняет один параметр и отдельно разбирает ошибки поиска (retrieval).
Что измерять
| Слой | Проверка | Красный флаг |
|---|---|---|
| Извлечение (retrieval) | Recall@K, Precision@K, MRR и nDCG | оценка по нескольким красивым запросам |
| Производительность | P50/P95/P99, QPS, приём данных и избирательность фильтров | только прогретый P50 без параллельной нагрузки |
| Индекс | оперативная память, диск, время построения, обновления, удаления и уплотнение | не учтён рост корпуса |
| Продукт | Контролируйте полноту в первых K результатах (Recall@K), nDCG, задержку P95/P99, число запросов в секунду (QPS), размер индекса, стоимость и полноту обновлений. Для пользовательского сценария добавьте метрику успешного завершения задачи. | техническая метрика не связана с результатом |
Ограничения и типичные ошибки
Частая ошибка в сценарии «Положительная пара (positive pair)» — переносить результат публичного сравнительного теста (benchmark) без проверки на своих данных. Нужны эталонная выборка (golden set), точный базовый замер (exact baseline) и разбор ложноположительных (false positives) и ложноотрицательных результатов (false negatives).
Чек‑лист готовности
- есть отраслевой эталонный набор (domain golden set) и точная база сравнения
- зафиксированы модель, размерность, метрика и параметры индекса
- проверены фильтры, обновления, удаления и переиндексация
- есть регрессионные тесты и откат
- проверены права доступа, персональные данные, изоляция арендаторов и аудит
- известны SLO, совокупная стоимость владения и владелец качества поиска