Почему нельзя верить одному QPS: воспроизводимый протокол испытаний, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Место в поисковой архитектуре
Production vector search разделяет source of truth, подготовку объектов, вычисление embeddings, ANN-индекс, metadata filters, reranking и evaluation. Версия модели и индекса является частью контракта результата.
Как проверять на практике
Для темы «Почему нельзя верить одному QPS» зафиксируйте embedding-модель и её версию, distance metric, top-K, правила фильтрации, параметры ANN, набор размеченных запросов и процедуру отката.
- Опишите задачу. Intent, corpus, языки, top-K, filters и business outcome.
- Соберите golden set. Реальные запросы, graded relevance и трудные отрицательные примеры.
- Постройте baseline. BM25, exact vector search и текущая production-выдача.
- Проведите controlled experiment. Меняйте одну модель, metric, index или reranker.
- Подготовьте production. SLO, drift, reconciliation, ACL, backup, migration и rollback.
Практический пример
Команда проверяет сценарий «Почему нельзя верить одному QPS» на репрезентативных запросах и документах: строит exact ground truth, измеряет baseline, меняет один параметр и отдельно исследует ошибки retrieval.
Что измерять
| Слой | Проверка | Красный флаг |
|---|---|---|
| Retrieval | Recall@K, Precision@K, MRR и nDCG | оценка по нескольким красивым запросам |
| Performance | P50/P95/P99, QPS, ingest и filter selectivity | только прогретый P50 без concurrency |
| Index | RAM, disk, build time, updates, deletes и compaction | не учтён рост corpus |
| Продукт | recall-latency curve, QPS, cost, repeatability; дополнительно контролируются Recall@K, nDCG, latency P95/P99, QPS, размер индекса, стоимость и полнота обновлений | техническая метрика не связана с outcome |
Ограничения и типичные ошибки
Частая ошибка в сценарии «Почему нельзя верить одному QPS» — переносить результат публичного benchmark без теста на своих данных. Нужны golden set, exact baseline и разбор false positives и false negatives.
Чек‑лист готовности
- есть domain golden set и exact baseline
- зафиксированы model, dimension, metric и index parameters
- проверены filters, updates, deletes и reindex
- есть regression tests и rollback
- ACL, PII, tenant isolation и audit проверены
- известны SLO, TCO и владелец search quality