Как собирать поисковые запросы
Как собирать поисковые запросы: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Раздел базы знаний
Качество и метрики поиска
Golden set, Recall@K, nDCG, MRR, offline evaluation, A/B-тесты и error analysis.
Как выявить position bias
Как выявить position bias: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Калибровка similarity score
Калибровка similarity score: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Precision@5
Как интерпретировать Precision@5: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Success@K для vector search
Как считать Success@K для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения QPS
Типичные ошибки измерения QPS: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как создать golden dataset для поиска
Как создать golden dataset для поиска: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как разметить релевантность документов
Как разметить релевантность документов: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Binary или graded relevance
Binary или graded relevance: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Pooling экспертов при разметке
Pooling экспертов при разметке: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Inter-annotator agreement
Inter-annotator agreement: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Hard queries и tail queries
Hard queries и tail queries: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Head, torso и tail сегменты запросов
Head, torso и tail сегменты запросов: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Offline и online evaluation
Offline и online evaluation: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →A/B-тест semantic search
A/B-тест semantic search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Interleaving поисковых выдач
Interleaving поисковых выдач: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Guardrail-метрики поиска
Guardrail-метрики поиска: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Zero-result rate после semantic search
Zero-result rate после semantic search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Bad-result rate
Bad-result rate: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Query reformulation rate
Query reformulation rate: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Click-through rate поиска
Click-through rate поиска: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Long click и dwell time
Long click и dwell time: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Conversion после поиска
Conversion после поиска: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как оценить новые документы
Как оценить новые документы: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Temporal split для retrieval evaluation
Temporal split для retrieval evaluation: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Leakage в retrieval benchmark
Leakage в retrieval benchmark: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Synthetic queries: польза и риск
Synthetic queries: польза и риск: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →LLM-as-a-judge для retrieval
LLM-as-a-judge для retrieval: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Human evaluation search quality
Human evaluation search quality: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Error taxonomy для поиска
Error taxonomy для поиска: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Анализ false positive
Анализ false positive: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Анализ false negative
Анализ false negative: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Recall ANN против recall retrieval
Recall ANN против recall retrieval: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Изоляция ошибки embedding и индекса
Изоляция ошибки embedding и индекса: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Проверка reranker отдельно
Проверка reranker отдельно: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Regression-тесты retrieval
Regression-тесты retrieval: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Shadow traffic для нового индекса
Shadow traffic для нового индекса: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Canary embedding model
Canary embedding model: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Thresholds и confidence
Thresholds и confidence: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Качество по языкам
Качество по языкам: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Качество по категориям каталога
Качество по категориям каталога: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Качество по длине запроса
Качество по длине запроса: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Качество при фильтрах
Качество при фильтрах: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Качество fresh documents
Качество fresh documents: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Метрики мультимодального поиска
Метрики мультимодального поиска: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Recall@1 для vector search
Как считать Recall@1 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Recall@1
Как интерпретировать Recall@1: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Recall@1
Типичные ошибки измерения Recall@1: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Recall@5 для vector search
Как считать Recall@5 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Recall@5
Как интерпретировать Recall@5: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Recall@5
Типичные ошибки измерения Recall@5: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Recall@10 для vector search
Как считать Recall@10 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Recall@10
Как интерпретировать Recall@10: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Recall@10
Типичные ошибки измерения Recall@10: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Precision@5 для vector search
Как считать Precision@5 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Precision@5
Типичные ошибки измерения Precision@5: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Precision@10 для vector search
Как считать Precision@10 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Precision@10
Как интерпретировать Precision@10: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Precision@10
Типичные ошибки измерения Precision@10: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать MRR для vector search
Как считать MRR для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать MRR
Как интерпретировать MRR: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения MRR
Типичные ошибки измерения MRR: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать MAP для vector search
Как считать MAP для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать MAP
Как интерпретировать MAP: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения MAP
Типичные ошибки измерения MAP: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать nDCG@10 для vector search
Как считать nDCG@10 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать nDCG@10
Как интерпретировать nDCG@10: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения nDCG@10
Типичные ошибки измерения nDCG@10: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Hit Rate для vector search
Как считать Hit Rate для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Hit Rate
Как интерпретировать Hit Rate: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Hit Rate
Типичные ошибки измерения Hit Rate: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Success@K
Как интерпретировать Success@K: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Success@K
Типичные ошибки измерения Success@K: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Coverage для vector search
Как считать Coverage для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Coverage
Как интерпретировать Coverage: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Coverage
Типичные ошибки измерения Coverage: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Diversity для vector search
Как считать Diversity для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Diversity
Как интерпретировать Diversity: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Diversity
Типичные ошибки измерения Diversity: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Latency P95 для vector search
Как считать Latency P95 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Latency P95
Как интерпретировать Latency P95: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Latency P95
Типичные ошибки измерения Latency P95: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Latency P99 для vector search
Как считать Latency P99 для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Latency P99
Как интерпретировать Latency P99: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Latency P99
Типичные ошибки измерения Latency P99: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать QPS для vector search
Как считать QPS для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать QPS
Как интерпретировать QPS: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Index build time для vector search
Как считать Index build time для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Index build time
Как интерпретировать Index build time: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Index build time
Типичные ошибки измерения Index build time: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Ingestion throughput для vector search
Как считать Ingestion throughput для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Ingestion throughput
Как интерпретировать Ingestion throughput: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Ingestion throughput
Типичные ошибки измерения Ingestion throughput: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как считать Cost per query для vector search
Как считать Cost per query для vector search: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Как интерпретировать Cost per query
Как интерпретировать Cost per query: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →Типичные ошибки измерения Cost per query
Типичные ошибки измерения Cost per query: методика измерения релевантности, практическая схема проверки, параметры, контрольные метрики и границы применения в production vector search.
Открыть материал →