Планирование мощности (capacity planning)

Калькулятор памяти HNSW

Грубая оценка памяти под векторы, связи графа и эксплуатационный запас. Это стартовая точка для пилота, а не замена измерению конкретного движка.

Калькулятор памяти HNSW
Калькулятор памяти HNSWВекторы, граф и эксплуатационный запас
Векторы28,61 ГиБ
Граф HNSW1,19 ГиБ
Оценка с запасом37,25 ГиБ

Модель считает два списка соседей по M и 4 байта на идентификатор. Реальный расход зависит от реализации, уровней графа, распределителя памяти, полезной нагрузки, индексов фильтров и репликации.

Формула

Базовый размер векторов: N × D × число байт. Граф оценивается как N × M × 2 × 4. Сумма умножается на выбранный запас. Реплики и несколько индексов следует учитывать отдельно.

Что добавить к расчёту

  • полезную нагрузку (payload) и индексы по фильтруемым полям
  • репликацию, временный запас на перестроение и уплотнение
  • служебные структуры конкретной базы и операционной системы
  • кэш, переранжировщик и сервис эмбеддингов
  • рост корпуса на горизонте 12–24 месяцев

Как проверить результат

Загрузите репрезентативные 1–10% корпуса, снимите фактический резидентный объём памяти (resident set) и экстраполируйте с запасом. Затем проведите нагрузочный тест с нужными фильтрами, обновлениями, удалениями и целевым Recall@K.