Презентация на тему «Объём данных и архитектура хранения»

Слайд 1

Объём данных и архитектура хранения

Слайд 2

Распределение по слоям

За первые 7 дней на горячий слой приходится 420 ГБ исходных данных, что после трёх копий и оверхеда даёт около 1,51 ТБ. Следующие 83 дня формируют тёплый слой объёмом 4,98 ТБ исходных данных и примерно 17,93 ТБ расчётной ёмкости. Оставшиеся 1 005 дней относятся к холодному слою, где хранится около 60,3 ТБ исходных данных и около 217,08 ТБ с учётом репликации и служебных затрат.

Слайд 3

Горячий слой

Горячий слой должен обслуживать самые свежие события интернет-магазина, поэтому для него выбирают быстрые носители и минимальные задержки. Здесь сосредоточены данные за 7 суток, что удобно для оперативной аналитики, контроля заказов и быстрого поиска инцидентов. Небольшой объём этого уровня позволяет поддерживать высокую скорость доступа без чрезмерного удорожания всей системы.

Слайд 4

Тёплый слой

Тёплый слой предназначен для данных, которые уже не нужны каждую секунду, но всё ещё регулярно запрашиваются аналитиками и сервисами отчётности. Для 83 дней хранения этот уровень становится промежуточным звеном между оперативной работой и архивом. Такой подход снижает нагрузку на быстрые диски и одновременно оставляет доступ к сравнительно свежей истории.

Слайд 5

Холодный слой

Холодный слой содержит основную массу исторических событий, накопленных за 1 005 дней. Его задача — обеспечить долгое и относительно дешёвое хранение данных, к которым обращаются редко, но которые нельзя удалять. Для такого уровня особенно уместно объектное хранилище, где приоритетом становится цена за терабайт, а не мгновенная скорость доступа.

Слайд 6

Репликация данных

Трёхкратная репликация увеличивает исходный объём с 65,7 ТБ до 197,1 ТБ ещё до учёта служебных расходов. Это означает, что каждая единица данных хранится в трёх экземплярах, повышая надёжность и устойчивость к сбоям. После добавления двадцатипроцентного оверхеда расчётная ёмкость кластера достигает примерно 236,52 ТБ.

Слайд 7

Служебные расходы

Служебный оверхед в 20 процентов нужен для метаданных, внутренних структур хранения и технологических запасов системы. В числовом выражении он добавляет ещё 39,42 ТБ поверх реплицированного объёма. Если не учитывать этот запас заранее, реальная система может оказаться тесной уже на этапе ввода в эксплуатацию.

Слайд 8

Стоимость хранения

Разделение на уровни hot, warm и cold позволяет не держать весь объём данных на дорогом быстром хранилище. Самые свежие 7 дней обслуживаются на быстром слое, 83 дня — на более дешёвом промежуточном, а большая историческая масса уходит в самый экономичный архивный уровень. Такой расчёт особенно важен при объёме в сотни терабайт, где даже небольшая разница в цене за терабайт даёт заметную экономию.

Слайд 9

Практический вывод

Для интернет-магазина подобная архитектура хорошо подходит, потому что поток событий постоянный и быстро растёт. В первые недели данные нужны для оперативной работы, затем для регулярной аналитики, а после этого — в основном для истории и проверок. Поэтому многоуровневое хранение даёт баланс между скоростью, надёжностью и стоимостью.

Слайд 10

Итог расчёта

Вся система хранения должна быть рассчитана примерно на 237 ТБ с учётом репликации и служебного оверхеда. При этом горячий слой остаётся небольшим, тёплый занимает среднюю долю, а холодный хранит почти весь исторический объём. Такое распределение делает архитектуру экономичной и удобной для дальнейшего роста нагрузки.