Раньше, когда пользователь загружал картинки на сайт, картинки сохранялись в папку на том же сервере. У популярных сайтов диски быстро заполнялись и требовалось следить за этим. Далее серверы начали упираться в ограничения на количество файлов в папке и на количество папок на диске.
В 2006 Амазон запустили Simple Storage Service (S3) — сервис с простым хранением файлов в облаке, призванный решить все эти вопросы. Через API загружаем файл, сервис генерирует ссылку. Файл загружается в вёдро (bucket), а не на диск. Вёдра не имеют ограничений как у папок и могут быть распределены по разным серверам.
Сейчас S3-сервис можно создать на многих хостингах в пару кликов. Также можно развернуть своё S3-хранилище с помощью Open Source, например MinIO.
Для чего это нужно нам сейчас на практике?
– Загружать и хранить бэкапы — первое с чего обычно начинают.
– Хранить файлы отдельно от нод, обрабатывающих запросы.
– Отдавать статические файлы сайта (картинки, скрипты, файлы для скачивания) с отдельного сервиса.
– Избегать ситуации с переполненным диском на сервере за счёт переноса всех больших файлов в S3.
– Организовывать безразмерные хранилища файлов на терабайты с открытым и закрытым доступом.
– Для S3-хранилищ есть библиотеки на всех популярных языках.
– Все S3-совместимые хранилища работают по образцу Amazon S3, поэтому ко всем хранилищам нужна одна библиотека.
– Для разработки в docker-compose удобно использовать образ MinIO.
Может тарифицироваться:
– Стоимость хранения в гигабайтах.
– Стоимость трафика загрузки в облако (чаще всего бесплатно)
– Стоимость трафика выгрузки из облака.
– Запросы к файлам.
– Хранение старых версий файла (если работает с версионированием).
Для большинства проектов переход на S3 — шаг на пути к масштабированию и большим нагрузкам. Но нужно внимательно считать сценарий использования — может оказаться значительно дороже традиционного способа.