Тест: Хранилище AWS: 20 вопросов и более

S3 расшифровывается как Simple Storage Service. Это масштабируемый объектный сервис хранения, предназначенный для крупномасштабного хранения данных.

AWS S3 предлагает несколько классов хранения:

• Standard: Для часто запрашиваемых данных
• Infrequent Access (IA): Сниженная стоимость при редком доступе
• Glacier: Долгосрочное, недорогое архивное хранение

Каждый класс имеет свои цены и характеристики доступа, что позволяет оптимизировать затраты в зависимости от паттернов использования данных.

Узнать больше о классах хранения S3

DynamoDB считается «без схемы», потому что позволяет хранить произвольные свойства в элементах без заранее определённой схемы.

Лучшие практики DynamoDB

Ключ здесь — обновления, а не вставки или PUT‑ы. Если вам нужны вставки, можно использовать BatchWriteItem или TransactWriteItems.

Хотя BatchWriteItem может выполнять несколько операций, он ограничен только PUT‑ами и DELETE‑ами. TransactWriteItems более мощный, но для простых обновлений это как кувалда. Для простых обновлений лучше всего подходит UpdateItem. Он позволяет ОБНОВЛЯТЬ, то есть изменять один или несколько атрибутов в существующем элементе.

Операция UpdateItem изменяет один элемент за запрос. Для больших обратных заполнений или массовых обновлений обычно оркестрируют множество вызовов UpdateItem или используют более крупный рабочий процесс, например PartiQL batch execution, Step Functions, Glue, EMR или собственный рабочий процесс.

Операция UpdateItem:

• Обновляет атрибуты существующего элемента.
• Добавляет новые атрибуты к существующему элементу.
• Удаляет атрибуты из существующего элемента.
• Выполняет обновление условно, если элемент существует или удовлетворяет определённым условиям.

DynamoDB UpdateItem

OpenSearch — управляемый сервис AWS для поиска, аналитики журналов и задач полнотекстового поиска.

Отвлекающие варианты — полезные сервисы, но они не являются специально построенным поисковым движком в этом списке:

• ElastiCache: В основном кэш в памяти. Текущий ElastiCache для Valkey включает команды поиска по индексированным данным в памяти, поэтому уже нельзя говорить, что у сервиса нет встроенного поиска.
• Neptune: Графовая база данных; может интегрироваться с OpenSearch для полнотекстового поиска.
• Redshift: Хранилище данных для аналитики SQL.
• DocumentDB: Документная база с поддержкой текстового поиска, совместимого с MongoDB, в поддерживаемых версиях.

Зоны доступности (AZ) — отдельные дата‑центры внутри региона. Развертывание RDS Multi-AZ обеспечивает автоматическое переключение на резервную реплику в близкой AZ.

Multi-AZ deployment:

• Обеспечивает автоматическое переключение
• Повышает доступность базы данных
• Создаёт синхронную резервную реплику
• Минимизирует простой при сбоях инфраструктуры

Не путайте развертывание Multi-AZ с репликами чтения, которые используются для масштабирования операций чтения.

API Gateway поддерживает двунаправленные API WebSocket, но реализация управляется API Gateway, а не представляет собой прямой сокет к вашему собственному серверному процессу. API Gateway поддерживает клиентское соединение и направляет сообщения к Lambda, HTTP‑конечным точкам или другим интеграциям. Сообщения можно отправлять обратно подключённым клиентам через API Gateway Management API.

Остальные сервисы гораздо более дружелюбны к WebSocket:

• Lightsail: Идеально подходит для простых настроек WebSocket 👌
• AppSync: Использует WebSocket для управляемых подписок GraphQL
• EC2: Классический вариант “делай что хочешь” для WebSocket
• EKS: Отлично подходит для масштабируемых кластеров WebSocket

Совет профессионала: если вам нужна сырая мощность WebSocket, оставайтесь на вычислительных сервисах!

Практически во ВСЕХ системах принятие дизайна «наименьших привилегий» — ключ к укреплению и будущей устойчивости. Пытаться запереть уже существующую систему примерно так же сложно, как перенести целое офисное здание на новый фундамент.

S3‑корзины не исключение. Чтобы применить принцип наименьших привилегий, начните без каких‑либо прав и предоставляйте только необходимый доступ. Используйте роли IAM и политики для контроля доступа и регулярно проверяйте разрешения корзин.

Лучшие практики безопасности:

• Применять принцип наименьших привилегий
• Начинать без прав
• Предоставлять только необходимый доступ
• Использовать роли IAM и политики
• Регулярно проверять разрешения корзин

Избегайте чрезмерно разрешительных настроек, которые могут раскрыть конфиденциальные данные.

Лучшие практики безопасности S3

Aurora Serverless:

• Автоматически масштабирует вычислительные ресурсы
• Регулирует ресурсы в зависимости от нагрузки
• Идеально подходит для непредсказуемых нагрузок
• Платите только за использованные ресурсы

Отлично подходит для приложений с переменными шаблонами трафика.

Обзор Aurora Serverless

SDK DynamoDB позволяет получить до 100 элементов в одном запросе BatchGetItem. Это больше, чем ограничение для BatchWriteItem, которое составляет 25 элементов. Кроме того, существуют ограничения на общий размер полезной нагрузки, размер документа и частоту запросов.

Понимание этих ограничений критично для оптимизации производительности вашего приложения и обеспечения эффективных операций с данными.

Note: Некоторые из этих ограничений можно превысить — если вы сможете убедительно поговорить с менеджером вашего AWS‑аккаунта. 😎

Клиенты DynamoDB по сути являются обёртками над его HTTP API. Операция BatchWriteItem может PUT или DELETE до 25 документов за HTTP‑запрос, но не может UPDATE несколько документов.

Хотя DynamoDB может INSERT до 25 документов за HTTP‑запрос, он может UPDATE только 1 документ за запрос, используя операцию UpdateItem.

On-Demand Capacity лучше всего подходит для:

• Непредсказуемых нагрузок
• Спорадического трафика
• Приложений с неизвестными паттернами доступа
• Избежания переизбытка ресурсов

Provisioned capacity лучше для:

• Предсказуемых, стабильных нагрузок
• Большего контроля над производительностью
• Возможной экономии средств

Режимы ёмкости DynamoDB

Советы по производительности S3:

• Современный S3 автоматически масштабирует скорость запросов для каждого префикса
• Для производительности не нужны случайные/хеш‑префиксы
• Используйте логические имена ключей, соответствующие вашим шаблонам доступа
• Следите за ответами 503 Slow Down, если вы нагружаете систему очень высокими скоростями запросов

Раньше рекомендовали рандомизировать префиксы, чтобы избежать «горячих» разделов, но AWS больше не считает это обязательным требованием по умолчанию.

S3 Performance Guidelines

Лучшие практики резервного копирования:

• Включайте автоматические резервные копии
• Используйте восстановление в конкретный момент
• Храните резервные копии в соответствии с требованиями комплаенса
• Регулярно тестируйте процесс восстановления
• Рассмотрите резервное копирование между регионами

Автоматические резервные копии обеспечивают:

• Непрерывную защиту данных
• Гибкие варианты восстановления

Лучшие практики резервного копирования RDS

Преимущества Redis:

• Поддерживает сложные структуры данных
• Опции постоянного хранения
• Расширенные операции
• Сообщения Pub/Sub

Memcached:

• Простой хранилище ключ‑значение
• Чистый кэш
• Высокая производительность для простых сценариев

Redis vs Memcached

Глобальный вторичный индекс (GSI):

• Позволяет выполнять запросы по атрибутам, не являющимся первичным ключом
• Создаёт альтернативные схемы доступа
• Повышает гибкость запросов
• Требует дополнительных расходов на ёмкость записи

Полезен для сложных запросов, выходящих за пределы первичного ключа.

Индексы DynamoDB

Управление жизненным циклом:

• Автоматически переводить объекты между классами хранения
• Перемещать редко используемые данные в более дешёвое хранилище
• Устанавливать правила истечения срока действия объектов
• Оптимизировать затраты на хранение
• Снизить нагрузку ручного управления

S3 Lifecycle Rules

Amazon Aurora поддерживает до 15 реплик чтения, позволяя существенно масштабировать операции чтения. Эти реплики получают выгоду от:

• Мгновенной репликации между репликами
• Минимального влияния на производительность основной инстанции
• Эффективного распределения нагрузки чтения

Такая конфигурация обеспечивает горизонтальное масштабирование для приложений с высоким спросом на чтение.

Узнать больше о репликах Aurora

Возможности шифрования RDS:

• Шифрование данных в покое с помощью KMS
• Шифрование данных в транзите с использованием SSL/TLS
• Включение шифрования при создании базы данных
• Защита конфиденциальной информации
• Соответствие требованиям безопасности

Параметры шифрования RDS

DynamoDB Streams:

• Отслеживание изменений на уровне элементов
• Поддержка событийно‑ориентированных архитектур
• Запуск функций Lambda
• Поддержка репликации между регионами
• Обеспечение почти реального перемещения данных

Обзор DynamoDB Streams

Преимущества Multipart Upload:

• Эффективно обрабатывать большие файлы
• Возобновлять прерванные загрузки
• Параллельная загрузка частей файла
• Рекомендуется для файлов > 100 МБ
• Улучшенная надёжность сети

S3 Multipart Upload

Оптимальная стратегия хранения:

• 20 % в S3 Standard для ежедневного доступа
• 30 % в S3 Standard-IA для ежемесячного доступа
• 50 % в Glacier для ежегодного доступа

Этот подход оптимизирует расходы, сохраняя соответствующие шабоны доступа.

Факторы стоимости:

• Цена хранения за ГБ
• Стоимость извлечения
• Шабоны доступа
• Стоимость переходов

Понимание моделей согласованности DynamoDB имеет решающее значение:

• 1 RCU = 1 строго согласованное чтение/секунду для элементов размером до 4KB
• 1 RCU = 2 в конечном итоге согласованных чтения/секунду для элементов размером до 4KB

Следовательно:

• 100 RCU = 100 строго согласованных чтений 4KB в секунду
• 100 RCU = 200 в конечном итоге согласованных чтений 4KB в секунду

Выбирайте модели согласованности, исходя из:

• Требований приложения
• Соображений стоимости
• Потребностей в производительности
• Требований к актуальности данных

Процесс отказа Aurora:

1. Обнаруживает сбой основного экземпляра
2. Выбирает реплику Aurora, в первую очередь основываясь на уровне приоритета отказа
3. Использует характеристики экземпляра как критерий при равных приоритетах
4. Автоматически обновляет конечную точку кластера

Лучшие практики:

• Поддерживайте несколько реплик в разных AZ
• Целенаправленно настраивайте уровни повышения
• Используйте конечную точку кластера в приложениях
• Регулярно тестируйте сценарии отказа

Модель согласованности S3:

• Сильная согласованность чтения после записи для всех операций
• Применяется к PUT и DELETE
• Нет необходимости в ранее использованных обходных решениях
• Без дополнительных затрат

Влияние:

• Упрощённая логика приложения
• Нет необходимости в проверках согласованности
• Надёжные мгновенные чтения после записей
• Повышенная надёжность приложения

Характеристики TTL в DynamoDB:

• Фоновый процесс отслеживает атрибут TTL
• Истёкшие элементы удаляются по расписанию с лучшими усилиями, обычно в течение нескольких дней
• Нет дополнительных расходов за TTL
• Удалённые элементы появляются в потоках

Сценарии использования:

• Управление сессиями
• Истечение журналов
• Очистка временных данных
• Соответствие нормативным требованиям

Автоматическое масштабирование Aurora Serverless:

• Aurora Serverless v2 увеличивает емкость небольшими шагами ACU
• Скорость масштабирования зависит от текущей емкости и настроек min/max ACU
• Поддерживаемые версии могут автоматически приостанавливаться при 0 ACU, если это настроено
• Оплата по‑секундам на основе ACU

Лучшие практики:

• Установите минимальную емкость достаточно высокой для резких всплесков в критически важных нагрузках
• Отслеживайте события масштабирования
• Учтите управление соединениями