MWS Cloud запустила самое быстрое S3-хранилище на рынке для ML-задач

MWS Cloud, входит в МТС Web Services, расширила возможности сервиса Object Storage, представив новый «тёплый» класс хранения. Он предназначен для сценариев, где критически важны высокая скорость доступа к данным, минимальные задержки и стабильная производительность при работе с большими объёмами информации. Новый класс ориентирован на высоконагруженные веб-приложения, проекты в области искусственного интеллекта и машинного обучения, аналитические платформы и системы потоковой обработки данных. По результатам внутреннего тестирования новый класс является самым быстрым решением среди крупнейших российских провайдеров на данный момент

Рост бизнеса требует инфраструктуры, способной не только надёжно хранить большие объёмы данных, но и обеспечивать быстрый доступ к ним. Это особенно важно для проектов в области искусственного интеллекта, аналитики больших данных, медиасервисов и других ресурсоёмких приложений, где скорость чтения и записи напрямую влияет на производительность. Для таких сценариев MWS Cloud разработала новый «тёплый» класс хранения на базе высокопроизводительных NVMe-накопителей, который обеспечивает минимальные задержки и высокую скорость работы с данными.

По результатам внутренних тестов новый класс хранения демонстрирует скорость передачи данных до 1,8 ГиБ/с при загрузке объектов объёмом 64 МБ и время до получения первого байта (TTFB) около 20 мс. Такие показатели позволяют использовать сервис для задач, требующих быстрого доступа к большим объёмам данных и высокой интенсивности операций чтения и записи.

Решение подходит для обучения и эксплуатации моделей машинного обучения, обработки больших массивов данных, работы с медиаконтентом, высоконагруженных веб-сервисов и корпоративных приложений, в которых данные постоянно используются в рабочих процессах и должны быть доступны практически мгновенно.

Новый класс хранения совместим с AWS S3 API и поддерживает масштабирование без ограничений по объёму данных и количеству объектов. Пользователям доступны шифрование данных, версионирование объектов и управление их жизненным циклом, а также гибкая настройка прав доступа с помощью IAM-ролей и Bucket Policy. Для повышения отказоустойчивости данные реплицируются между двумя дата-центрами. Оплата сервиса осуществляется по модели pay-as-you-go — только за фактически использованные ресурсы.

«Сегодня скорость работы с данными становится одним из ключевых факторов эффективности цифровых сервисов. Особенно это актуально для проектов, связанных с искусственным интеллектом, аналитикой и обработкой больших объёмов информации, где каждая миллисекунда задержки влияет на производительность и стоимость вычислений. Новый "тёплый" класс хранения позволяет получить производительность, сопоставимую с наиболее быстрыми сетевыми дисками, сохранив при этом преимущества работы с объектным хранилищем — бесшовное масштабирование, удобство автоматизации и интеграции с аналитическими системами вроде Lakehouse», — отметил Даниил Пивоваров, CPO MWS Cloud.

С методологией и результатами исследования можно ознакомиться на сайте MWS.