Amazon Simple Storage Service ( S3 ) — это сервис, предлагаемый Amazon Web Services (AWS), который предоставляет хранилище объектов через интерфейс веб-сервиса . [1] [2] Amazon S3 использует ту же масштабируемую инфраструктуру хранения, которую Amazon.com использует для управления своей сетью электронной коммерции. [3] Amazon S3 может хранить любые типы объектов, что позволяет использовать его для хранения интернет-приложений, резервного копирования, аварийного восстановления, архивов данных, озер данных для аналитики и гибридного облачного хранения . AWS запустила Amazon S3 в США 14 марта 2006 года, [1] [4] затем в Европе в ноябре 2007 года. [5]
Технические подробности
Дизайн
Amazon S3 управляет данными с помощью архитектуры объектного хранилища [6] , которая направлена на обеспечение масштабируемости , высокой доступности и низкой задержки при высокой надежности . [3] Базовыми единицами хранения Amazon S3 являются объекты, организованные в контейнеры. Каждый объект идентифицируется уникальным, назначенным пользователем ключом. [7] Контейнерами можно управлять с помощью консоли, предоставляемой Amazon S3, программно с помощью AWS SDK или интерфейса программирования приложений REST . Размер объектов может достигать пяти терабайт . [8] [9] Запросы авторизуются с помощью списка контроля доступа, связанного с каждым контейнером объектов, и поддерживают управление версиями [10], которое по умолчанию отключено. [11] Поскольку контейнеры обычно имеют размер всей файловой системы, смонтированной в других системах, эта схема контроля доступа является очень грубой. Другими словами, уникальные элементы управления доступом не могут быть связаны с отдельными файлами. [ необходима цитата ] Amazon S3 можно использовать для замены статической инфраструктуры веб-хостинга на объекты, доступные клиенту HTTP, [12] поддержку индексных документов и поддержку документов об ошибках. [13]
Механизм аутентификации Amazon AWS позволяет создавать аутентифицированные URL-адреса, действительные в течение определенного периода времени. Каждый элемент в корзине также может обслуживаться как лента BitTorrent . Хранилище Amazon S3 может выступать в качестве начального узла для торрента , и любой клиент BitTorrent может извлечь файл. Это может значительно снизить стоимость полосы пропускания для загрузки популярных объектов. Корзину можно настроить для сохранения информации журнала HTTP в родственной корзине; это можно использовать в операциях по добыче данных . [14] Существуют различные файловые системы на основе файловой системы пользовательского режима (FUSE) для операционных систем типа Unix (например, Linux ), которые можно использовать для монтирования корзины S3 в качестве файловой системы. Семантика файловой системы Amazon S3 отличается от семантики файловой системы POSIX , поэтому файловая система может вести себя не совсем так, как ожидалось. [15]
Классы хранения Amazon S3
Amazon S3 предлагает девять различных классов хранения с различными уровнями надежности, доступности и требованиями к производительности. [16]
Amazon S3 Standard — это хранилище по умолчанию. Это универсальное хранилище для часто используемых данных.
Amazon S3 Express One Zone — это хранилище с задержкой в одну цифру миллисекунды для часто используемых данных и приложений, чувствительных к задержке. Оно хранит данные только в одной зоне доступности. [17]
Amazon S3 Standard-Infrequent Access (Standard-IA) предназначен для редко используемых данных, таких как резервные копии и данные аварийного восстановления.
Amazon S3 One Zone-Infrequent Access (One Zone-IA) работает так же, как Standard-IA, но хранит данные только в одной зоне доступности.
Amazon S3 Intelligent-Tiering автоматически перемещает объекты в более экономичный класс хранения.
Amazon S3 на Outposts обеспечивает хранение данных на установках, не размещенных на Amazon.
Amazon S3 Glacier Instant Retrieval — это недорогое хранилище для редко используемых данных, которые, тем не менее, требуют быстрого извлечения.
Amazon S3 Glacier Flexible Retrieval также является недорогим вариантом для долгосрочных данных; он предлагает 3 скорости извлечения: от нескольких минут до нескольких часов.
Amazon S3 Glacier Deep Archive — это самое недорогое хранилище для долгосрочных архивных данных, доступ к которым осуществляется реже одного раза в год и которые извлекаются асинхронно.
Приведенные выше классы хранилища Amazon S3 Glacier отличаются от Amazon Glacier , который является отдельным продуктом со своими собственными API.
Ограничения на размер файла
Объект в S3 может быть размером от 0 байт до 5 ТБ. Если объект больше 5 ТБ, его необходимо разделить на части перед загрузкой. При загрузке Amazon S3 допускает максимум 5 ГБ за одну операцию загрузки; следовательно, объекты размером более 5 ГБ должны быть загружены через API многокомпонентной загрузки S3. [18]
Использует
Известные пользователи
Фотохостинговый сервис SmugMug использует Amazon S3 с апреля 2006 года. Сначала они столкнулись с рядом сбоев и замедлений, но через год они описали его как «значительно более надежное, чем наше собственное внутреннее хранилище» и заявили, что сэкономили почти 1 миллион долларов на расходах на хранение. [19]
Netflix использует Amazon S3 в качестве своей системы записи . Netflix реализовал инструмент S3mper [20] для устранения ограничений Amazon S3 в отношении конечной согласованности . [21] S3mper хранит метаданные файловой системы: имена файлов, структуру каталогов и разрешения в Amazon DynamoDB . [22]
Bitcasa [24] и Tahoe -LAFS -on-S3 [25] среди прочих используют Amazon S3 для онлайн-резервного копирования и синхронизации. В 2016 году Dropbox прекратил использовать сервисы Amazon S3 и разработал собственный облачный сервер. [26] [27]
Широкое внедрение Amazon S3 и связанных с ним инструментов привело к появлению конкурирующих сервисов на основе API S3. Эти сервисы используют стандартный программный интерфейс, но различаются по своим базовым технологиям и бизнес-моделям. [29] Стандартный интерфейс позволяет лучше конкурировать с конкурирующими поставщиками и обеспечивает экономию за счет масштаба при внедрении, среди прочих преимуществ. [30]
История
На саммите AWS Summit 2013 в Нью-Йорке технический директор Вернер Фогельс объявил о хранении 2 триллионов объектов в S3.
Amazon Web Services представили Amazon S3 в 2006 году. [31] [32]
В ноябре 2017 года AWS добавила возможности шифрования по умолчанию на уровне контейнера. [41]
^ ab "Amazon Web Services запускает "Amazon S3"" (пресс-релиз). 2006-03-14. Архивировано из оригинала 2018-11-15 . Получено 2018-11-14 .
^ Хуан, Дицзян; Ву, Хуэйцзюнь (08 сентября 2017 г.). Мобильные облачные вычисления: основы и модели обслуживания. Морган Кауфманн. п. 67. ИСБН9780128096444. Архивировано из оригинала 2018-11-15 . Получено 2018-11-15 .
^ ab "Cloud Object Storage - Store & Retrieve Data Anywhere - Amazon Simple Storage Service". Amazon Web Services, Inc. Архивировано из оригинала 2018-05-17 . Получено 2018-05-17 .
^ "5 ключевых событий в истории облачных вычислений - DZone Cloud". dzone.com . Архивировано из оригинала 2018-09-29 . Получено 2018-09-28 .
^ "Amazon Web Services предлагает европейское хранилище для Amazon S3" (пресс-релиз). 2007-11-06. Архивировано из оригинала 2018-11-15 . Получено 2018-11-14 .
^ "Что такое Cloud Object Storage? – AWS". Amazon Web Services, Inc. 2019-10-16. Архивировано из оригинала 2018-09-20 . Получено 09.07.2018 .
^ "Технический блог » Запуск Websphere в облаке и сохранение данных в S3". techblog.aasisvinayak.com . Архивировано из оригинала 2010-03-12.
^ "Ответы об ошибках - Amazon Simple Storage Service". docs.aws.amazon.com . Архивировано из оригинала 2017-12-24 . Получено 2018-05-21 .
^ «Использование управления версиями в контейнерах S3 — Amazon Simple Storage Service».
^ "Введение в Amazon S3 - Amazon Simple Storage Service". docs.aws.amazon.com . Архивировано из оригинала 2018-05-12 . Получено 2018-05-17 .
^ "Как использовать Amazon S3 для веб-хостинга". bucketexplorer.com . Архивировано из оригинала 2008-04-08 . Получено 2008-05-06 .
^ Amazon Simple Storage Service Архивировано 20 февраля 2011 г. на Wayback Machine Docs.amazonwebservices.com. Получено 09 августа 2013 г.
^ http://docs.aws.amazon.com/AmazonS3/latest/dev/ServerLogs.html Архивировано 23 декабря 2014 г. в журнале доступа к серверу Wayback Machine
^ "Сравнение S3QL и других файловых систем S3". Архивировано из оригинала 2012-08-05 . Получено 2012-06-29 .
^ "Cloud Storage Classes – Amazon Simple Storage Service (S3) – AWS". Amazon Web Services, Inc. Архивировано из оригинала 2018-06-13 . Получено 2018-05-17 .
^ "Представляем новый класс высокопроизводительного хранилища Amazon S3 Express One Zone | Блог новостей AWS". aws.amazon.com . 2023-11-28 . Получено 2023-12-01 .
^ "Как загружать большие файлы в S3". 21 июня 2022 г. Архивировано из оригинала 1 октября 2022 г. Получено 22 июня 2022 г.
^ "Amazon S3: Show Me the Money". Блог SmugMug . SmugMug. 10 ноября 2006 г. Архивировано из оригинала 2017-03-03 . Получено 2017-03-03 .
^ "S3mper: Consistency in the Cloud". Архивировано из оригинала 2016-04-24 . Получено 2016-05-01 .
^ "Введение в Amazon S3". Amazon . Архивировано из оригинала 2017-12-25 . Получено 28 декабря 2017 .
^ Херн, Алекс (2017-02-02). «Amazon Web Services: секрет будущего успеха интернет-магазина». The Guardian . Архивировано из оригинала 2018-05-02 . Получено 2018-04-23 .
^ "AWS Case Study: reddit". aws.amazon.com . 2015. Архивировано из оригинала 2015-03-17 . Получено 18 марта 2015 .
^ "Bitcasa Legal". 16 мая 2013 г. Архивировано из оригинала 28-06-2013 . Получено 16-05-2013 .
^ "Что такое Tahoe-LAFS-on-S3?". 21 августа 2012 г. Архивировано из оригинала 2013-05-06 . Получено 2012-08-21 .
^ "Эпическая история исхода Dropbox из облачной империи Amazon". WIRED . Архивировано из оригинала 25-01-2018 . Получено 23-04-2018 .
^ «Dropbox сэкономил почти 75 миллионов долларов за два года, построив собственную технологическую инфраструктуру». GeekWire . 2018-02-23. Архивировано из оригинала 2018-04-23 . Получено 2018-04-23 .
^ "Swiftype Explains Their Cloud Stack". 1 июля 2013 г. Архивировано из оригинала 2014-12-08 . Получено 2014-12-08 .
^ Уоттерс, Одри (12 июля 2010 г.). «Облачное сообщество обсуждает, является ли API Amazon S3 стандартом? (И должен ли он быть таковым?)». SAY Media, Inc. Архивировано из оригинала 2013-02-17 . Получено 19 декабря 2012 г.
^ Перекресток стандартов информационных технологий. Комитет по планированию семинаров стандартов, Совет по телекоммуникациям и компьютерным приложениям, Комиссия по инженерным и техническим системам, Национальный исследовательский совет. Вашингтон, округ Колумбия: The National Academies Press, 1990. 1990. стр. 36–37. doi :10.17226/10440. ISBN978-0-309-58171-4. Архивировано из оригинала 2014-03-25 . Получено 2014-03-25 .{{cite book}}: CS1 maint: другие ( ссылка )
^ Обзор Amazon Web Services, 2018, https://docs.aws.amazon.com/whitepapers/latest/aws-overview/introduction.html Архивировано 18 ноября 2017 г. на Wayback Machine
^ Гарфинкель, Симсон Л. 2007. Оценка вычислительных услуг Amazon Grid: EC2, S3 и SQS. Технический отчет Гарвардской группы компьютерных наук TR-08-07. https://dash.harvard.edu/bitstream/handle/1/24829568/tr-08-07.pdf?sequence=1 Архивировано 29 июля 2018 г. на Wayback Machine
^ ab Vogels, Werner (2008-03-19). "С днем рождения, Amazon S3!". All Things Distributed . Архивировано из оригинала 2008-05-09 . Получено 2008-05-23 .
^ "Amazon S3 - Busier Than Ever". 2008-10-08. Архивировано из оригинала 2008-10-11 . Получено 2008-10-09 .
^ "Отмечаем третий день рождения S3 специальными юбилейными ценами - Amazon Web Services". typepad.com . 31 марта 2009 г. Архивировано из оригинала 2011-07-07 . Получено 2009-04-01 .
^ "Amazon S3 Now Hosts 100 Billion Objects". datacenterknowledge.com . 9 марта 2010 г. Архивировано из оригинала 2010-03-12 . Получено 2010-03-09 .
^ "Amazon S3 – Два триллиона объектов, 1,1 миллиона запросов / секунду - Amazon Web Services". typepad.com . 18 апреля 2013 г.
^ «Отпразднуйте 15-летие Amazon S3 с помощью трансляций «Недели Пи»». amazon.com . 14 марта 2021 г.
^ "Отпразднуйте 17-летие Amazon S3 на AWS Pi Day 2023". amazon.com . 14 марта 2023 г.
^ «Новые функции шифрования и безопасности Amazon S3». 6 ноября 2017 г.
Источники
«Регистрация доступа к серверу».
«Руководство разработчика Amazon S3». 2006-03-01.
«Amazon S3 представляет уровни ценообразования на хранилище». 2008-10-08.
"Библиотека RightScale Ruby для доступа к Amazon CloudFront, EC2, S3, SQS и SDB". 2007-10-27. Архивировано из оригинала 2008-11-03 . Получено 2009-01-07 .
