Методы улучшения передачи данных по глобальным сетям
Оптимизация WAN представляет собой набор методов для улучшения передачи данных по глобальным сетям (WAN). В 2008 году рынок оптимизации WAN оценивался в 1 миллиард долларов, [1] и должен был вырасти до 4,4 миллиардов долларов к 2014 году по данным Gartner , [2] исследовательской компании в области технологий. В 2015 году Gartner оценил рынок оптимизации WAN в 1,1 миллиарда долларов. [3]
Наиболее распространенными мерами эффективности передачи данных TCP (т. е. оптимизации) являются пропускная способность, требования к полосе пропускания, задержка, оптимизация протокола и перегрузка, что проявляется в отброшенных пакетах. [4] Кроме того, сама WAN может быть классифицирована в отношении расстояния между конечными точками и объемов передаваемых данных. Две распространенные топологии бизнес-WAN — это Branch to Headquarters и Data Center to Data Center (DC2DC). В целом, WAN-соединения «Branch» ближе, используют меньшую полосу пропускания, поддерживают больше одновременных подключений, поддерживают меньшие соединения и более кратковременные соединения, а также обрабатывают большее разнообразие протоколов. Они используются для бизнес-приложений, таких как электронная почта, системы управления контентом, приложения баз данных и веб-доставка. Для сравнения, WAN-соединения «DC2DC» обычно требуют большей полосы пропускания, более удалены и включают меньше соединений, но эти соединения больше (потоки от 100 Мбит/с до 1 Гбит/с) и более продолжительны. Трафик в сети WAN «DC2DC» может включать репликацию, резервное копирование, миграцию данных , виртуализацию и другие потоки обеспечения непрерывности бизнеса / аварийного восстановления (BC/DR).
Оптимизация WAN была предметом обширных академических исследований почти с момента появления WAN. [5] В начале 2000-х годов исследования как в частном, так и в государственном секторе обратились к улучшению сквозной пропускной способности TCP, [6] и целью первых фирменных решений по оптимизации WAN была Branch WAN. Однако в последние годы быстрый рост цифровых данных и сопутствующие потребности в их хранении и защите привели к необходимости оптимизации DC2DC WAN. Например, такие оптимизации могут быть выполнены для повышения общего использования сетевой емкости, [7] [8] соблюдения сроков передачи данных между центрами обработки данных, [9] [10] [11] или минимизации среднего времени завершения передачи данных. [11] [12] В качестве другого примера, частные межцентровые WAN могут выиграть от оптимизации для быстрой и эффективной георепликации данных и контента, такого как недавно вычисленные модели машинного обучения или мультимедийный контент. [13] [14]
Компонентные методы оптимизации Branch WAN включают дедупликацию, службы файловых сетей WAN (WAFS), прокси-сервер SMB , прокси-сервер HTTPS , многоадресную рассылку мультимедиа , веб-кэширование и управление полосой пропускания . Требования к оптимизации DC2DC WAN также сосредоточены вокруг дедупликации и ускорения TCP, однако они должны выполняться в контексте многогигабитных скоростей передачи данных.
Методы оптимизации WAN
- Дедупликация
- Устраняет передачу избыточных данных через WAN, отправляя ссылки вместо фактических данных. Работая на уровне байтов, преимущества достигаются в IP-приложениях.
- Сжатие данных
- Опирается на шаблоны данных, которые могут быть представлены более эффективно. По сути, методы сжатия, подобные ZIP, RAR, ARJ и т. д., применяются «на лету» к данным, проходящим через аппаратные (или виртуальные) устройства ускорения WAN.
- Оптимизация задержки
- Может включать в себя усовершенствования TCP, такие как масштабирование размера окна, выборочные подтверждения, алгоритмы управления перегрузкой уровня 3 и даже стратегии совместного размещения, в которых приложение размещается в непосредственной близости от конечной точки для уменьшения задержки. [15] В некоторых реализациях локальный оптимизатор WAN будет отвечать на запросы клиента локально, а не пересылать запрос на удаленный сервер, чтобы использовать механизмы отложенной записи и опережающего чтения для уменьшения задержки WAN.
- Кэширование/прокси
- Размещение данных в локальных кэшах ; опирается на поведение человека, который обращается к одним и тем же данным снова и снова.
- Прямое исправление ошибок
- Снижает потерю пакетов путем добавления еще одного пакета восстановления потерь для каждых N отправленных пакетов, что снижает необходимость повторных передач в подверженных ошибкам и перегруженных каналах WAN.
- Подмена протокола
- Объединяет несколько запросов от чат-приложений в один. Может также включать протоколы оптимизации, такие как CIFS .
- Формирование трафика
- Управляет потоком данных для определенных приложений. Предоставляет гибкость операторам сетей/сетевым администраторам в решении, какие приложения имеют приоритет над WAN. Обычным вариантом использования формирования трафика является предотвращение перегрузки или переполнения одним протоколом или приложением канала связи по сравнению с другими протоколами, которые бизнес/администратор считает более важными. Некоторые устройства ускорения WAN способны формировать трафик с гранулярностью, далеко выходящей за рамки традиционных сетевых устройств. Например, формирование трафика на основе пользователя и приложения одновременно.
- Выравнивание
- Делает предположения о том, что требует немедленного приоритета на основе использования данных. Примеры использования выравнивания могут включать широко открытые нерегулируемые интернет-соединения и забитые VPN-туннели.
- Ограничения на подключение
- Предотвращает блокировку доступа и отказ в обслуживании или одноранговую связь. Лучше всего подходит для широко открытых ссылок доступа в Интернет, также могут использоваться ссылки.
- Простые ограничения по ставкам
- Не позволяет одному пользователю получить больше, чем фиксированный объем пропускной способности. Лучше всего подходит в качестве временной меры для устранения перегруженного интернет-соединения или WAN-соединения.
Ссылки
- ^ Мачовински, Маттиас. «Рынок оптимизации WAN превысил 1 миллиард долларов в 2008 году, увеличившись на 29%; рынок корпоративных маршрутизаторов упал». Enterprise Routers and WAN Optimization Appliances . Infonetics Research . Получено 19 июля 2011 г.
- ^ Скорупа, Джо; Северин Реал (2010). «Прогноз: Оборудование для ускорения приложений, во всем мире, 2006–2014, обновление 2Q10». Gartner, Inc. Получено 19 июля 2011 г.[ мертвая ссылка ]
- ^ Munch, Bjarne; Neil Rickard (2015). "Magic Quadrant for WAN Optimization, 17 марта 2015 г.". Gartner, Inc. Получено 26 марта 2015 г.
- ^ Cardwell, N.; Savage, S.; Anderson, T. (2000). "Моделирование задержки TCP". Труды IEEE INFOCOM 2000. Конференция по компьютерным коммуникациям. Девятнадцатая ежегодная совместная конференция обществ IEEE по компьютерам и коммуникациям (Cat. No.00CH37064) . Том 3. Кафедра вычислительной техники и инженерии, Вашингтонский университет, Сиэтл, Вашингтон: IEEE.org. стр. 1742–1751. doi :10.1109/INFCOM.2000.832574. ISBN 0-7803-5880-5. S2CID 6581992.
- ^ Якобсон, Ван (октябрь 1988 г.). «Расширения TCP для путей с большой задержкой». Запрос комментариев: 1072. Internet Engineering Task Force (IETF) . Получено 19 июля 2011 г.
- ^ Флойд, Салли. "HighSpeed TCP for Large Congestion Windows". Запрос комментариев: 3649. Internet Engineering Task Force (IETF) . Получено 19 июля 2011 г.
- ^ S. Jain; et al. (2013). "B4: Опыт работы с глобально развернутой программно-определяемой WAN" (PDF) . Получено 4 апреля 2018 г.
- ^ C. Hong; et al. (2013). «Достижение высокого уровня использования с помощью программно-управляемой глобальной сети». Microsoft . Получено 4 апреля 2018 г. .
- ^ S. Kandula; et al. (2014). "Calendaring for Wide Area Networks" (PDF) . Microsoft . Получено 4 апреля 2018 г. .
- ^ M. Noormohammadpour; et al. (2016). "DCRoute: ускорение распределения трафика между центрами обработки данных с одновременным обеспечением соблюдения сроков" . Получено 4 апреля 2018 г.
- ^ ab X. Jin; et al. (2016). "Оптимизация массовых передач с помощью программно-определяемой оптической WAN" (PDF) . Получено 4 апреля 2018 г. .
- ^ M. Noormohammadpour; et al. (2018). "Минимизация времени завершения потока с помощью адаптивной маршрутизации в сетях Inter-Datacenter Wide Area" . Получено 4 апреля 2018 г.
- ^ M. Noormohammadpour; et al. (10 июля 2017 г.). "DCCast: Эффективные передачи данных из точки в многоточку через центры обработки данных". USENIX . Получено 26 июля 2017 г. .
- ^ M. Noormohammadpour; et al. (2018). "QuickCast: Быстрые и эффективные передачи между центрами обработки данных с использованием когорт дерева пересылки" . Получено 23 января 2018 г.
- ^ Париж, Чандлер. "Latency & Colocation" . Получено 20 июля 2011 г.