Alluxio — это виртуальная распределенная файловая система с открытым исходным кодом (VDFS). Первоначально как исследовательский проект «Тахион», Alluxio был создан в AMPLab Калифорнийского университета в Беркли под руководством Хаоюаня Ли , доктора философии. Диссертация [2] под руководством профессора Скотта Шенкера и профессора Иона Стойки . Alluxio находится между вычислениями и хранилищем в стеке анализа больших данных . Он обеспечивает уровень абстракции данных для вычислительных инфраструктур, позволяя приложениям подключаться к многочисленным системам хранения через общий интерфейс. Программное обеспечение распространяется под лицензией Apache .
Приложения, управляемые данными, такие как анализ данных, машинное обучение и искусственный интеллект, используют API (например, Hadoop HDFS API, S3 API, FUSE API), предоставляемые Alluxio, для быстрого взаимодействия с данными из различных систем хранения. Популярные фреймворки, работающие поверх Alluxio, включают Apache Spark , Presto , TensorFlow , Trino , Apache Hive , PyTorch и т. д.
Alluxio можно развернуть локально, в облаке (например, Microsoft Azure , AWS , Google Compute Engine ) или в гибридной облачной среде. Он может работать на «голом железе» или в контейнерных средах, таких как Kubernetes , Docker , Apache Mesos .
История
Первоначально Alluxio был запущен Хаоюанем Ли в AMPLab Калифорнийского университета в Беркли в 2013 году, а открытый исходный код был открыт в 2014 году. В 2018 году у Alluxio было более 1000 участников, [3] что сделало его одним из самых активных проектов в экосистеме данных.
Предприятия, использующие Alluxio
Ниже приводится список известных предприятий, которые использовали или используют Alluxio:
Смотрите также
Рекомендации
- ^ «Релизы · Alluxio/alluxio» . github.com . Проверено 16 ноября 2022 г.
- ↑ Ли, Хаоюань (7 мая 2018 г.). Alluxio: виртуальная распределенная файловая система (технический отчет). Департамент EECS, Калифорнийский университет, Беркли. UCB/EECS-2018-29.
- ^ Открытая деятельность по разработке HUB Alluxio.
- ^ «Этот новый проект с открытым исходным кодом в 100 раз быстрее, чем Spark SQL при производстве петабайтных масштабов» .
- ^ «Делаем невозможное возможным с помощью Tachyon: ускоряйте работу Spark с часов до секунд» .
- ^ «Большая ставка China Unicom на открытый исходный код» .
- ^ «Внедрение машинного обучения — управление происхождением от необработанных данных до прогнозов».
- ^ «Cray Analytics и Alluxio - споры о корпоративном хранилище» . Архивировано из оригинала 14 июля 2019 г. Проверено 19 февраля 2019 г.
- ^ «Использование и практика Аллюксио в Диди» .
- ^ «Преобразование данных в финансовых услугах».
- ^ «ArcGIS и Alluxio — использование Alluxio для расширения возможностей данных ArcGIS и более быстрого получения аналитической информации из всех ваших данных» .
- ^ «Huawei обнимает Alluxio с открытым исходным кодом: спасибо за воспоминания» . Регистр .
- ^ «Как Alluxio ускоряет рабочие нагрузки Apache Spark» . Архивировано из оригинала 14 июля 2019 г. Проверено 19 февраля 2019 г.
- ^ «Начало работы с Tachyon по вариантам использования» .
- ^ «Использование Alluxio в качестве отказоустойчивого подключаемого компонента оптимизации вычислительных инфраструктур JD.com» .
- ^ «Крупнейший в мире производитель компьютеров Lenovo выбирает Alluxio для управления данными смартфонов по всему миру» .
- ^ «Повышение ценности Alluxio с помощью твердотельных накопителей Samsung NVMe» .
- ^ «Tencent доставляет индивидуальные новости более чем 100 миллионам пользователей в месяц с помощью Alluxio» .
- ^ «Практика Alluxio на платформе данных почти в реальном времени в VIPShop» .
- ^ «Воплощение данных в жизнь — методы управления данными и визуализации».
Внешние ссылки
