Озеро данных Azure - Википедия - Azure Data Lake

Озеро данных Azure
Windows Azure logo.png
Разработчики)Microsoft
изначальный выпуск16 ноября 2016 г.; 4 года назад (2016-11-16)
Доступно ванглийский
ТипСервис хранения и аналитики данных
Интернет сайтлазурный.microsoft.com/ en-us/ решения/ data-lake/

Озеро данных Azure[1] масштабируемая служба хранения данных и аналитики. Служба размещена в Лазурь, Общественная облако.

История

Сервис Azure Data Lake был выпущен 16 ноября 2016 года. Он основан на COSMOS,[2] который используется для хранения и обработки данных для таких приложений, как Azure, AdCenter, Bing, MSN, Skype и Windows Live. COSMOS имеет SQL -подобный механизм запросов под названием SCOPE, на котором был построен U-SQL.[2]

Хранилище озера данных Azure

Пользователи могут хранить структурированные, полуструктурированные или неструктурированные данные создается из приложений, включая социальные сети, реляционные данные, датчики, видео, веб-приложения, мобильные или настольные устройства. Одна учетная запись Azure Data Lake Store может хранить триллионы файлов, причем размер одного файла может превышать размер файла. петабайт по размеру.

Аналитика озера данных Azure

Azure Data Lake Analytics - это параллельная служба заданий по запросу. Система параллельной обработки основана на Microsoft Dryad решение.[3] Дриада может представлять произвольную Направленные ациклические графы (DAG) вычислений. Data Lake Analytics предоставляет распределенную инфраструктуру, которая может динамически распределять или освобождать ресурсы, поэтому клиенты платят только за те услуги, которые они используют.

Azure Data Lake Analytics использует Apache YARN, центральную часть Apache Hadoop для управления управлением ресурсами и предоставления операций в кластерах Hadoop. Microsoft Azure Data Lake Store поддерживает любые приложения, использующие открытые Распределенная файловая система Apache Hadoop (HDFS) стандарт.[3]

U-SQL

Используя Data Lake Analytics, пользователи могут разрабатывать и запускать параллельное преобразование данных и обработка программ на U-SQL, языке запросов, сочетающем SQL с C #. U-SQL был разработан как эволюция декларативного языка SQL с собственной расширяемостью за счет пользовательского кода, написанного на C #. U-SQL использует типы данных C # и язык выражений C #.

Смотрите также

Рекомендации

  1. ^ «Озеро данных». Microsoft Azure. Получено 2019-06-17.
  2. ^ а б Харрис, Деррик (05.02.2015). «Почему открытие системы больших данных Cosmos было бы правильным шагом для Microsoft». gigaom.com. Получено 2017-07-27.
  3. ^ а б Харрис, Эд. "Космос" (PDF).

внешняя ссылка