Apache Hive - Apache Hive

Apache Hive
Apache Hive
Оригинальный автор (ы)Facebook
Разработчики)Авторы
изначальный выпуск1 октября 2010 г.; 10 лет назад (2010-10-01)[1]
Стабильный выпуск
3.1.2 / 26 августа 2019 г.; 15 месяцев назад (2019-08-26)[2]
Репозиторийgithub.com/ apache/ улей
Написано вЯва
Операционная системаКроссплатформенность
Доступно вSQL
ТипХранилище данных
ЛицензияЛицензия Apache 2.0
Интернет сайтулей.apache.org

Apache Hive это хранилище данных программный проект, построенный на основе Apache Hadoop для обеспечения запроса и анализа данных.[3] Улей дает SQL -подобно интерфейс для запроса данных, хранящихся в различных базах данных и файловых системах, которые интегрируются с Hadoop. Традиционные SQL-запросы должны быть реализованы в Уменьшение карты Java API для выполнения приложений SQL и запросов к распределенным данным. Hive предоставляет необходимую абстракцию SQL для интеграции SQL-подобных запросов (HiveQL ) в базовую Java без необходимости реализации запросов в низкоуровневом Java API. Поскольку большинство приложений для хранилищ данных работают с языками запросов на основе SQL, Hive помогает переносить приложения на основе SQL в Hadoop.[4] Хотя изначально был разработан Facebook, Apache Hive используется и разрабатывается другими компаниями, такими как Netflix и Регулирующий орган финансовой отрасли (FINRA).[5][6] Amazon поддерживает программную ветвь Apache Hive, включенную в Amazon Elastic MapReduce на Веб-сервисы Amazon.[7]

Функции

Apache Hive поддерживает анализ больших наборов данных, хранящихся в Hadoop. HDFS и совместимые файловые системы, такие как Amazon S3 файловая система и Alluxio. Он обеспечивает SQL -подобный язык запросов под названием HiveQL[8] со схемой при чтении и прозрачно преобразует запросы в Уменьшение карты, Apache Tez[9] и Искра рабочие места. Все три механизма исполнения могут работать в Hadoop переговорщик ресурсов, YARN (еще один переговорщик ресурсов). Для ускорения запросов он предоставляет индексы, в том числе индексы растровых изображений.[10]Другие особенности Hive включают:

  • Индексирование для обеспечения ускорения, тип индекса, включая уплотнение и индекс растрового изображения с 0.10 планируется больше типов индексов.
  • Различные типы хранения, такие как обычный текст, RCFile, HBase, ORC и другие.
  • Хранение метаданных в система управления реляционной базой данных, значительно сокращая время на выполнение семантических проверок во время выполнения запроса.
  • Работа со сжатыми данными, хранящимися в экосистеме Hadoop, с использованием алгоритмов, включая ВЫПУСКАТЬ, BWT, резкий, так далее.
  • Встроенный определяемые пользователем функции (UDF) для управления датами, строками и другими инструментами интеллектуального анализа данных. Hive поддерживает расширение набора UDF для обработки сценариев использования, не поддерживаемых встроенными функциями.
  • SQL-подобные запросы (HiveQL), которые неявно преобразуются в задания MapReduce, Tez или Spark.

По умолчанию Hive хранит метаданные во встроенном Apache Derby база данных и другие базы данных клиент / сервер, такие как MySQL опционально можно использовать.[11]

Первые четыре формата файлов, поддерживаемых в Hive, были обычным текстом,[12] файл последовательности, оптимизированный столбчатый формат строк (ORC)[13] и RCFile.[14] Паркет Apache может быть прочитан через плагин в версиях позже 0.10 и изначально начиная с 0,13.[15][16] Дополнительные плагины Hive поддерживают запросы к Биткойн Блокчейн.[17]

Архитектура

Основные компоненты архитектуры Hive:

  • Хранилище метаданных: хранит метаданные для каждой из таблиц, такие как их схема и расположение. Он также включает метаданные раздела, которые помогают драйверу отслеживать ход выполнения различных наборов данных, распределенных по кластеру.[18] Данные хранятся в традиционном СУБД формат. Метаданные помогают водителю отслеживать данные, и это очень важно. Следовательно, сервер резервного копирования регулярно реплицирует данные, которые могут быть восстановлены в случае потери данных.
  • Драйвер: действует как контроллер, который получает операторы HiveQL. Он запускает выполнение инструкции, создавая сеансы, и отслеживает жизненный цикл и ход выполнения. Он хранит необходимые метаданные, созданные во время выполнения оператора HiveQL. Драйвер также действует как точка сбора данных или результатов запроса, полученных после операции «Уменьшить».[14]
  • Компилятор: выполняет компиляцию запроса HiveQL, который преобразует запрос в план выполнения. Этот план содержит задачи и шаги, которые необходимо выполнить Hadoop Уменьшение карты чтобы получить результат, переведенный запросом. Компилятор преобразует запрос в абстрактное синтаксическое дерево (АСТ). После проверки совместимости и ошибок времени компиляции он преобразует AST в ориентированный ациклический граф (DAG).[19] Группа доступности базы данных разделяет операторов на этапы и задачи MapReduce на основе входного запроса и данных.[18]
  • Оптимизатор: выполняет различные преобразования в плане выполнения для получения оптимизированной группы доступности базы данных. Преобразования можно агрегировать вместе, например преобразовать конвейер объединений в одно соединение, для повышения производительности.[20] Он также может разделять задачи, такие как применение преобразования к данным перед операцией сокращения, чтобы обеспечить лучшую производительность и масштабируемость. Однако логика преобразования, используемая для оптимизации, может быть изменена или конвейеризована с помощью другого оптимизатора.[14]
  • Исполнитель: После компиляции и оптимизации исполнитель выполняет задачи. Он взаимодействует с системой отслеживания заданий Hadoop для планирования выполнения задач. Он заботится о конвейерной обработке задач, обеспечивая выполнение задачи с зависимостью только в том случае, если выполняются все остальные предварительные условия.[20]
  • CLI, UI и Сберегательный сервер: А Интерфейс командной строки (CLI) предоставляет пользовательский интерфейс чтобы внешний пользователь мог взаимодействовать с Hive, отправляя запросы, инструкции и отслеживая состояние процесса. Сервер Thrift позволяет внешним клиентам взаимодействовать с Hive по сети, аналогично JDBC или же ODBC протоколы.[21]

HiveQL

Основываясь на SQL, HiveQL не строго следует полному SQL-92 стандарт. HiveQL предлагает расширения не в SQL, в том числе многотабличные вставки и создать таблицу как выбрать, но предлагает только базовую поддержку для индексы. HiveQL не поддерживает сделки и материализованные представления и только ограниченная поддержка подзапросов.[22][23] Поддержка вставки, обновления и удаления с полным КИСЛОТА функциональность стала доступной в версии 0.14.[24]

Внутри компилятор переводит операторы HiveQL в ориентированный ациклический граф из Уменьшение карты, Tez или Искра задания, которые отправляются в Hadoop для выполнения.[25]

Пример

Программа подсчета слов подсчитывает, сколько раз каждое слово встречается во входных данных. Количество слов в HiveQL можно записать как:[4]

1УРОНИТЬ СТОЛ ЕСЛИ СУЩЕСТВУЮТ документы;2СОЗДАЙТЕ СТОЛ документы (линия НИТЬ);3НАГРУЗКА ДАННЫЕ INPATH 'input_file' ПЕРЕЗАПИСАТЬ В СТОЛ документы;4СОЗДАЙТЕ СТОЛ word_counts В КАЧЕСТВЕ5ВЫБРАТЬ слово, считать(1) В КАЧЕСТВЕ считать ИЗ6 (ВЫБРАТЬ взорваться(расколоть(линия, ' s')) В КАЧЕСТВЕ слово ИЗ документы) темп7ГРУППА К слово8ПОРЯДОК К слово;

Краткое объяснение каждого из утверждений следующее:

1УРОНИТЬ СТОЛ ЕСЛИ СУЩЕСТВУЮТ документы;2СОЗДАЙТЕ СТОЛ документы (линия НИТЬ);

Проверяет, есть ли таблица документы существует и отбрасывает его, если это так. Создает новую таблицу с именем документы с одним столбцом типа НИТЬ называется линия.

3НАГРУЗКА ДАННЫЕ INPATH 'input_file' ПЕРЕЗАПИСАТЬ В СТОЛ документы;

Загружает указанный файл или каталог (в данном случае «input_file») в таблицу. ПЕРЕЗАПИСАТЬ указывает, что целевая таблица, в которую загружаются данные, должна быть перезаписана; В противном случае данные будут добавлены.

4СОЗДАЙТЕ СТОЛ word_counts В КАЧЕСТВЕ5ВЫБРАТЬ слово, считать(1) В КАЧЕСТВЕ считать ИЗ6(ВЫБРАТЬ взорваться(расколоть(линия, ' s')) В КАЧЕСТВЕ слово ИЗ документы) темп7ГРУППА К слово8ПОРЯДОК К слово;

Запрос СОЗДАТЬ ТАБЛИЦУ word_counts КАК ВЫБРАТЬ слово, count (1) КАК count создает таблицу с именем word_counts с двумя столбцами: слово и считать. Этот запрос получает входные данные из внутреннего запроса (ВЫБРАТЬ взорваться(расколоть(линия, ' s')) В КАЧЕСТВЕ слово ИЗ документы) темп". Этот запрос служит для разделения входных слов на разные строки временной таблицы с псевдонимом темп. В ГРУППА К СЛОВО группирует результаты на основе их ключей. Это приводит к считать столбец, содержащий количество вхождений каждого слова слово столбец. В ПОРЯДОК К СЛОВА сортирует слова по алфавиту.

Сравнение с традиционными базами данных

Операции хранения и запросов Hive очень похожи на операции традиционных баз данных. Хотя Hive является диалектом SQL, существует множество различий в структуре и работе Hive по сравнению с реляционными базами данных. Различия в основном заключаются в том, что Hive построен на Hadoop экосистемы и должен соответствовать ограничениям Hadoop и Уменьшение карты.

Схема применяется к таблице в традиционных базах данных. В таких традиционных базах данных таблица обычно обеспечивает соблюдение схемы при загрузке данных в таблицу. Это позволяет базе данных убедиться, что введенные данные соответствуют представлению таблицы, как указано в определении таблицы. Эта конструкция называется схема при записи. Для сравнения, Hive не проверяет данные по схеме таблицы при записи. Вместо этого он впоследствии выполняет проверки во время выполнения, когда данные читаются. Эта модель называется схема при чтении.[22] У этих двух подходов есть свои преимущества и недостатки. Проверка данных по схеме таблицы во время загрузки увеличивает накладные расходы, поэтому традиционным базам данных требуется больше времени для загрузки данных. Проверки качества выполняются по данным во время загрузки, чтобы гарантировать, что данные не повреждены. Раннее обнаружение поврежденных данных обеспечивает раннюю обработку исключений. Поскольку таблицы вынуждены соответствовать схеме после / во время загрузки данных, они имеют лучшую производительность во время запроса. Hive, с другой стороны, может загружать данные динамически без какой-либо проверки схемы, обеспечивая быструю начальную загрузку, но с недостатком относительно более низкой производительности во время запроса. У Hive есть преимущество, когда схема недоступна во время загрузки, а вместо этого создается позже динамически.[22]

Транзакции являются ключевыми операциями в традиционных базах данных. Как любой типичный СУБД, Hive поддерживает все четыре свойства транзакций (КИСЛОТА ): Атомарность, Последовательность, Изоляция, и Долговечность. Транзакции в Hive были введены в Hive 0.13, но были ограничены только уровнем раздела.[26] В последней версии Hive 0.14 эти функции были полностью добавлены для поддержки полной КИСЛОТА характеристики. Hive 0.14 и более поздних версий предоставляет различные транзакции на уровне строк, такие как ВСТАВИТЬ, УДАЛИТЬ и ОБНОВИТЬ.[27] Включение ВСТАВИТЬ, ОБНОВИТЬ, УДАЛИТЬ транзакции требуют установки соответствующих значений для свойств конфигурации, таких как hive.support.concurrency, hive.enforce.bucketing, и hive.exec.dynamic.partition.mode.[28]

Безопасность

В Hive v0.7.0 добавлена ​​интеграция с безопасностью Hadoop. Hadoop начал использовать Kerberos поддержка авторизации для обеспечения безопасности. Kerberos позволяет взаимную аутентификацию между клиентом и сервером. В этой системе запрос клиента на билет передается вместе с запросом. В предыдущих версиях Hadoop было несколько проблем, таких как возможность пользователей подделать свое имя пользователя, установив параметр hadoop.job.ugi свойство, а также операции MapReduce, выполняемые одним и тем же пользователем: hadoop или mapred. Благодаря интеграции Hive v0.7.0 с системой безопасности Hadoop эти проблемы в значительной степени были исправлены. Задания TaskTracker запускаются пользователем, запустившим его, и имя пользователя больше нельзя подделать, установив параметр hadoop.job.ugi свойство. Разрешения для вновь созданных файлов в Hive определяются HDFS. Модель авторизации распределенной файловой системы Hadoop использует три объекта: пользователь, группа и другие с тремя разрешениями: чтение, запись и выполнение. Разрешения по умолчанию для вновь созданных файлов можно установить, изменив значение umask для переменной конфигурации Hive. hive.files.umask.value.[4]

Смотрите также

Рекомендации

  1. ^ [1]
  2. ^ «26 августа 2019 г .: доступна версия 3.1.2». Получено 28 августа 2019.
  3. ^ Веннер, Джейсон (2009). Pro Hadoop. Apress. ISBN  978-1-4302-1942-2.
  4. ^ а б c Programming Hive [Книга].
  5. ^ Пример использования Hive / Hadoop
  6. ^ OSCON Data 2011, Адриан Кокрофт, «Поток данных в Netflix» на YouTube
  7. ^ Руководство разработчика Amazon Elastic MapReduce
  8. ^ Руководство по языку HiveQL
  9. ^ Apache Tez
  10. ^ Работа со студентами над улучшением индексирования в Apache Hive
  11. ^ Лам, Чак (2010). Hadoop в действии. Публикации Мэннинга. ISBN  978-1-935182-19-1.
  12. ^ Оптимизация Hadoop и больших данных с помощью текста и HiveОптимизация Hadoop и больших данных с помощью текста и Hive
  13. ^ "Языковое руководство ORC". Wiki проекта Hive. Получено 24 апреля, 2017.
  14. ^ а б c «Хранилище данных Facebook петабайтного масштаба с использованием Hive и Hadoop» (PDF). Архивировано из оригинал (PDF) на 2011-07-28. Получено 2011-09-09.
  15. ^ "Паркет". 18 декабря 2014 г. Архивировано с оригинал 2 февраля 2015 г.. Получено 2 февраля 2015.
  16. ^ Мэсси, Мэтт (21 августа 2013 г.). «Мощное трио больших данных: Spark, Parquet и Avro». zenfractal.com. Архивировано из оригинал 2 февраля 2015 г.. Получено 2 февраля 2015.
  17. ^ Франке, Йорн (28 апреля 2016 г.). «Улей и Биткойн: Аналитика данных Blockchain с помощью SQL».
  18. ^ а б «Дизайн - Apache Hive - Apache Software Foundation». cwiki.apache.org. Получено 2016-09-12.
  19. ^ «Абстрактное синтаксическое дерево». c2.com. Получено 2016-09-12.
  20. ^ а б Докероглу, Тансель; Озал, Серкан; Байир, Мурат Али; Чинар, Мухаммет Серкан; Косар, Ахмет (29.07.2014). «Повышение производительности Hadoop Hive за счет совместного использования задач сканирования и вычислений». Журнал облачных вычислений. 3 (1): 1–11. Дои:10.1186 / s13677-014-0012-6.
  21. ^ «HiveServer - Apache Hive - Apache Software Foundation». cwiki.apache.org. Получено 2016-09-12.
  22. ^ а б c Белый, Том (2010). Hadoop: полное руководство. O'Reilly Media. ISBN  978-1-4493-8973-4.
  23. ^ Руководство по языку Hive
  24. ^ ACID и транзакции в Hive
  25. ^ «Создайте складское решение вместо платформы MapReduce» (PDF). Архивировано из оригинал (PDF) на 2013-10-08. Получено 2011-09-03.
  26. ^ «Введение в транзакции Hive». datametica.com. Архивировано из оригинал на 2016-09-03. Получено 2016-09-12.
  27. ^ «Транзакции Hive - Apache Hive - Фонд программного обеспечения Apache». cwiki.apache.org. Получено 2016-09-12.
  28. ^ «Свойства конфигурации - Apache Hive - Apache Software Foundation». cwiki.apache.org. Получено 2016-09-12.

внешняя ссылка