Vectorwise - Vectorwise

Актианский вектор
Разработчики)Actian Corporation
Стабильный выпуск
Vector 5.1 / 14 ноября 2018 г. (2018-11-14)[1]
Операционная системаКроссплатформенность
ТипСУБД
ЛицензияПроприетарный
Интернет сайтwww.actian.com/товары/ аналитика-платформа/ вектор-smp-аналитика-база данных/
Актианский вектор в Hadoop
Разработчики)Actian Corporation
Стабильный выпуск
Вектор в Hadoop 5.1 / 10 июня 2018 г. (2018-06-10)[2]
Операционная системаLinux
ТипСУБД
ЛицензияПроприетарный
Интернет сайтwww.actian.com/ аналитическая база данных/ vectorh-sql-hadoop/

Актианский вектор (ранее известный как VectorWise) является SQL система управления реляционной базой данных разработан для обеспечения высокой производительности в приложениях аналитических баз данных.[3]Он опубликовал рекордные результаты по Совет по производительности обработки транзакций Тест TPC-H для баз данных размером 100 ГБ, 300 ГБ, 1 ТБ и 3 ТБ на некластеризованном оборудовании.[4][5][6][7]

Vectorwise возникла из исследовательского проекта X100, выполненного в рамках Centrum Wiskunde & Informatica (CWI, Голландский национальный исследовательский институт математики и информатики) в период с 2003 по 2008 г. Он был выделен в качестве новой компании в 2008 г. и приобретен Корпорация Ingres в 2011.[8]Он был выпущен как коммерческий продукт в июне 2010 года.[9][10][11][12] первоначально для 64-битной платформы Linux, а затем и для Windows. Начиная с версии 3.5 в апреле 2014 года, название продукта было сокращено до «Vector».[13]В июне 2014 года был анонсирован Actian Vortex - кластерный MPP версия Vector, работающая в Hadoop с хранением в HDFS.[14][15] Позже Actian Vortex был переименован в Actian Vector в Hadoop.

Технологии

Базовая архитектура и принципы проектирования механизма X100 базы данных VectorWise были хорошо описаны в двух докторских диссертациях основателя VectorWise Марцина Луковского: «Баланс выполнения векторизованных запросов с хранилищем с оптимизированной пропускной способностью»[16] и Шандор Хеман: «Обновление хранилищ сжатых столбцов»,[17] под руководством другого учредителя, профессора Питер Бонч. Двигатель X100 интегрирован с Ingres Интерфейс SQL, позволяющий работать с базой данных с использованием синтаксиса Ingres SQL и набора клиентских и DBA инструменты.[18]

Архитектура выполнения запроса использует «Векторизованное выполнение запроса» - обработка фрагментов тайник -подгонка векторов данных. Это позволяет задействовать принципы векторная обработка и одна инструкция, несколько данных (SIMD) - для выполнения одной и той же операции с несколькими данными одновременно и использования параллелизма на уровне данных на современном оборудовании. Это также снижает накладные расходы, обнаруживаемые при традиционной «построчной обработке», которая встречается в большинстве СУБД.

Хранилище базы данных находится в сжатом столбчатый формат,[19] с оптимизированным для сканирования менеджером буферов. В Actian Vortex в HDFS используется тот же проприетарный формат.

Загрузка больших объемов данных поддерживается за счет прямого добавления в стабильное хранилище, в то время как небольшие транзакционные обновления поддерживаются через запатентованные[20] Позиционные дельта-деревья (PDT)[17][21] - специализированные B-дерево -подобные структуры индексированных различий поверх стабильного хранилища, которые легко исправляются во время сканирования и которые прозрачно передаются в стабильное хранилище в фоновом процессе. Метод сохранения различий в структурах, подобных патчу, и массовая перезапись стабильного хранилища позволил работать в файловой системе, такой как HDFS, в которой файлы доступны только для добавления.[14]

История

Вехи

Сравнительный Совет по производительности обработки транзакций Тест производительности TPC-H MonetDB осуществлено его первоначальным создателем в Centrum Wiskunde & Informatica (CWI) в 2003 г. продемонстрировала возможности для улучшения своей работы в качестве аналитической базы данных. В результате исследователи CWI предложили новую архитектуру, использующую конвейерную обработку запросов («векторизованную обработку») для повышения производительности аналитических запросов. Это привело к созданию проекта «X100» с намерением разработать новое ядро ​​для MonetDB, которое будет называться «MonetDB / X100».[16][22][23]

Команда проекта X100 выиграла премию DaMoN Best Paper 2007 за работу «Векторизованная обработка данных в ядре широкополосной сотовой связи».[24][25] а также награду DaMoN Best Paper 2008 за статью «DSM против NSM: компромисс между производительностью ЦП при блочно-ориентированной обработке запросов».[26][27]

В августе 2009 г. создатели проекта X100 выиграли приз «Лучшая бумага за десять лет» на 35-м заседании. Международная конференция по очень большим базам данных (VLDB) за их статью 1999 г. «Архитектура базы данных, оптимизированная для нового узкого места: доступ к памяти». VLDB признала, что команда проекта добилась большого прогресса в реализации идей, содержащихся в документе, за предыдущие 10 лет.[28] Центральная посылка статьи состоит в том, что традиционные системы реляционных баз данных были разработаны в конце 1970-х - начале 1980-х годов, когда производительность базы данных определялась временем, необходимым для чтения и записи данных на жесткий диск. В то время доступно ЦПУ был относительно медленным, а основная память была относительно небольшой, поэтому за один раз в память можно было загружать очень мало данных. Со временем аппаратное обеспечение улучшилось: скорость процессора и объем памяти удваивались примерно каждые два года в соответствии с Закон Мура, но конструкция традиционных систем реляционных баз данных не была адаптирована. Исследовательская группа CWI описала улучшения в коде базы данных и структурах данных для наилучшего использования современного оборудования.[29]

В 2008 году проект X100 был выделен из MonetDB как отдельный проект и переименован в «VectorWise». Соучредителями были Петер А. Бонч и Марцин Жуковски.[30][31]

В июне 2010 года о технологии VectorWise официально анонсировала компания Корпорация Ingres,[10][32] с выпуском Ingres VectorWise 1.0.[33]

В марте 2011 года был выпущен VectorWise 1.5,[34] опубликовал рекордный результат на тесте TPC-H 100 ГБ.[5][35] Новые функции включают параллельное выполнение запросов (один запрос выполняется на нескольких ядрах ЦП), улучшенную массовую загрузку и расширенную поддержку SQL.

В июне 2011 года был выпущен VectorWise 1.6,[6] публикация рекордных результатов на TPC-H 100 ГБ,[36] 300 ГБ[37] и 1 ТБ[38] некластеризованный тест.

В декабре 2011 года был выпущен VectorWise 2.0.[39] с новой поддержкой SQL для аналитических функций, таких как ранжирование и процентиль, и улучшенные типы данных даты, времени и меток времени, а также поддержка разлива диска при хэш-соединениях и агрегации.

В июне 2012 года был выпущен VectorWise 2.5.[40] В этом выпуске формат хранения был реорганизован, чтобы позволить хранить базу данных в нескольких местах, механизм распространения фоновых обновлений от PDT до стабильного хранилища был расширен, чтобы разрешить перезапись только измененных блоков вместо полной перезаписи, а также новый запатентованный[41] Был представлен Predictive Buffer Manager (PBM).[42]

В марте 2013 года был выпущен VectorWise 3.0.[43] Новые функции включают более эффективный механизм хранения, поддержку большего количества типов данных и аналитических функций SQL, расширенные функции DDL и улучшенную доступность для мониторинга и профилирования.

В марте 2014 года был выпущен Actian Vector 3.5 с новым переименованным и сокращенным названием.[13] Новые функции включали поддержку секционированных таблиц, улучшенное разделение диска, возможности резервного копирования в онлайн-режиме и улучшенную поддержку SQL, например MERGE / UPSERT DML-операции и FIRST_VALUE и LAST_VALUE оконные функции агрегирования.

В марте 2015 года был выпущен Actian Vector 4.

Кластерное решение

В июне 2014 года на Hadoop Summit 2014 в Сан-Хосе компания Actian анонсировала Actian Vortex - кластерную MPP-версию Vector с таким же уровнем поддержки SQL, работающую в Hadoop с хранилищем непосредственно в HDFS.[14]

С тех пор был выпущен Actian Vortex, позже переименованный в Actian Vector в Hadoop, и некластеризованные выпуски Actian Vector также обновлены для соответствия.[1] Actian Vector в Hadoop 4 был выпущен в декабре 2015 года.

Расширяемся в облако

В апреле 2019 года Actian Avalanche был выпущен в качестве облачной опции для высокопроизводительного Actian Vector.

Текущие версии

Следующие выпуски доступны и поддерживаются Actian по состоянию на май 2019 года.

Вектор

  • Actian Vector 5.0 был выпущен в июле 2016 г.
  • Actian Vector 5.1 был выпущен в июне 2018 г.

Вектор в Hadoop

  • Actian Vector в Hadoop 5.0 был выпущен в октябре 2017 г.
  • Actian Vector в Hadoop 5.1 был выпущен в ноябре 2018 г.

Актианская лавина

  • Версия 5.1 AWS была выпущена в апреле 2019 года.
  • Версия 5.1 Azure была выпущена в октябре 2019 года.

Смотрите также

Рекомендации

  1. ^ а б "Актианский вектор релизы" (PDF). Получено 2016-08-20.
  2. ^ «Вектор в Hadoop 5.0 - новые функции, о которых вам следует позаботиться». 2017-09-19. Получено 2018-04-04.
  3. ^ "Vectorwise Enterprise". Actian Corporation. Получено 3 мая 2012.
  4. ^ «TPC-H - Десять лучших результатов производительности - без кластеров». Совет по производительности обработки транзакций. Получено 3 мая 2012.
  5. ^ а б «Vectorwise побила рекорд TPC-H с коэффициентом масштабирования 100, достигнув 340% от предыдущего лучшего результата» (Пресс-релиз). Actian Corporation. 15 февраля 2011 г.. Получено 7 февраля 2016.
  6. ^ а б "Vectorwise безоговорочно побивает рекорды тестов TPC-H 300 ГБ и 1 ТБ" (Пресс-релиз). Actian Corporation. 4 мая 2011 г.. Получено 7 февраля 2011.
  7. ^ «Платформа Actian Analytics превосходит все остальные в 2 раза, устанавливает новый рекорд в последнем тесте TPC-H». Actian Corporation. Получено 20 августа 2016.
  8. ^ «Компания VectorWise, дочерняя CWI, продана корпорации Ingres».
  9. ^ Кларк, Гэвин (2 февраля 2010 г.). "VectorWise Энгра встает, чтобы ответить Microsoft". Реестр.
  10. ^ а б Бэбкок, Чарльз (9 июня 2010 г.). «Ingres представляет ядро ​​СУБД VectorWise». Информационная неделя.
  11. ^ Сулеман, Хидр (8 июня 2010 г.). «Ingres запускает ядро ​​базы данных VectorWise». V3.co.uk.
  12. ^ Жуковски, Марцин; Бонч, Питер (2012). «От x100 до векторного». Материалы международной конференции по управлению данными 2012 г. - SIGMOD '12. п. 861. Дои:10.1145/2213836.2213967. ISBN  978-1-4503-1247-9.
  13. ^ а б "Pssst: Хотите узнать об Actian Vector 3.5?". 2016-05-04.
  14. ^ а б c "Vector (мудрый) идет Hadoop".
  15. ^ «Питер Бонц - Actian Vector на Hadoop: первая СУБД промышленного уровня, действительно использующая Hadoop».
  16. ^ а б Луковски, Марцин (11 сентября 2009 г.). «Уравновешивание выполнения векторных запросов с хранилищем с оптимизированной пропускной способностью» (PDF). Universiteit van Amsterdam. Получено 7 февраля 2016. Цитировать журнал требует | журнал = (помощь)
  17. ^ а б Хеман, Шандор (2015). «Обновление хранилищ сжатых столбцов» (PDF). Vrije Universiteit Amsterdam. Получено 7 февраля 2016. Цитировать журнал требует | журнал = (помощь)
  18. ^ Инкстер, Дуг; Луковски, Марцин; Бонч, Питер (сентябрь 2011 г.). «Интеграция VectorWise с Ingres» (PDF). Запись SIGMOD. 40 (3): 45–53. Дои:10.1145/2070736.2070747. HDL:1871/33100. Получено 7 февраля 2016.
  19. ^ Жуковски, Марцин; Бонч, Питер (март 2012). "Vectorwise: Beyond Column Stores" (PDF). Бюллетень IEEE Data Engineering. 35 (1): 21–27. Получено 4 мая 2012.
  20. ^ Заявка США 20100235335, Сандор Эй-Би-Си Хеман, Питер А. Бонц, Марцин Жуковски, Николаас Дж. Нес, «Архитектура базы данных с колоночным хранилищем, использующая систему и методы обновления позиционного дельта-дерева», опубликовано 16 сентября 2010 г. 
  21. ^ Хеман, Шандор; Луковски, Марцин; Нес, Нильс; Сидирургос, Лефтерис; Бонц, Питер. "Обработка позиционного обновления в колоночных хранилищах" (PDF). Конференция SIGMOD 2010: 543–554.
  22. ^ "Домашняя страница Петера Бонча". Получено 7 февраля 2016.
  23. ^ «Более быстрая технология баз данных с MonetDB / X100». CWI Amsterdam. Получено 4 мая 2012.
  24. ^ Héman, S .; Nes, N.J .; Жуковски, М .; Бонч, П.А. (2007). «Векторизованная обработка данных в ядре широкополосной сотовой связи». Universiteit van Amsterdam. Получено 4 мая 2012. Цитировать журнал требует | журнал = (помощь)
  25. ^ «Третий международный семинар по управлению данными на новом оборудовании (DaMoN 2007)». Школа компьютерных наук Карнеги-Меллона (SCS). Получено 4 мая 2012.
  26. ^ Жуковски, Марцин; Нес, Нильс; Бонц, Питер (2008). «DSM против NSM». Материалы 4-го международного семинара по управлению данными на новом оборудовании - DaMoN '08. п. 47. Дои:10.1145/1457150.1457160. ISBN  9781605581842.
  27. ^ «Четвертый международный семинар по управлению данными на новом оборудовании (DaMoN 2008)». Школа компьютерных наук Карнеги-Меллона. Получено 4 мая 2012.
  28. ^ «10-летняя премия за лучшую работу - VLDB 2009». Международная конференция по очень большим базам данных. Получено 4 мая 2012.
  29. ^ Бонц, Питер; Манегольд, Стефан; Керстен, Мартин Л. (15 июня 1999 г.). Архитектура базы данных оптимизирована для нового узкого места: доступ к памяти (PDF). Материалы 25-й Международной конференции по очень большим базам данных. Universiteit van Amsterdam. С. 54–65. ISBN  1-55860-615-7. Получено 11 декабря 2013.
  30. ^ Курт Монаш (25 апреля 2013 г.). «Прощай, VectorWise, прощай, ParAccel?». СУБД2. Получено 11 декабря 2013.
  31. ^ "Петер Бонч". Веб-страница персонала. CWI. Получено 11 декабря 2013.
  32. ^ Кларк, Дон (22 сентября 2011 г.). "Фирма, занимающаяся разработкой программного обеспечения баз данных, пытается предпринять действия"'". Журнал "Уолл Стрит.
  33. ^ "Ingres Vectorwise 1.0". Получено 7 февраля 2016.
  34. ^ «Ранний взгляд на Actian VectorWise 1.5».
  35. ^ "TPC-H SF100 Vectorwise 1.5".
  36. ^ "TPC-H SF100 Vectorwise 1.6".
  37. ^ "TPC-H SF300 Vectorwise 1.6".
  38. ^ "TPC-H SF1000 Vectorwise 1.6".
  39. ^ "Еще более быстрый VectorWise".
  40. ^ «Actian выпускает Vectorwise 2.5 - рекордная база данных стала еще быстрее».
  41. ^ B1 Патент США 8825959 B1, Михал Свитаковски, Питер Бонц, Марцин Жуковски, «Метод и устройство для использования прогнозирования времени доступа к данным для улучшения политик буферизации данных», опубликовано 2 сентября 2014 г. 
  42. ^ Свитаковский, Михал; Бонц, Питер; Луковский, Марцин (август 2012 г.). «От совместного сканирования к прогнозируемому управлению буфером» (PDF). Труды эндаумента VLDB. VLDB 2012. 5 (12). arXiv:1208.4170. Bibcode:2012arXiv1208.4170S. Получено 7 февраля 2016.
  43. ^ «Actian объявляет о доступности Vectorwise 3.0 для получения быстрых ответов от больших данных».

внешняя ссылка