TiDB - Википедия - TiDB

TiDB
Разработчики)PingCAP Inc.
изначальный выпуск15 октября 2017 г.; 3 года назад (2017-10-15)[1]
Стабильный выпуск
4.0[2] / 31 июля 2020; 4 месяца назад (2020-07-31)
Репозиторий
Отредактируйте это в Викиданных
Написано вИдти (TiDB), Ржавчина (TiKV)
Доступно вАнглийский, китайский
ТипNewSQL
ЛицензияApache 2.0
Интернет сайтhttps://pingcap.com

TiDB (/ ’Taɪdiːbi: /,« Ti »означает« титан ») - проект с открытым исходным кодом. NewSQL база данных, поддерживающая гибридную транзакционную и аналитическую обработку (HTAP ) рабочие нагрузки.[3] это MySQL совместимы и могут обеспечивать горизонтальную масштабируемость, согласованность и высокую доступность. Он разработан и поддерживается в первую очередь PingCAP, Inc. и под лицензией Apache 2.0. Первоначальный дизайн TiDB вдохновил Google Spanner.[4] и F1[5] документы.[6]

TiDB был признан InfoWorld 2018 Bossie Award как одно из лучших программ с открытым исходным кодом для хранения данных и аналитики.[7]

История

История компании

PingCAP Inc., компания-разработчик программного обеспечения, основанная в апреле 2015 года, приступила к разработке TiDB сразу после своего основания. Компания является основным разработчиком, сопровождающим и драйвером TiDB и связанных с ней сообществ разработчиков ПО с открытым исходным кодом. PingCAP - это компания с венчурным капиталом; В сентябре 2018 года он объявил о финансировании раунда серии C в размере 50 миллионов долларов США.[8]

История выпуска

Увидеть все Примечания к выпуску TiDB.

Основные особенности

Горизонтальная масштабируемость

TiDB может расширять как обработку SQL, так и емкость хранилища, добавляя новые узлы. Это упрощает масштабирование емкости инфраструктуры и делает ее более гибкой по сравнению с традиционными. реляционные базы данных которые масштабируются только по вертикали.

Совместимость с MySQL

TiDB действует как MySQL 5.7 сервер для приложений. Пользователь может продолжать использовать все существующие клиентские библиотеки MySQL.[9] Поскольку уровень обработки SQL в TiDB создается с нуля, а не на вилке MySQL, его совместимость не на 100%, и существуют известные различия в поведении MySQL и TiDB.[10]

Распределенные транзакции с высокой согласованностью

TiDB внутренне разделяет таблицу на небольшие блоки на основе диапазона, которые называются «регионами».[11] Каждый регион по умолчанию имеет размер примерно 100 МБ, а TiDB использует двухфазная фиксация внутренне, чтобы гарантировать, что регионы поддерживаются согласованно с транзакционной точки зрения.

Собственное облако

TiDB разработан для работы в облаке, чтобы сделать развертывание, подготовку, эксплуатацию и обслуживание гибкими. Слой хранения TiDB, названный TiKV, стал Фонд облачных вычислений (CNCF) в августе 2018 года как проект уровня Sandbox,[12] и стал проектом на уровне инкубации в мае 2019 года.[13] TiKV окончила CNCF в сентябре 2020 года.[14] Архитектура платформы TiDB также позволяет масштабировать обработку и хранение SQL независимо друг от друга.

HTAP в реальном времени

TiDB может поддерживать как онлайн-обработку транзакций (OLTP ) и онлайн-аналитическая обработка (OLAP ) рабочие нагрузки. TiDB имеет два механизма хранения: TiKV, rowstore, и TiFlash, columnstore. Данные могут быть реплицированы с TiKV на TiFlash в реальном времени, чтобы гарантировать, что TiFlash обрабатывает самые свежие данные.

Высокая доступность

TiDB использует Алгоритм консенсуса Raft[15] для обеспечения высокой доступности данных и их безопасной репликации по всему хранилищу в группах Raft. В случае сбоя группа Raft автоматически выберет нового лидера для отказавшего участника и самостоятельно исцелит кластер TiDB без какого-либо ручного вмешательства. Операции отказа и самовосстановления прозрачны для приложений.

Методы развертывания

Kubernetes с оператором

TiDB можно развернуть в Kubernetes -включение облачной среды с помощью оператора TiDB.[16] Оператор - это метод упаковки, развертывания и управления приложением Kubernetes. Он предназначен для выполнения рабочих нагрузок с отслеживанием состояния и впервые был представлен CoreOS в 2016 году.[17] Оператор TiDB[18] был первоначально разработан PingCAP и выпущен в открытый доступ в августе 2018 года.[19] TiDB Operator можно использовать для развертывания TiDB на ноутбуке[20], Облачная платформа Google Движок Google Kubernetes,[21], и Веб-сервисы Amazon ’Elastic Container Service для Kubernetes.[22]

TiUP

TiDB 4.0 представляет TiUP, инструмент для эксплуатации и обслуживания кластера. Он помогает пользователям быстро установить и настроить кластер TiDB с помощью нескольких команд.[23]

TiDB Ansible

TiDB можно развернуть с помощью Ansible с помощью книги воспроизведения TiDB Ansible (не рекомендуется).[24]

Докер

Докер может использоваться для развертывания TiDB в контейнерной среде на нескольких узлах и на нескольких машинах, а Docker Compose можно использовать для развертывания TiDB с помощью одной команды в целях тестирования.[25]

Инструменты

TiDB имеет ряд инструментов с открытым исходным кодом, построенных вокруг него, чтобы помочь с репликацией и миграцией данных для существующих MySQL и MariaDB пользователей.

Миграция данных TiDB (DM)

TiDB Data Migration (DM) подходит для репликации данных из уже сегментированных таблиц MySQL или MariaDB в TiDB.[26] Типичным вариантом использования DM является подключение таблиц MySQL или MariaDB к TiDB, обработка TiDB почти как подчиненная система, а затем непосредственное выполнение аналитических рабочих нагрузок на этом кластере TiDB почти в реальном времени.

Восстановления резервной копии

Backup & Restore (BR) - это инструмент для распределенного резервного копирования и восстановления данных кластера TiDB. Он предлагает высокую скорость резервного копирования и восстановления для крупномасштабных кластеров TiDB.[27]

Клецки

Dumpling - это инструмент экспорта данных, который экспортирует данные, хранящиеся в TiDB или MySQL. Это позволяет пользователям делать логические полные резервные копии или полные дампы из TiDB или MySQL.[28]

TiDB Lightning

TiDB Lightning - это инструмент, который поддерживает высокоскоростной полный импорт большого дампа MySQL в новый кластер TiDB, обеспечивая более быстрый импорт, чем выполнение каждого оператора SQL. Этот инструмент используется для быстрого заполнения изначально пустого кластера TiDB большим количеством данных, чтобы ускорить тестирование или производственную миграцию. Повышение скорости импорта достигается путем разбора операторов SQL на пары ключ-значение, а затем прямого создания файлов таблицы сортированных строк (SST) для RocksDB.[29][30]

Бинлог TiDB

TiDB Binlog - это инструмент, используемый для сбора логических изменений, внесенных в кластер TiDB. Он используется для обеспечения инкрементного резервного копирования и репликации либо между двумя кластерами TiDB, либо с кластера TiDB на другую платформу нижестоящего уровня.[31]

По функциям он похож на первичную-вторичную репликацию MySQL. Основное отличие состоит в том, что, поскольку TiDB - это распределенная база данных, бинлог, созданный каждым экземпляром TiDB, необходимо объединить и отсортировать в соответствии со временем фиксации транзакции, прежде чем использовать его в нисходящем направлении. [32]

Тематические исследования

В настоящее время TiDB используют около 1000 компаний, в том числе PayPay, Shopee, BookMyShow, Xiaomi, Жиху, Мэйтуань-Дяньпин, iQiyi, Чжуань Чжуань, Мобайк, Yiguo.com, ВНГ, JD Cloud и AI, Игры NetEase, и Yuanfudao.com.

Рекомендации

  1. ^ "Примечания к выпуску 1.0 GA".
  2. ^ «Примечания к выпуску TiDB».
  3. ^ Сюй, Кевин (17 октября 2018 г.). «Как TiDB объединяет OLTP и OLAP в распределенной базе данных». InfoWorld.
  4. ^ "Spanner: глобально распределенная база данных Google".
  5. ^ «F1: масштабируемая распределенная база данных SQL».
  6. ^ Холл, Сьюзен (17 апреля 2017 г.). «TiDB обеспечивает распределенную масштабируемость для SQL». Новый стек.
  7. ^ «Лучшее программное обеспечение с открытым исходным кодом для хранения данных и аналитики».
  8. ^ Шу, Екатерина (11 сентября 2018 г.). «Разработчик TiDB, PingCAP, хочет расширить свою деятельность в Северной Америке после привлечения $ 50 млн Series C». TechCrunch.
  9. ^ Токер, Морган (14 ноября 2018 г.). «Знакомьтесь, TiDB: база данных NewSQL с открытым исходным кодом». Opensource.com.
  10. ^ «Совместимость с MySQL». PingCAP.
  11. ^ «ТиКВ Архитектура». TiKV.
  12. ^ Эванс, Кристен (28 августа 2018 г.). «CNCF для размещения TiKV в песочнице». Фонд облачных вычислений.
  13. ^ CNCF (21 мая 2019 г.). «TOC голосует за перенос TiKV в инкубатор CNCF». Фонд облачных вычислений. Получено 19 августа, 2020.
  14. ^ Авторы TiKV (2 сентября 2020 г.). «Празднование выпуска TiKV в CNCF». TiKV.
  15. ^ «Алгоритм консенсуса Raft».
  16. ^ Джексон, Иоав (22 января 2019 г.). «Операторы баз данных приносят рабочие нагрузки с отслеживанием состояния в Kubernetes». Новый стек.
  17. ^ Филипс, Брэндон (3 ноября 2016 г.). «Знакомство с операторами: внедрение операционных знаний в программное обеспечение». CoreOS.
  18. ^ "Репозиторий оператора TiDB на GitHub". GitHub.
  19. ^ «Представляем Kubernetes Operator для TiDB». InfoWorld. 16 августа 2018.
  20. ^ «Разверните TiDB в Kubernetes на своем ноутбуке».
  21. ^ «Разверните TiDB, распределенную базу данных, совместимую с MySQL, в Kubernetes в Google Cloud».
  22. ^ «Разверните TiDB, распределенную базу данных, совместимую с MySQL, в Kubernetes через AWS EKS».
  23. ^ Лонг, Хэн (19 апреля 2020 г.). «Создайте кластер TiDB всего за одну минуту». PinCAP. Получено 19 августа, 2020.
  24. ^ «Пособие по Ansible для TiDB».
  25. ^ «Как развернуть базу данных HTAP за 5 минут с помощью TiDB + TiSpark».
  26. ^ "DM GitHub Repo". GitHub.
  27. ^ Шэнь, Тайнин (13 апреля 2020 г.). «Как создать резервную копию и восстановить кластер 10 ТБ со скоростью 1+ ГБ / с». PingCAP.
  28. ^ "Обзор пельменей". PingCAP.
  29. ^ Чан, Кенни (30 января 2019 г.). «Представляем TiDB Lightning». PingCAP.
  30. ^ «Обзор TiDB Lightning». PingCAP.
  31. ^ «Обзор кластера TiDB Binlog». PingCAP.
  32. ^ Ван, Сян (29 января 2019 г.). «Принципы развития и реализации архитектуры TiDB-Binlog». PingCAP.