Kubeflow - Kubeflow

Kubeflow
Kubeflow-logo.png
Разработчики)Google
изначальный выпуск28 марта 2018 г.; 2 года назад (2018-03-28)
Стабильный выпуск
1.1[1] / 31 июля 2020 г.; 4 месяца назад (2020-07-31)
Репозиторийgithub.com/ kubeflow/ kubeflow
ПлатформаLinux, Windows, MacOS
ЛицензияЛицензия Apache 2.0
Интернет сайтwww.kubeflow.org

Kubeflow это свободный и Открытый исходный код платформа машинного обучения, позволяющая использовать конвейеры машинного обучения для организации сложных рабочих процессов, выполняемых на Kubernetes (например, выполняя обработку данных, затем используя TensorFlow или же PyTorch для обучения модели и развертывания в Обслуживание TensorFlow ). Kubeflow был основан на внутреннем методе Google для развертывания моделей TensorFlow под названием TensorFlow Extended.[2]

Обзор Kubeflow

Kubeflow - это бесплатный проект с открытым исходным кодом, предназначенный для запуска Машинное обучение рабочие процессы на Kubernetes кластеры проще и согласованнее. Это Cloud-Native рамки для использования машинного обучения в контейнерный среды в Kubernetes. Интеграция и расширение Kubeflow с Kubernetes стали бесшовными, и Kubeflow был разработан для работы везде, где работает Kubernetes:[3] на месте, GCP, AWS, Лазурь, так далее.

Kubeflow начинался как внутренний проект Google[4] как более простой и легкий способ запустить TensorFlow вакансии в Kubernetes, специально основанные на TensorFlow Extended трубопровод. Инженеры с открытым исходным кодом Google Дэвид Арончик, Джереми Леви и Вишну Каннан стали соучредителями проекта Kubeflow и после его первоначального выпуска на Kubecon [5] такие компании как Google, Аррикто, Cisco, IBM, Красная шляпа, CoreOS и CaiCloud начал публично вносить свой вклад в GitHub выпускная доска.

Что такое Kubeflow?

По своей сути Kubeflow предлагает сквозной Стек ML Набор инструментов оркестровки для использования Kubernetes в качестве способа развертывания, масштабирования и управления сложными системами.[6] Такие функции, как бег JupyterHub Серверы, позволяющие нескольким пользователям одновременно участвовать в проекте, стали бесценным активом Kubeflow. Детальное управление проектом и тщательный мониторинг / анализ указанного проекта являются первостепенными атрибутами в Kubeflow.

Специалисты по данным и инженеры теперь могут разработать полный конвейер, состоящий из сегментированных шагов. Эти сегментированные шаги в Kubeflow: слабо связанный компоненты конвейера машинного обучения, функция, не являющаяся основной для других фреймворков, позволяющая легко повторно использовать конвейеры и изменять их для других задач. Эта дополнительная гибкость может сэкономить неисчислимое количество рабочей силы, необходимой для разработки нового конвейера данных для каждого конкретного случая использования. Благодаря этому процессу Kubeflow стремится упростить развертывание Kubernetes, а также учитывать будущие потребности в переносимости и масштабируемости.

Дорожная карта Kubeflow

Kubeflow 1.0 был анонсирован 26 февраля 2020 года в блоге Kubeflow.[7] Релиз 1.0 доступен в общедоступном репозитории GitHub.[8] В частности, Kubeflow 1.0 был сфокусирован на стабилизации следующих основных компонентов Kubeflow: пользовательского интерфейса Kubeflow - центральной панели управления, контроллера ноутбука Jupyter и веб-приложения, оператора Tensorflow (TFJob) и оператора PyTorch для распределенного обучения, kfctl для развертывания и обновлений, контроллера профиля и пользовательского интерфейса для многопользовательское управление.

Kubeflow 1.1 был выпущен 30 июня 2020 года в блоге Kubeflow. [9] и доступен через общедоступный репозиторий GitHub.[10] Основное внимание в выпуске уделялось упрощению автоматизации ноутбуков с помощью операторов распределенного обучения Fairing and Kale, MXNet и XGBoost и многопользовательских конвейеров.

Рекомендации

  1. ^ Kubeflow 1.1 улучшает производительность, изоляцию и безопасность рабочих процессов машинного обучения, а также GitOps, 2020-07-31, получено 2020-08-16
  2. ^ «Кубэфлоу». Kubeflow. Получено 2019-06-18.
  3. ^ «Представляем Kubeflow - составной, портативный, масштабируемый стек машинного обучения, созданный для Kubernetes». kubernetes.io. Получено 2020-01-09.
  4. ^ «Кубэфлоу». Kubeflow. Получено 2020-01-09.
  5. ^ Хот-доги или нет - в масштабе с Kubernetes [I] - Виш Каннан и Дэвид Арончик, Google, получено 2019-12-20
  6. ^ https://www.slideshare.net/jwiegelmann/endtoend-machine-learning-stack
  7. ^ https://medium.com/kubeflow/kubeflow-1-0-cloud-native-ml-for-everyone-a3950202751
  8. ^ https://github.com/kubeflow/kubeflow/releases/tag/v1.0
  9. ^ https://blog.kubeflow.org/release/official/2020/07/31/kubeflow-1.1-blog-post.html
  10. ^ https://github.com/kubeflow/kubeflow/releases/tag/v1.1.0

внешняя ссылка