在 Kubeflow 上使用昇思 MindSpore 的实用指南

by Canonical on 21 March 2023

Gartner 在 2022 年发布的关于重要技术趋势的报告中表示，AI 工程将在不久的将来担纲重任。AI 工程主要由三种核心技术构成：DataOps、MLOps 和 DevOps。其主要目的是开发能够快速、持续提供商业价值的 AI 模型，如支持跨职能协作、自动化、数据分析以及机器学习的模型。AI 工程能够缩短开发和应用部署流程。

什么是 Kubeflow？

Charmed Kubeflow 是一个端对端的 MLOps 生产级平台，可将数据科学工作流中的步骤转译为 Kubernetes 作业。它是 Kubeflow 上游项目的一个官方发行版本。数据科学家和机器学习工程师可以利用它从简单、便携、可扩展的 ML 部署中获益匪浅。从使用 Notebooks 开展实验，到使用 Kubeflow Pipelines 进行训练或使用 Katib 进行调参，其功能覆盖范围极其广泛。

深入了解什么是 Kubeflow

什么是昇思 MindSpore？

华为开源自研 AI 框架 MindSpore 是为深度学习、训练和推理而搭建的，适用于边缘、移动和云场景。它实现了基于源码变换的自动微分。这是一种从函数编程框架演变而来的技术，支持自动控制流。

深入了解 Mindspore

为什么要集成 Kubeflow 和 Mindspore？

Charmed Kubeflow 是一个 MLOps 平台，由各种开源组件构成。Jupyter Notebooks 是本地工具之一。与 AI 框架集成使数据科学家和机器学习工程师能够受益于先进的训练功能和成本模型拆分策略。它结合了数据并行、模型并行和以及混合并行。另外，由于得益于自动微分、自动并行和优化计算，它不仅具备在流水线、深度图和设备层面的执行效率，还具有开发友好性。

综上所述，Charmed Kubeflow 和 MindSpore 之间的集成突显了 MLOps 生态系统的日益增长，而 Canonical 正致力于搭建该生态系统。尤其是在处理数据过程中，切换各种工具，实属是一大挑战。因此，Charmed Kubeflow 旨在通过创建可本地访问各种 AI/ML 工具的环境，来解决该问题。

访问 Charmed Kubeflow

如果您尚未部署 Charmed Kubeflow，请按照快速入门指南中的说明进行部署。温馨提醒您，您需要运行 Ubuntu 20.04 或更高版本，并确保至少 32 GB 的内存空间和 50 GB 的磁盘空间。在应用部署过程中，将

安装 MicroK8s
安装 Juju
部署 Charmed Kubeflow

Charmd Kubeflow 部署完成后，所有 Kubeflow 组件将处于激活状态，请按照以下指示操作。

juju refresh jupyter-ui --channel=latest/edge

该步骤将 jupyter-ui 升级至最新版本，因此它包含了 MindSpore 的 Notebook 图像。

配置 Charmed Kubeflow

Kubeflow 安装完成后，需要进行简单的配置以便访问它。首次配置请访问该地址：

juju config dex-auth public-url=http://10.64.140.43.nip.io

juju config oidc-gatekeeper public-url=http://10.64.140.43.nip.io

然后配置访问用户名和密码：

juju config dex-auth static-username=admin

juju config dex-auth static-password=ucantseeme

接下来，在浏览器中输入 http://10.64.140.43.nip.io，并输入刚才设置的用户密码。可看见完整的 Kubeflow 控制面板。

运行支持 MindSpore 的 Notebook

为了在 Charmed Kubeflow 中访问 MindSpore，则需使用本地支持的 Notebook。从 Charmed Kubeflow 控制面板的 Notebook 选项卡上，选择创建 Notebook，输入 Notebook 名称 MindSpore，为图像选择 jupyterlab，使用列表中的 mindspore/jupyter-mindspore，分配合适的 CPU 和内容资源，点击创建。

在 Notebook 界面，可看见创建即将完成的提示。

点击连接，即可以新的浏览器标签页打开 Notebook。点击此处即可使用 MindSpore 官方网站上的现有 Notebook，并通过 Notebook 页面上传手写数字识别 Notebook。

点击执行，即可发现 Notebook 会直接运行，而无需额外安装 MindSpore 和 Vision 套件。

启动首个项目

只要在 Charmed Kubeflow 的 Notebook 中本地启用 MindSpore 图像，便可开始启动 AI/ML 项目。尽管 MindSpore 旨在支持广泛的使用情景，但计算机视觉可能会是一个有趣的示例。

深入了解 Charmed Kubeflow 和 MindSpore

查看更多内容

本地 AI 部署：您应当了解的相关信息

企业组织正在重塑自身的数字战略，而 AI 是这些变化的核心，许多项目如今已准备好在生产环境中运行。企业通常在公共云上启动这些 AI 项目，因为这样可以最大限度地减少硬件负担。然而，随着项目规模的扩大，出于成本、数字主权或合规性要求等原因，企业组织往往希望迁移本地工作负载。在自身的基础架构上运行 AI 有很多明显的益处，但同时也带来了基础架构和 MLOps 专家需要考虑的一些重大挑战。 MLOps 是以可重复和可再现方式运行 AI 工作负载的推动者。MLOps 平台，如 Charmed Kubeflow，是在 Kubernetes 上运行的云原生应用程序。在本地构建这样的架构有助于企业组织轻松部署、管理和扩展其 AI 应用程序。本地 AI 部署的优点在构建自身的 AI […]

Charmed MongoDB 全面上市

Canonical 发布 MongoDB® 企业版解决方案 Charmed MongoDB，其提供先进的自动化功能、多云功能和全面的支持 MongoDB® 是全球使用最广泛的数据库之一。它提供强大的扩展、协调和容错功能，成为了各种规模和各个行业企业组织的热门之选。Charmed MongoDB 是 MongoDB® 社区版的企业直接替代版，具有企业组织在其生产环境中需要用到的高级功能。 Canonical 产品副总裁 Cedric Gegout 称：“Charmed MongoDB 是我们开源数据解决方案产品组合中的一员，旨在满足现代部署的需求。”“企业组织可以放心地部署 Charmed MongoDB，他们知道 Canonical 会提供在任何云环境中的性能承诺以及长达 […]

Edge Computing Examples

您应当知道的 5 个边缘计算示例在日新月异的科技世界中，创新是保持领先地位的关键。在企业追求效率、速度和实时数据处理能力的趋势下，人们越来越关注边缘计算。边缘计算代表了数据处理和分析方式的范式转变。与将数据处理集中在远程数据中心的传统云计算不同，边缘计算是将数据处理带到了更接近数据源的地方。这样不仅减少了延迟，而且为各行各业开辟了一个充满可能性的世界。我很高兴通过本篇博客跟大家一起来探讨这项尖端技术的示例及各种应用和用例，文中将特别着重于探讨 Canonical 的 MicroCloud 如何无缝地适应这一转变格局。各行各业边缘计算示例智慧城市和城市规划边缘计算在智慧城市的发展中起着至关重要的作用。通过在整个城市环境中部署传感器、摄像头等边缘设备，数据可以就 […]