入湖入仓,数据传输管道。开源软件Airbyte中文社区
微信号:AirbyteCN
QQ群:114917858
airbyte版本升级步骤
-
总览
本教程将描述如何确定您是否需要运行此升级过程,如果需要,如何执行。升级这个过程需要暂时关闭 Airbyte。
当 Airbyte 升级时,它会尝试升级一些连接器版本。它遵循以下规则: 1. 如果未使用连接器,它将升级到最新版本 2. 如果使用连接器,则不会升级以避免中断工作流程。如果要升级连接器,请在 Web 应用程序的设置页面中执行此操作。是否应该升级
Airbyte 会根据您在.env文件中定义的版本自动智能地执行升级,并将为您处理数据迁移。
中继版本(低于v0.32.0-alpha-patch-1版本的,必须先升级到此版本)
如果您当前的 airbyte 版本是 < v0.32.0-alpha-patch-1,您首先需要升级到这个版本,然后再升级到任何更高版本。
原因是在v0.32.0-alpha-patch-1中做了一些breaking changes,无法直接升级。要升级到 v0.32.0-alpha-patch-1,请按照以下部分中的步骤操作,但将docker pull或wget命令替换为以下内容:
i. 如果你的 Airbyte 部署目录 clone 自 Airbyte 的 github repo,可以使用以下命令切换到 v0.32.0-alpha-patch-1
bash git checkout v0.32.0-alpha-patch-1
ii. 如果你的 airbyte 部署目录没有关联 github repo,那么可以直接通过下面命令获取对应的 docker-compsoe 配置文件和环境变量配置。
wget -N https://raw.githubusercontent.com/airbytehq/airbyte/v0.32.0-alpha-patch-1/{.env,docker-compose.yaml}
如果您使用了自定义连接器,则此升级要求您的所有连接器类型都可以被当前版本的Airbyte检索到,否则 Airbyte 将在启动时失败。对于无法检索到类型这种情况,必须要在升级之前解决掉。或者,您可以通过将环境变量VERSION_0_32_0_FORCE_UPGRADE设置为 true ,这样在升级时 Airbyte 将删除这些无法检索到的自定义连接器,以及在它们之上构建的任何管道。Docker环境升级
-
打开一个终端,cd 到 airbyte 目录然后,关闭 airbyte
docker-compose down
-
将docker实例升级到新的版本
i. 如果你的 airbyte 部署目录 clone 自 Airbyte 的 github repo,可以使用 git pull 获取最新的 docker-compose 配置文件和环境变量配置。ii. 如果你的 airbyte 部署目录没有关联 github repo,那么可以直接通过下面命令获取最新的 docker-compsoe 配置文件和环境变量配置。
wget -N https://raw.githubusercontent.com/airbytehq/airbyte/master/{.env,docker-compose.yaml}
-
重新拉起airbyte
docker-compose up
重置配置
如果您之前不是从 Airbyte monorepo 的目录启动 Airbyte,由于很多默认配置的缺失可能会在升级过程中出现问题。为了解决这个问题,我们需要全局删除这些丢失的 Airbyte 配置。你可以用 docker volume rm $(docker volume ls -q | grep airbyte) 来做到这一点。
注意(危险动作):这将会把你的airbyte 部署完全重置,您将丢失所有的数据k8s环境升级
-
登录到k8s控制节点,打开终端,执行下列命令关闭airbyte
kubectl delete deployments airbyte-db airbyte-worker airbyte-server airbyte-temporal airbyte-webapp --namespace=<yournamespace or default>
-
升级airbyte
i. 如果你的 airbyte 部署目录 clone 自 Airbyte 的 github repo,可以使用 git pull 获取最新的资源配置文件。
ii. 执行下列命令重新拉起 airbyte 服务
kubectl apply -k kube/overlays/stable
iii. 您可以通过执行 kubectl get pods | grep airbyte 获取新pod的状态,当所有就绪后就升级完成。升级耗时取决于用户的网络。
-