Airbyte中文社区

    • 注册
    • 登录
    • 搜索
    • 版块
    • 最新
    • 标签
    • 热门
    • 用户
    • 群组
    • 达之云

    入湖入仓,数据传输管道。开源软件Airbyte中文社区

    微信号:AirbyteCN

    QQ群:114917858

    airbyte版本升级步骤

    操作指南
    1
    1
    609
    正在加载更多帖子
    • 从旧到新
    • 从新到旧
    • 最多赞同
    回复
    • 在新帖中回复
    登录后回复
    此主题已被删除。只有拥有主题管理权限的用户可以查看。
    • D
      dazdata 最后由 编辑

      总览

      本教程将描述如何确定您是否需要运行此升级过程,如果需要,如何执行。升级这个过程需要暂时关闭 Airbyte。
      当 Airbyte 升级时,它会尝试升级一些连接器版本。它遵循以下规则: 1. 如果未使用连接器,它将升级到最新版本 2. 如果使用连接器,则不会升级以避免中断工作流程。如果要升级连接器,请在 Web 应用程序的设置页面中执行此操作。

      是否应该升级

      Airbyte 会根据您在.env文件中定义的版本自动智能地执行升级,并将为您处理数据迁移。

      中继版本(低于v0.32.0-alpha-patch-1版本的,必须先升级到此版本)

      如果您当前的 airbyte 版本是 < v0.32.0-alpha-patch-1,您首先需要升级到这个版本,然后再升级到任何更高版本。

      原因是在v0.32.0-alpha-patch-1中做了一些breaking changes,无法直接升级。要升级到 v0.32.0-alpha-patch-1,请按照以下部分中的步骤操作,但将docker pull或wget命令替换为以下内容:

      i. 如果你的 Airbyte 部署目录 clone 自 Airbyte 的 github repo,可以使用以下命令切换到 v0.32.0-alpha-patch-1
      bash git checkout v0.32.0-alpha-patch-1
      ii. 如果你的 airbyte 部署目录没有关联 github repo,那么可以直接通过下面命令获取对应的 docker-compsoe 配置文件和环境变量配置。
      wget -N https://raw.githubusercontent.com/airbytehq/airbyte/v0.32.0-alpha-patch-1/{.env,docker-compose.yaml}
      如果您使用了自定义连接器,则此升级要求您的所有连接器类型都可以被当前版本的Airbyte检索到,否则 Airbyte 将在启动时失败。对于无法检索到类型这种情况,必须要在升级之前解决掉。或者,您可以通过将环境变量VERSION_0_32_0_FORCE_UPGRADE设置为 true ,这样在升级时 Airbyte 将删除这些无法检索到的自定义连接器,以及在它们之上构建的任何管道。

      Docker环境升级

      1. 打开一个终端,cd 到 airbyte 目录然后,关闭 airbyte

        docker-compose down
        
      2. 将docker实例升级到新的版本
        i. 如果你的 airbyte 部署目录 clone 自 Airbyte 的 github repo,可以使用 git pull 获取最新的 docker-compose 配置文件和环境变量配置。

        ii. 如果你的 airbyte 部署目录没有关联 github repo,那么可以直接通过下面命令获取最新的 docker-compsoe 配置文件和环境变量配置。

        wget -N https://raw.githubusercontent.com/airbytehq/airbyte/master/{.env,docker-compose.yaml} 
        
      3. 重新拉起airbyte

        docker-compose up
        

      重置配置

      如果您之前不是从 Airbyte monorepo 的目录启动 Airbyte,由于很多默认配置的缺失可能会在升级过程中出现问题。为了解决这个问题,我们需要全局删除这些丢失的 Airbyte 配置。你可以用 docker volume rm $(docker volume ls -q | grep airbyte) 来做到这一点。
      注意(危险动作):这将会把你的airbyte 部署完全重置,您将丢失所有的数据

      k8s环境升级

      1. 登录到k8s控制节点,打开终端,执行下列命令关闭airbyte

        kubectl delete deployments airbyte-db airbyte-worker airbyte-server airbyte-temporal airbyte-webapp --namespace=<yournamespace or default>
        
      2. 升级airbyte

        i. 如果你的 airbyte 部署目录 clone 自 Airbyte 的 github repo,可以使用 git pull 获取最新的资源配置文件。

        ii. 执行下列命令重新拉起 airbyte 服务

        kubectl apply -k kube/overlays/stable
        

        iii. 您可以通过执行 kubectl get pods | grep airbyte 获取新pod的状态,当所有就绪后就升级完成。升级耗时取决于用户的网络。

      1 条回复 最后回复 回复 引用 0
      • First post
        Last post