ODPS数据迁移指南

    xiaoxiao2026-04-09  7

    1. 背景调研

    1.1 ODPS源与目的集群

    调研项内容ODPS源集群版本 ODPS目的集群版本 ODPS源与目的是否在一个集群/可使用相同账号 ODPS源集群AccessKeyId ODPS源集群AccessKeySecret ODPS目的集群AccessKeyId ODPS目的集群AccessKeyIdSecret

    1.2 预迁移数据统计

    所属Project表名大小是否要迁移增量Project1Table1Desc查看表大小

    2. 工具选择与方案确定

    目前有四种方式可用于ODPS的数据迁移。

    如果源与目的ODPS在一个集群,或可使用相同账号,则推荐使用ODPS COPY TASK的方式进行迁移;如果表的数量少,可通过手动建立CDP任务的方式进行迁移;如果表的数量多,可通过调用Base CDP API接口的方式批量建立CDP任务,但目前此API接口还不成熟,和页面有较多关联;如果是不同集群,不同账号体系下的ODPS数据迁移,则采用使用Datax工具进行迁移,迁移所需的配置文件,可用脚本批量生成;

    3. 具体实施

    3.1 表(分区)结构迁移

    本部分操作,可通过调用ODPS的SQL来完成。具体可编写程序,调用ODPS SDK或ODPS cmd工具来进行。对预迁移的表,在源ODPS中获取表结构,根据表结构,在目标ODPS中批量运行组装好的建表语句,即可完成。

    3.1.1 要迁移的表名梳理

    根据1.2中调研结果,梳理出表名列表;此步骤,也可使用show tables语句获取表名,然后将临时表等不需要迁移的表名去除;

    3.1.2 生成DDL建表(分区)语句

    此步骤操作,在ODPS源端进行,可使用ODPS CMD工具。其配置文件位于config/odps_config.ini,配置项如下:

    project_name= access_id=<accessid> access_key=<accesskey> end_point=http://service.odps.aliyun.com/api

    这里注意,专有云环境下的end_point需要联系专有云管理人员获取。

    在Bash环境下,执行如下示例语句,导出表结构。请根据实际情况改写shell语句,例如读取表名列表文件等。这里的odps_config.ini.src是源端ODPS的配置文件。

    for table in tab1 tab2 tab3 do odpscmd --config=odps_config.ini.src -e "export table $table "|awk -F ':' '{print $2}' >>tab.ddl done

    3.1.3 建立对应表(分区)

    将ODPS CMD的配置文件配置成目的ODPS,然后执行如下实例语句。这里的odps_config.ini.dst是目的端ODPS的配置文件。

    odpscmd --config=odps_config.ini.dst -f tab.ddl

    3.2 数据迁移

    3.2.1 使用ODPS TASK COPY

    注意使用该工具的前提是在同一ODPS集群,或具有相同的账号。示例语句如下所示,请按照实际情况进行修改。

    for table in tab1 tab2 tab3 do odpscmd --config=odps_config.ini.dst -e "copy -d import -t proj_i.$table -url=http://src_odps_tunnel_endpoint/proj_p/$table -a" & done

    src_odps_tunnel_endpoint指源ODPS的tunnel endpoint,专有云环境下,请联系云管理人员获取。odps_config.ini.dst同上只目的端odps 的配置。Copy命令的解释如下,有助于帮助使用和理解该命令。

    copy [-a 或-o] -d [import 或 export] -url [TUNNEL 服务的 url 地址] -t [本地 ODPS 表名] -p [本地 ODPS 分区名] -e [远端 ODPS]; -a (追加模式)把数据附加到目标表已有数据之后 -o (覆盖模式)目标表已有数据被删除,新数据进入目标表 -d IMPORT或EXPORT。IMPORT表示数据从远端集群导入本地集群,EXPORT 表示数据从本地集群导入远端 集群 -url TUNNEL 服务的url地址,其中包含 Project 名,表名和分区名(如果是分区表的话) -t 本地ODPS集群的表名 -p 本地ODPS集群的分区名,如果该表没有分区,该选项被省略 -e 远端ODPS的访问点(end point) append(-a)和overwrite(-o)的语义很明确,不过tunnel其实是只支持append操作的,所以-o 命令只不过是帮你执行了一下alter table drop partition然后add partition的操作。-url 指定的是tunnel地址,分区表的写法http://odps_endpoint_tunnel/prj_name/table_name/month=1,day=1,不需要写引号,多级分区用逗号分隔。-t 可以写成project_name.table_name的名字-p 分区名称不需要写引号,多级分区逗号分隔-e 当前tunnel支持路由功能,copy task将使用-e指定的远端odps endpoint路由到对应的tunnel endpoint

    以下举个例子。从源ODPS的 project_a.table_a,分区是ds='ds1'/pt=‘pt1’,导入到目的生产的project_b.table_b,分区是ds='ds2'/pt='pt2',在目的生产的ODPS CMD上运行:

    copy -o -d import -url http://dt-all.ext.odps.aliyun-inc.com/project_a/table_a/ds=ds1,pt=pt1 -t project_b.table_b -p ds=ds2,pt=pt2 -e http://service-all.ext.odps.aliyun-inc.com/api;

    3.2.2 使用DataX工具

    本步骤利用DataX工具进行数据迁移,DataX是阿里巴巴集团内被广泛使用的离线数据同步工具。利用datax批量配置工具来生成对应的脚本和json文件。本步骤流程如下:

    进行环境的准备,本步骤需要在迁移机上安装odpscmd与datax工具,其中datax工具和datax批量工具需要python2.6及以上的运行环境;在datax批量工具的config.ini中进行相关配置,包括源与目的ODPS的accessID与key、odps及tunnel的endpoint、odpscmd与datax的路径等信息;在tables.ini中填写调试用到的表列表;运行python datax_tools.py生成对应的脚本和json配置文件;检查脚本与json配置文件;运行run_datax.py脚本,批量顺序执行datax任务;运行check_datax.py脚本,进行条数的检查;

    3.2.2.1 批量配置工具

    批量配置工具的流程如下:

    配置源与目的端的基础信息;读取并校验源与目的端的表结构和分区信息;根据校验结果,生成DataX所需的json文件;生成顺序运行Datax迁移命令的脚本文件;利用select count(*)的方式进行条数检查;

    代码示例详见Datax批量工具,可自行修改优化。

    3.2.2.2 DataX使用与调优

    本部分详见Datax的使用文档。

    最新回复(0)