产品展示

华为云产品中心

基于丰富的华为云基础服务,提供适用于各行业的、预集成的产品与能力的组合,以满足企业ICT业务上云的需求

服务咨询
云数据迁移 CDM

数据迁移服务

  • 资源: 北京、上海、广州、贵阳、香港、曼谷、新加坡、利马、墨西哥城 …
  • 名称 云数据迁移 CDM
  • 配置
  • 渠道 华为云授权销售支持中心 · 呼和浩特市大旗网络有限公司
  • 数量 (库存:0)
  • 云数据迁移 CDM

什么是云数据迁移

产品定义

云数据迁移(Cloud Data Migration, 简称CDM),是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。

在数据湖治理中心(Data Lake Governance Center,后简称DGC)服务中,CDM作为其中的“批量数据迁移”组件使用,产品能力与独立的CDM服务保持一致。因此,后文中的“云数据迁移”、“批量数据迁移”均指CDM服务。

CDM服务基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。华为云服务器

产品功能

  • 表/文件/整库迁移

    支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。

  • 增量数据迁移

    支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。

  • 事务模式迁移

    支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。

  • 字段转换

    支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。

  • 文件加密

    在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。

  • MD5校验一致性

    支持使用MD5校验,检查端到端文件的一致性,并输出校验结果。

  • 脏数据归档

    支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中,便于用户查看。并支持设置脏数据比例阈值,来决定任务是否成功。华为云计算

  • 华为云存储

基本概念

连接

连接是用户基于连接器创建的用于连接某个具体数据源的对象。

创建连接时需要指定连接的名称、连接器类型,以及数据源的地址、鉴权信息,例如连接到MySQL数据库需要主机地址、端口号、用户名、密码等配置信息。

一个连接被创建后可以被多个作业引用,且既可以作为源连接,也可以作为目的连接。华为云存储

AM用户

由账号在IAM中创建的用户,类似于子账号,具有身份凭证(密码和访问密钥),可以使用自己单独的用户名和密码通过控制台或者API访问云服务。IAM用户根据账号授予的权限,帮助账号管理资源。IAM用户不拥有资源,不进行独立的计费,这些IAM用户的权限和资源由所属账号统一控制和付费。IAM用户在登录控制台登录时,使用“IAM用户登录”方式登录。

账号

当您首次登录云时注册的账号,该账号是您的云资源归属、资源使用计费的主体,对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、创建IAM用户、分配IAM用户权限等。账号统一接收所有IAM用户进行资源操作时产生的费用账单。账号在登录控制台时,使用“账号登录”方式登录

用户组

用户组是IAM用户的集合,IAM用户需要加入特定用户组后,才具备对应的权限,否则他们无法访问您账号中的任何资源或是云服务。一个IAM用户可以加入多个用户组,以获得不同的权限。

“admin”为系统缺省提供的用户组,具有所有云服务资源的操作权限,将IAM用户加入该用户组后,可以操作并使用所有云资源,包括但不限于创建用户组及IAM用户、修改用户组权限、管理云资源等。

策略与授权

策略是以JSON格式描述一组权限集的语言,它可以精确地描述被授权的资源集和操作集。包括系统策略和自定义策略两种:

  • 系统策略是IAM预置的策略,您可以使用但不能修改。

  • 若系统策略不满足授权要求,您可以创建自定义策略,自由搭配需要授予的权限集。

通过给用户组授予策略(包括系统策略和自定义策略),用户组中的IAM用户就能获得策略中定义的权限,这一过程称为授权。


  • 网站应用
上一篇:没有了
下一篇:对象存储迁移服务 OMS2021-12-24
立即注册   享受8折优惠
立即注册