产品展示

华为云产品中心

基于丰富的华为云基础服务,提供适用于各行业的、预集成的产品与能力的组合,以满足企业ICT业务上云的需求

服务咨询
MapReduce服务 MRS

大数据服务

  • 资源: 北京、上海、广州、贵阳、香港、曼谷、新加坡、利马、墨西哥城 …
  • 名称 MapReduce服务 MRS
  • 配置
  • 渠道 华为云授权销售支持中心 · 呼和浩特市大旗网络有限公司
  • 数量 (库存:0)
  • MapReduce服务 MRS

什么是MRS

大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题华为云服务器

针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。

MRS架构包括了基础设施和大数据处理流程各个阶段的能力。

  • 基础设施

    MRS基于华为云弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力华为云计算
    • 虚拟私有云(VPC)为每个租户提供的虚拟内部网络,默认与其他网络隔离。

    • 云硬盘(EVS)提供高可靠、高性能的存储。

    • 弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。

  • 华为云存储

  • 数据集成

    数据集成层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消息队列),支持各种数据源导入数据到大数据集群中。

  • 数据存储

    MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。

    • HDFS是大数据上通用的分布式文件系统。

    • OBS是对象存储服务,具有高可用低成本的特点。

    • HBase支持带索引的数据存储,适合高性能基于索引查询的场景华为云存储

  • 数据计算

    MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spark(内存计算)、SparkStreaming(微批流计算)、Storm(流计算)、Flink(流计算),满足多种大数据应用场景,将数据进行结构和逻辑的转换,转化成满足业务目标的数据模型。

  • 数据分析

    基于预设的数据模型,使用易用SQL的数据分析,用户可以选择Hive(数据仓库),SparkSQL以及Presto交互式查询引擎。

  • 数据呈现调度

    用于数据分析结果的呈现,并与数据湖工厂(DLF)集成,提供的大数据协同开发平台,帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

  • 集群管理

    以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。

    MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理,以及对上述数据处理各层组件的运维,并提供监控、告警、配置、补丁升级等运维能力。



  • 网站应用
上一篇:云数据仓库 GaussDB(DWS)2021-12-22
下一篇:没有了
立即注册   享受8折优惠
立即注册