阿里云生态离线数仓

2023-12-13 05:50:38

1. 大数据开发治理平台 DataWorks

? ? ? ? 功能齐全:10多年大数据建设沉淀完整的平台,覆盖数据开发治理的全生命周期
? ? ? ? 简单易用:全图形化界面,SQL为主的数据开发方式
? ? ? ? 安全稳定:双11日千万级任务稳定调度,金融级数据安全保障
? ? ? ? 开放兼容:?支持多种大数据引擎绑定,开放OpenAPI
定制化对接能力

2.?大数据计算服务 MaxCompute

2.1 云原生,极致弹性,总体拥有成本低

????????云原生设计,无服务器架构,支持秒级弹性伸缩,快速实现大规模弹性负载需求
????????按作业计费,不使用不收费,相比自建 IDC 综合成本只需1/5

2.2 简单易用的多功能计算服务

????????预置多种计算模型和数据通道能力,开通即用
????????通过联合计算平台,支持多套引擎
????????联邦计算支持 Hadoop 数据源的融合计算

2.3 领先的智能化计算服务

????????智能化数据冷存,实现自动数据存储分级
????????智能计算优化,大幅降低人工调优成本

2.4 完善的企业级平台服务

????????承诺99.9%可用性 SLA
????????支持开放生态,提供企业级安全管理能力。与阿里云众多大数据服务无缝集成

3.?基于阿里云DataWorks&MaxCompute搭建数据仓库(离线)

阿里云产品简介类比开源框架
DataWorks大数据开发治理平台,存储DataX/Cana//DolphinScheduler
AirFlow/Azkaban/Atlas/Griffin
RDS关系型数据库,采集MySql
QuickBl可视化数据展示工具,展示Tableau、Echarts、Kibana
MaxCompute云原生大数据计算服务Hadoop+Hive+调度器

4. 数据仓库

数据仓库定义 (Data Warehouse)是为企业所有决策制定过程,提供所有系统数据支持的战略集合。
数据仓库VS传统数据库存储三大优势:
(1) 体量大,效率高
(2) 历史追查,时光回溯
(3) 数据可用性强

5.?系统数据流程设计

事实表:介绍业务流程本身,一个动作? -> 明细数据层
维度表:时间地点人物,表述业务流程的环境??-> 公共维度层

7.?DataWorks和MaxCompute

????????DataWorks基于阿里云MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

????????MaxCompute是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。
盘古:相当于Hadoop中的HDFS
伏羲:相当于Hadoop中的YARN
MaxCompute Engine:相当于MR、Tez等计算引擎
MaxCompute和DataWorks一起向用户提供完善的ETL和数仓管理能力,以及SQL、MR、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,保障数据安全。

?

?

?

文章来源:https://blog.csdn.net/weixin_42322991/article/details/134835793
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。