订阅RSS：

分类：大数据

大数据ETL技术中对数据进行局部哈希对比优化对比速度

在上一篇文章中我们通过对每条数据的所有字段进行了哈希摘要，将几十个字段摘要成了一串哈希值，加快的我们的对比速度，但这只是将字段进行了压缩，数据的数量还是没有被压缩，如果有几十亿条数据，我们还是不能快速的找到变化的数据。

数据仓库的概念（四）：全量表、增量表、拉链表、流水表、快照表

上一篇文章我们了解了事实表、维度表和星型模型、雪花模型，除了这些在行业中还有一些专业名词需要了解，本篇文章将带你了解大数据行业“黑话”全量表、增量表、拉链表、流水表、快照表都是什么。可能下面的一些内容理解不了，等到搞 hive 的时候就知道了，先了解一下基本的知识。

进入阅读

数据仓库的概念（三）：数据模型设计事实表、维度表、星型模型、雪花模型

在上一篇数据仓库分层设计中，我们还提到了各个层除了原始表还进行了一些加工，在加工的时候还提到了事实表、维度表，本文带你粗略的理解一下事实表、维度表，数据模型中的星型模型、雪花模型。

进入阅读

数据仓库的概念（二）：数据仓库的分层设计

随着数据随时间流入我们的数据仓库以后，数据的种类和数量将越来越庞大，如果不加以治理和设计，我们查询取用数据时将遇到很大的问题，所以就需要对数据仓库进行设计，让数据分门别类的放到自己应该去的地方，方便我们日后随时调用查取。

进入阅读

数据仓库的概念（一）：什么是数据仓库与数据库有什么不同

本文作为开启大数据技术入门级系列教程首篇文章，我们使用的任何大数据组件和工具其实都是在解决数据的问题，而数据就需要通过数据仓库存取，无论你使用什么样的技术架构都离不开数据仓库，所以第一篇文章先了解一下什么是数据仓库，以及数据仓库和数据库有什么区别。

进入阅读

大数据技术入门级系列教程

包括大数据数据仓库的概念、Hadoop入门教程、Zookeeper入门教程、Hive入门教程、Flume入门教程、Kafka入门教程、Hbase入门教程、Sqoop入门教程、Oozie入门教程、azkaban入门教程、Kylin入门教程、CDH入门教程、Impala入门教程、Hue入门教程、ClickHouse入门教程、Kettle入门教程、Ambari入门教程、ELK入门教程、Scala入门教程、Flink入门教程

进入阅读

大数据ETL技术中的数据抽取方法

说到大数据仓库技术，不得不提ETL，ETL一词较常用在数据仓库，但其对象并不限于数据仓库。可以说是非常重要的一个环节，简单介绍一下ETL数据抽取比对的方法。

进入阅读

博文分类

热评文章

热文排行