关于更正《大数据ETL技术中的数据抽取方法》
原文中第一次对比求出了 CuB 和 CuA 两个补集，第二次拉取真实数据进行二次比对，根据在实际生产环境汇总应用时发现，在第二次比对中拉取原文数据是可以省略的，所以更正了上一篇文章的ETL操作步奏。
标签 全部文章
#开发
共 219 篇文章
更多文章
第 9 / 22 页-
-
数据库 MariaDB/MySQL 忽略大小写敏感设置（Linux下的Ubuntu环境）
数据库 MariaDB/MySQL 在 Linux 环境下会大小写敏感，这个时候表名字段名和写的SQL中大小写对不上就会报错，所以我们会先关闭大小写敏感。
-
Hadoop入门教程（一）：Hadoop 是什么 Hadoop 由什么组成
在上一大章节我们讲了大数据仓库的概念，我们了解了数仓的建设思想，接下来我们就开始让我们的思想慢慢变为现实，承载这一切的基础就是 Hadoop 生态圈中的各种大数据组件，慢慢形成我们的大数据仓库和平台。
-
SQL 语句中 Like 模糊查询基本语法介绍
在 SQL 语句中，LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。在实际使用中也是非常常见的查询方式，很多同学经常使用 % 百分号来进行模糊搜索，但其实还支持很多种查询模式。
-
大数据ETL技术中对数据进行局部哈希对比优化对比速度
在上一篇文章中我们通过对每条数据的所有字段进行了哈希摘要，将几十个字段摘要成了一串哈希值，加快的我们的对比速度，但这只是将字段进行了压缩，数据的数量还是没有被压缩，如果有几十亿条数据，我们还是不能快速的找到变化的数据。
-
数据仓库的概念（四）：全量表、增量表、拉链表、流水表、快照表
上一篇文章我们了解了事实表、维度表和星型模型、雪花模型，除了这些在行业中还有一些专业名词需要了解，本篇文章将带你了解大数据行业“黑话”全量表、增量表、拉链表、流水表、快照表都是什么。可能下面的一些内容理解不了，等到搞 hive 的时候就知道了，先了解一下基本的知识。
-
Linux、Unix、MacOS 存在 sudo 漏洞(CVE-2021-3156) 利用复现
这是 Sudo 工具中存在十年之久的漏洞，可能会授予任意本地用户对基于 Unix 的系统（包括 macOS Big Sur 和早期版本）进行根访问。可通过非法操作为任意本地用户授予 root 权限。用户要触发它，只需要重写 argv［0］或者创建一个符号链接。
-
数据仓库的概念（三）：数据模型设计事实表、维度表、星型模型、雪花模型
在上一篇数据仓库分层设计中，我们还提到了各个层除了原始表还进行了一些加工，在加工的时候还提到了事实表、维度表，本文带你粗略的理解一下事实表、维度表，数据模型中的星型模型、雪花模型。
-
数据仓库的概念（二）：数据仓库的分层设计
随着数据随时间流入我们的数据仓库以后，数据的种类和数量将越来越庞大，如果不加以治理和设计，我们查询取用数据时将遇到很大的问题，所以就需要对数据仓库进行设计，让数据分门别类的放到自己应该去的地方，方便我们日后随时调用查取。
-
数据仓库的概念（一）：什么是数据仓库与数据库有什么不同
本文作为开启大数据技术入门级系列教程首篇文章，我们使用的任何大数据组件和工具其实都是在解决数据的问题，而数据就需要通过数据仓库存取，无论你使用什么样的技术架构都离不开数据仓库，所以第一篇文章先了解一下什么是数据仓库，以及数据仓库和数据库有什么区别。
