下午好,准备准备要上班了!
订阅RSS:

标签:编程

Hadoop入门教程(八):DataNode 工作原理

当 DataNode 启动后会向 NameNode 注册自己,并按周期(1小时)上报自己所有 Block 数据块信息。每3秒还会和 NameNode 传递心跳包,心跳包中包含了给 DataNode 的命令,如果超过10分钟没有收到 DataNode 的心跳,就认为该节点不可用。

进入阅读
Hadoop入门教程(七):HDFS 数据读写流程

上一篇我们已经可以通过编程的方式操作 HDFS 了,但这一切背后在Hadoop集群里发生了什么呢,本篇文章简单介绍一下 HDFS 的读写流程。

进入阅读
开发创建自定义 NiFi Processor 的教程

本教程将带你创建一个自定义的 Apache NiFi Processor 项目,创建自己的处理器处理 FlowFile,本文的源代码在此处公开:https://github.com/renfei/demo/tree/master/nifi/nifi-custom-bundle

进入阅读
Hadoop入门教程(六):Hadoop API 使用编程的方式操作 HDFS

上一篇讲了使用 Shell 命令操作 HDFS,但实际中我们肯定不可能一直手动操作,还是需要通过编程实现自动化的,所以本文将带你熟悉一下使用 Java 编程控制 HDFS 中的文件。

进入阅读
Spring Boot 在 Jar 包中使用 getInputStream 获取文件流的验证

我之前写了一篇《SpringBoot项目打包成jar后读取文件的大坑,使用ClassPathResource获取classpath下文件失败》,发表在了我的博客和 CSDN 上。很久没登陆 CSDN 了,今天登陆进来发现两个网友的留言,都说是用我的方式 亲测,获取不到。

进入阅读
Hadoop入门教程(五):HDFS 分布式文件系统

HDFS是指 Hadoop Distributed File System,Hadoop分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。

进入阅读
Hadoop入门教程(四):Hadoop 完全分布式集群环境

上一篇我们尝试了伪分布式的安装搭建,但真正使用的是分布式集群,所以这才是重点,本文章将使用三个节点来安装最小的Hadoop集群,体验完全分布式的环境。

进入阅读
Hadoop入门教程(三):Hadoop 单节点本地运行与伪分布式

因为是入门学习,很多同学的电脑性能不具备集群环境的要求,我们先了解一下 Hadoop 单节点运行模式,以便您可以使用 Hadoop MapReduce和 Hadoop 分布式文件系统(HDFS)快速执行简单的操作。本节内容主要是带新手体验一下 Hadoop 的案例,相当于 Hello World 案例,揭开 Hadoop 神秘的面纱。

进入阅读
Hadoop入门教程(二):Hadoop 的安装教程

在开始我们的 Hadoop 之旅前,我们需要先学会安装 Hadoop ,在后面我们将使用多个 Hadoop 节点进行试验和学习,本文将带你安装 Hadoop,这是非常简单的。

进入阅读
HTTPS(SSL) 网站 使用 discuz-ucenter-api-for-java 的更新

随着互联网的发展越来越多的网站使用 https 加密连接来访问,其中 Discuz 的 UCenter 与 Java 交互的 discuz-ucenter-api-for-java 在使用 https 时却会出现问题,因为这个项目是十分古老的项目很久没有更新了,并不支持 https 的接口,所以我进行了更新。

进入阅读
使用 DBeaver 连接 达梦(DaMeng) 数据库 的教程

在新版的 DBeaver 中似乎不再支持 ODBC 连接,可能是因为 JDBC-ODBC 网桥已经从 Java 8 中移除。所以网络上的旧教程让使用 ODBC 连接就找不到了,现在给大家一个正确使用 DBeaver 连接 达梦(DaMeng) 数据库 的教程。

进入阅读
微信搜一搜:任霏博客