路很长，又很短
博文->>大数据
博文列表>>
发表时间：2021-11-08 18:25:39
ES各大版本演进时间线：
视频版的可以移步B站同号——点击左下角 “阅读原文” 直达。
初始版本 0.7.0
2010年5月14日
Zen Discovery 自动发现模块
Groovy Client支持
简单的插件管理机制
更好支持ICU分词器
更多的管理API
icu_
发表时间：2021-10-24 18:24:30
蔡斌，资深Hadoop技术专家，基于Hadoop的开源项目X-RIME的作者之一。国内Hadoop应用和源代码研究领域的先驱之一，有10余年开发经验，先后任职于朗讯科技、IBM中国研究院等国内外知名企业，目前担任腾讯数据平台部的高级工程师，从事Hadoop相关技术的研究、应用和实施，实战经验非常丰富。对分布式计算、电信增值业务、网络管理等领域有深刻的认识和理解，拥有近10项发明专利，其中两项为美国专利，大部分与海量数据处理相关。近期关注海量数据的流式处理、Hadoop上的大数据应用与挖掘等。
陈湘萍，北京大学计算机系博士，目前就职于中山大学，专注于Hadoop、云计算、软件中间
发表时间：2021-10-24 18:29:16
Introduction
Assumptions and Goals
Hardware Failure
Streaming Data Access
Large Data Sets
Simple Coherency Model
“Moving Computation is Cheaper than Moving Data”
Portability Across Heterogeneous Hardware and Software Platforms
NameNode and DataNodes
The File System Namespa
发表时间：2017-11-06 21:09:33
1、客户端连接ZK出现下面的异常信息
2017-11-02 15:36:42,489 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@873] - Refusing session request for client /127.0.0.1:49912 as it has seen zxid 0x2a1 our last zxid is 0x0 client must try another server
2017-11-02 1
发表时间：2017-09-17 05:06:48
Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s)
14/11/30 18:28:22 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
14/11/30 18:28:22 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicatio
发表时间：2017-09-17 04:18:18
下文中没有特殊说明，环境都是CentOS下Hadoop 2.2.0。
1、伪分布模式下执行start-dfs.sh脚本启动HDFS时出现如下错误：
vi打开libexec/hadoop-config.sh中，查找JAVA_HOME is not set and could not be found，找到后在这一行if [[ -z $JAVA_HOME ]]; then的前面添加如下语句即可：
&
发表时间：2017-09-17 04:15:52
在Windows下连接虚拟机CentOS64位系统上的Hadoop进行开发，运行程序出现下面的异常：
14/11/30 22:14:51 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
14/11/30 22:15:24 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool fo
发表时间：2017-09-17 04:12:31
Hadoop版本是最老的版本：hadoop-0.20.2
首先在MyEclipse/Eclipse中将hadoop安装包下的Eclipse插件添加到其dropins文件夹下即可完成插件的整合。
解决:
1、下载正确的插件：https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
2、重命名：将下载的插件重命名为"hadoop-0.20.2-eclipse-plugin.jar"
3、替换原
发表时间：2017-09-17 04:09:23
14/11/30 21:04:37 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
14/11/30 21:04:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
Eannot delete /tmp/hadoop-
发表时间：2017-07-11 16:05:56
Zookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper，本文不谈如何使用zookeeper，而是zookeeper到底有哪些实际的运用，哪些类型的应用能发挥zookeeper的优势，最后谈谈zookeeper对分布式网站架构能产生怎样的作用。
Zookeeper是针对大型分布式系统的高可靠的协调系统。由这个定义我们知道zookeeper是个协调系统，作用的对象是分布式系统。为什么分布式系统需要一个协调系统了？理由如下：
开发分布式
发表时间：2017-02-22 21:16:31
概念
幂等性, Idempotence, 这个词来源自数学领域, 百科 上一元运算的幂等性解释如下： > 设 f 为一由 {x} 映射至 {x} 的一元运算, 则 f 为幂等的, 当对于所有在 {x} 内的 x: > f(f(x)) = f(x) > 特别的是，恒等函数一定是幂等的，且任一常数函数也都是幂等的。
幂等性衍生到软件工程中, 它的语义是指: 函数/接口可以使用相同的参数重复执行, 不应该影响系统状态, 也不会对系统造成改变 .
一个简答的例子: 查询接口 G
发表时间：2017-02-22 21:12:13
HBase 使用场景和成功案例
有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构，能够告诉你很多。因为HBase有许多公开的产品部署，我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。
注意：不要自我限制，认为HBase只能解决这些使用场景。它是一个初生的技术，根据使用场景进行创新正驱动着系统的发展。如果你有新想法，认为可以受益于HBase提供的功能，试试吧。社区很乐于帮助你，也会从你的经验中学习。这正是开源软件精神。
HBase仿效了G
发表时间：2015-06-14 18:59:56
Hadoop集群启动之后，使用JPS查看与Hadoop相关Java进程时出现：
4791 -- process information unavailable
JPS
191 -- process information unavailable
解决办法：
进入tmp目录
&
发表时间：2015-06-14 16:59:09
使用start-all.sh启动Hadoop集群，发现DataNode这进程没启动，就查看日志：
hadoop-root-datanode-主机名.log 中有如下错误：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。
原因:每次namenode format会重新创建一个name
发表时间：2015-06-13 00:33:25
集群出现大面积任务失败，表现为mapreduce刚启动不久，就抛出异常，查看log可以看到，
Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.map
