导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:359
阅读量:2036439
访问量:246745
至今:
×
博文->>搜索结果(耗时0.021秒) 博文列表>>
Tags : HDFS,架构,Hadoop 发表时间: 2021-10-24 18:29:16
IntroductionAssumptionsandGoalsHardwareFailureStreamingDataAccessLargeDataSetsSimpleCoherencyModel“MovingComputationisCheaperthanMovingData”PortabilityAcrossHeterogeneousHardwareandSoftwarePlatformsNameNodeandDataNodesTheFileSystemNamespaceDataReplicationReplicaPlacement:TheFirstBabyStepsReplicaSele
类别:大数据 | 阅读(560)| 回复(0)| (1) 阅读全文>>
Tags : 大数据,Hadoop。数据挖掘 发表时间: 2018-11-04 00:23:19
读了《Hadoop大数据挖掘从入门到进阶实战》这本书,进行了一点勘误和建议:1、MapReduce可以简单介绍下其思想或计算模型2、HBase介绍到关于列数据库时,可以介绍下列数据库,以及和行数据库的区别3、故障转移时,会出现的问题可以描述下及其框架处理的方法4、93页,Drill拼写少了一个l5、155页,dns3错写为d36、210页,核实路径是否存在,这里的命令下的路径与异常的地方的路径不一致,感觉一致可能更好或者再多加一句描述。7、245页,图8-17应该是错误,是图忘画还是指定的是图8-16?8、257页,唯一表示应该是唯一标识。9、298页,下面图10-13应该是图10-16。10
类别:苏说 | 阅读(2292)| 回复(0)| (0) 阅读全文>>
Tags : Eclipse,hadoop 发表时间: 2017-09-17 05:06:48
Retryingconnecttoserver:localhost/127.0.0.1:8020.Alreadytried1time(s)14/11/3018:28:22INFOjvm.JvmMetrics:InitializingJVMMetricswithprocessName=JobTracker,sessionId=14/11/3018:28:22WARNmapred.JobClient:UseGenericOptionsParserforparsingthearguments.ApplicationsshouldimplementToolforthesame.14/11/3018:2
类别:大数据 | 阅读(4408)| 回复(0)| (1) 阅读全文>>
Tags : Hadoop 发表时间: 2017-09-17 04:18:18
下文中没有特殊说明,环境都是CentOS下Hadoop2.2.0。1、伪分布模式下执行start-dfs.sh脚本启动HDFS时出现如下错误:vi打开libexec/hadoop-config.sh中,查找JAVA_HOMEisnotsetandcouldnotbefound,找到后在这一行if[[-z$JAVA_HOME]];then的前面添加如下语句即可:exportJAVA_HOME=/usr/javak1.7.0_45保存后,重新执行start-dfs.sh脚本,然后执行jps就能看到NameNode、DataNode等你想看到的东西了:2、执行start-dfs.sh脚本启动Hado
类别:大数据 | 阅读(2672)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop,Eclipse 发表时间: 2017-09-17 04:15:52
在Windows下连接虚拟机CentOS64位系统上的Hadoop进行开发,运行程序出现下面的异常:14/11/3022:14:51INFOjvm.JvmMetrics:InitializingJVMMetricswithprocessName=JobTracker,sessionId=14/11/3022:15:24WARNmapred.JobClient:UseGenericOptionsParserforparsingthearguments.ApplicationsshouldimplementToolforthesame.Exceptioninthread"main"java.io.
类别:大数据 | 阅读(3844)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop,Eclipse 发表时间: 2017-09-17 04:12:31
Hadoop版本是最老的版本:hadoop-0.20.2首先在MyEclipse/Eclipse中将hadoop安装包下的Eclipse插件添加到其dropins文件夹下即可完成插件的整合。解决:1、下载正确的插件:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar2、重命名:将下载的插件重命名为"hadoop-0.20.2-eclipse-plugin.jar"3、替换原来的插件。4、重启eclipse
类别:大数据 | 阅读(2079)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop,NameNode 发表时间: 2017-09-17 04:09:23
14/11/3021:04:37INFOjvm.JvmMetrics:InitializingJVMMetricswithprocessName=JobTracker,sessionId=14/11/3021:04:37WARNmapred.JobClient:UseGenericOptionsParserforparsingthearguments.ApplicationsshouldimplementToolforthesame.Eannotdelete/tmp/hadoop-root/mapred/system/job_local_0001.Namenodeisinsafemode.Th
类别:大数据 | 阅读(2137)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop,JPS 发表时间: 2015-06-14 18:59:56
Hadoop集群启动之后,使用JPS查看与Hadoop相关Java进程时出现:4791--processinformationunavailableJPS191--processinformationunavailable解决办法:进入tmp目录cd/tmp删除该目录下,名称为hsperfdata_{username}的文件夹rm-rfhsperfdata*再次查看,则不会有这些了信息了。总结:我个人觉得可能是Java进程已经启动了,但是我用JPS查看的时候,系统显示说我需要安装JDK,Ubuntu下命令:apt-getinstallopenjdk-7-jdk这个时候,我已经安装好JDK,再次
类别:大数据 | 阅读(3025)| 回复(0)| (19) 阅读全文>>
Tags : Hadoop,DataNode 发表时间: 2015-06-14 16:59:09
使用start-all.sh启动Hadoop集群,发现DataNode这进程没启动,就查看日志:hadoop-root-datanode-主机名.log中有如下错误:ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException:IncompatiblenamespaceIDsin导致datanode启动不了。原因:每次namenodeformat会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致
类别:大数据 | 阅读(1899)| 回复(0)| (0) 阅读全文>>
Tags : Hadoop ,Mapreduce,Child Error 发表时间: 2015-06-13 00:33:25
集群出现大面积任务失败,表现为mapreduce刚启动不久,就抛出异常,查看log可以看到,Status:FAILEDjava.lang.Throwable:ChildErroratorg.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)Causedby:java.io.IOException:Taskprocessexitwithnonzerostatusof1.atorg.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)找了资料很长时间,经过了怀疑时钟同步有问题,
类别:大数据 | 阅读(1856)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,Zookeeper,开源Hadoop 发表时间: 2015-06-27 00:16:14
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的<TheChubbylockserviceforloosely-coupleddistributedsystems>论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/zookeeperStarted.html这个页面上的步骤完成安装,这里主
类别:开源 | 阅读(1433)| 回复(0)| (0) 阅读全文>>