导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:356
阅读量:1746121
访问量:218292
至今:
×
博文->>搜索结果(耗时0.018秒) 博文列表>>
Tags : hadoop,大数据,HDFS 发表时间: 2015-06-13 00:14:37
error:org.apache.oozie.action.ActionExecutorException:JA002:org.apache.hadoop.security.AccessControlException:Permissiondenied:user=xxj,access=WRITE,inode="user":hadoop:supergroup:rwxr-xr-x解决:addedthisentrytoconf/hdfs-site.xml<property><name>dfs.permissions</name><value>false
类别:大数据 | 阅读(1964)| 回复(0)| (0) 阅读全文>>
Tags : hadoop,大数据 发表时间: 2015-06-12 23:59:33
之前写好的一个Hadoop代码,昨天晚上执行时报错了,查了半天没查出来,网上的方法都试了还是不行,报错信息:2011-11-1711:11:26,821INFOorg.apache.hadoop.mapred.JvmManager:JVM:jvm_201111071540_0140_m_-855804511exited.Numberoftasksitran:12011-11-1711:11:26,992INFOorg.apache.hadoop.mapred.TaskTracker:attempt_201111071540_0140_m_000005_00.8166969%2011-11-17
类别:大数据 | 阅读(1637)| 回复(0)| (0) 阅读全文>>
Tags : hadoop,zookeeper,大数据 发表时间: 2015-05-02 13:19:31
在前面的文章里我多次提到zookeeper对于分布式系统开发的重要性,因此对zookeeper的学习是非常必要的。本篇博文主要是讲解zookeeper的安装和zookeeper的一些基本的应用,同时我还会教大家如何安装伪分布式,伪分布式不能在windows下实现,只能在linux下实现,我的伪分布式是通过电脑的虚拟机完成了,好了,不废话了,具体内容如下:  首先我们要下载一个zookeeper,下载地址是:  http://www.apache.org/dyn/closer.cgi/zookeeper/  一般我们会选择一个stable版(稳定版)进行下载,我下载的版本是zookeeper-3
类别:大数据 | 阅读(1662)| 回复(0)| (0) 阅读全文>>
Tags : jdbc,大数据 发表时间: 2014-12-12 22:40:17
什么是大数据内容?在数据库中,有一条一条的记录,记录中很多字段都是几个字符就够的,假如现在要把一部小说存入数据库,这本小说当然不是几个字符组成,而是由几万字组成,这本小说的数据我们就可以说是大数据,生活中当然有各种各样的大数据:电影,音乐,图片等等。。。大字符数据内容操作大字符内容:通常是指很长的字符类型的文件,例如小说,故事等等,内容有字符组成。下面说明一下MySQL与Oracle中的大数据类型数据种类数据大小MySQLOracle字符小char,varcharvarchar2大text/longtextclob字节大bit,blob,longblobblob1.把大字符数据存进数据库(把一
类别:DB | 阅读(1975)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,事务,大数据,一致性 发表时间: 2015-07-23 23:59:10
不想了,我等码农,还是看看怎么来处理分布式系统中的事务这个老大难吧!本文略长,读者需要有一定耐心,如果你是高级码农或者架构师级别,你可以跳过。本文注重实战或者实现,不涉及CAP,略提ACID。本文适合基础分布式程序员:本文会涉及集群中节点的failover和recover问题.本文会涉及事务及不透明事务的问题.本文会提到微博和tweeter,并引出一个大数据问题.由于分布式这个话题太大,事务这个话题也太大,我们从一个集群的一个小小节点开始谈起。集群中存活的节点与同步分布式系统中,如何判断一个节点(node)是否存活?kafka这样认为:此节点和zookeeper能喊话.(Keepsession
类别:编程开发 | 阅读(906)| 回复(0)| (0) 阅读全文>>
Tags : 大数据,ORM框架,开源,Gora 发表时间: 2015-06-07 00:04:02
1什么是ApacheGoraApacheGora是一个开源的ORM(Object/RelationMapping,对象关系映射)框架,主要为大数据提供内存数据模型与数据的持久化。目前Gora支持对于列数据、key-value数据,文档数据与RDBMS数据的存储,还支持使用ApacheHadoop来对对大数据进行分析。2为什么要使用ApacheGora虽然目前市面上有很多不错的关系数据库的ORM框架,但是基于数据模型的框架如JDO还是有一些不足,如对于列数据模型的存储与持久化。Gora正好弥补了这个问题,它能使用户很容易对大数据时行内存建模与持久化,而且支持Hadoop来对大数据进行分析。Gor
类别:开源 | 阅读(1414)| 回复(0)| (0) 阅读全文>>
Tags : 云计算,大数据,IT大会 发表时间: 2015-05-04 20:11:58
为了更好地推进云计算大数据的技术创新,展示国内外云计算大数据的产业成果,交流云计算大数据的应用经验,第七届中国云计算大会将于2015年6月3-5日北京国家会议中心举办。云计算是电子信息科技发展和信息社会需求到达一定阶段的必然结果,是现代社会信息量的激增、计算资源动态复用技术的发展以及宽带网络的普及等多方面共同作用的结果。经过8年的发展,云计算已经成为人们按需使用信息处理、信息存储、信息交互资源的重要模式,也是进行大数据处理和深度挖掘的重要平台。第七届中国云计算大会官网有关数据分析表明,2015年全球云计算市场预计可达1300亿美元,年增长率为20%左右。在巨大需求的刺激下,在学术界和产业界的不
类别:其它 | 阅读(1087)| 回复(0)| (0) 阅读全文>>
Tags : Zookeeper,Haddop,开源,大数据 发表时间: 2015-05-02 13:43:39
Zookeeper分布式服务框架是ApacheHadoop的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍Zookeeper的安装和配置文件中各个配置项的意义,以及分析Zookeeper的典型的应用场景(配置文件的管理、集群管理、同步锁、Leader选举、队列管理等),用Java实现它们并给出示例代码。安装和配置详解本文介绍的Zookeeper是以3.2.2这个稳定版本为基础,最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取,Zo
类别:开源 | 阅读(959)| 回复(0)| (0) 阅读全文>>
Tags : Java,面试,大数据,经验 发表时间: 2015-04-30 23:35:40
我投的岗位“软件研发工程师”。到了面试现场,选择了Java语言(有对应的面试官)。不过,后面进行了交叉面试,被推到了“数据研发”岗位。一面:首先,自我介绍。我:“我做过两个项目。写过几篇论文和专利。还参加过阿里巴巴大数据竞赛。同时,出于个人兴趣,我还阅读了一下HDFS的少部分源码,理解了一下HDFS的核心思想,实现了一个功能非常简单,并且还不完善的HDFS。”面试官1:“说一说你写的论文中的某一篇的创新点?”我:“我写的文章或者专利,主要遵循一个原则:将已有的理论或者模型应用到新的场景中。所以,都是偏向应用的。重点说说这篇论文吧。首先,从奇异值分解说起吧……”大概讲了几分钟后。面试官1打断我:
类别:面试/笔试 | 阅读(928)| 回复(0)| (0) 阅读全文>>