导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:356
阅读量:1746119
访问量:218291
至今:
×
博文->>搜索结果(耗时0.067秒) 博文列表>>
Tags : 分布式、数据结构、一致性 发表时间: 2019-12-24 00:00:25
点击上方蓝色字关注我们~分布式知识是我们每个开发人员都是应该掌握的,即使你已经有几年的开发经验,但是对于分布式系统接触却寥寥无几,是时候学习一下技能了。分布式系统应具有以下四个特征:(1)分布性。分布式系统由多台计算机组成,它们在地域上是分散的,可以散布在一个单位、一个城市、一个国家,甚至全球范围内。整个系统的功能是分散在各个节点上实现的,因而分布式系统具有数据处理的分布性。(2)自治性。分布式系统中的各个节点都包含自己的处理机和内存,各自具有独立的处理数据的功能。通常,彼此在地位上是平等的,无主次之分,既能自治地进行工作,又能利用共享的通信线路来传送信息,协调任务处理。(3)并行性。一个大的
类别:架构 | 阅读(885)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,网站架构,zookeeper 发表时间: 2017-07-11 16:05:56
  Zookeeper是hadoop的一个子项目,虽然源自hadoop,但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper,本文不谈如何使用zookeeper,而是zookeeper到底有哪些实际的运用,哪些类型的应用能发挥zookeeper的优势,最后谈谈zookeeper对分布式网站架构能产生怎样的作用。  Zookeeper是针对大型分布式系统的高可靠的协调系统。由这个定义我们知道zookeeper是个协调系统,作用的对象是分布式系统。为什么分布式系统需要一个协调系统了?理由如下:  开发分布式系统是件很困难的事情,其中的困难主
类别:大数据 | 阅读(1482)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,接口,幂等 发表时间: 2017-02-22 21:16:31
概念幂等性,Idempotence,这个词来源自数学领域,百科上一元运算的幂等性解释如下:>设f为一由{x}映射至{x}的一元运算,则f为幂等的,当对于所有在{x}内的x:>f(f(x))=f(x)>特别的是,恒等函数一定是幂等的,且任一常数函数也都是幂等的。幂等性衍生到软件工程中,它的语义是指:函数/接口可以使用相同的参数重复执行,不应该影响系统状态,也不会对系统造成改变.一个简答的例子:查询接口GetFoo(),不管调用多少次,都不会破坏当前的系统/内存,这就是一个幂等操作.当然,系统内部产生的日志这些细节不要在意.在HTTP/1.1规范中,幂等性有类似的明确定义:>
类别:大数据 | 阅读(2087)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,算法,snowflake,Twitter 发表时间: 2016-03-02 19:20:33
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移到Cassandra,因为Cassandra没有顺序ID生成机制,所以开发了这样一套全局唯一ID生成服务。结构snowflake的结构如下(每部分用-分开):0-00000000000000000000000000000000000000000-00000-
类别:Java | 阅读(1630)| 回复(0)| (0) 阅读全文>>
Tags : kafka,分布式,队列 发表时间: 2015-07-24 21:17:28
根据KaFka官网的quickstart步骤进行运行KaFka程序,但是当运行Step4:Sendsomemessages这个步骤出现了这个问题:Exceptioninthread“main”kafka.common.FailedToSendMessageException:Failedtosendmessagesafter3tries.atkafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:90)atkafka.producer.Producer.send(Producer.scala:76)at
类别:消息队列 | 阅读(4722)| 回复(0)| (2) 阅读全文>>
Tags : kafka,分布式,队列 发表时间: 2015-07-24 00:44:31
使用kafka0.8.2版本在CentOS64位上启动官网上的quickstart说明例子时出现异常:##ThereisinsufficientmemoryfortheJavaRuntimeEnvironmenttocontinue.#Nativememoryallocation(malloc)failedtoallocate986513408bytesforcommittingreservedmemory.#Anerrorreportfilewithmoreinformationissavedas:#//hs_err_pid6500.logOpenJDK64-BitServerVMwarni
类别:消息队列 | 阅读(3363)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,脑裂,HA、集群 发表时间: 2017-09-23 15:05:29
1.引言脑裂(split-brain),指在一个高可用(HA)系统中,当联系着的两个节点断开联系时,本来为一个整体的系统,分裂为两个独立节点,这时两个节点开始争抢共享资源,结果会导致系统混乱,数据损坏。对于无状态服务的HA,无所谓脑裂不脑裂;但对有状态服务(比如MySQL)的HA,必须要严格防止脑裂。(但有些生产环境下的系统按照无状态服务HA的那一套去配置有状态服务,结果可想而知...)2.如何防止HA集群脑裂一般采用2个方法1.仲裁当两个节点出现分歧时,由第3方的仲裁者决定听谁的。这个仲裁者,可能是一个锁服务,一个共享盘或者其它什么东西。2.fencing当不能确定某个节点的状态时,通过fe
类别:分布式 | 阅读(1300)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,数据库,中间件 发表时间: 2016-07-05 20:29:03
摘要:目前数据库中间件有很多,基本这些中间件在下都有了解和使用,各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列,希望可以对大家有帮助。分布式数据库中间件对比总结(1)目前数据库中间件有很多,基本这些中间件在下都有了解和使用,各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列,希望可以对大家有帮助。1.什么是中间件传统的架构模式就是应用连接数据库直接对数据进行访问,这种架构特点就是简单方便。但是随着目前数据量不断的增大我们就遇到了问题:单个表数据量太大单个库数据量太大单台数据量服务器压力很大读写速度遇到瓶颈当面临以上问题时,我们会想到的第一种解决方
类别:编程开发 | 阅读(1437)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,事务 发表时间: 2016-04-06 20:33:46
当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题:1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失。于是我们不得不对我们的服务器进行扩展,加入更多的机器来分担性能上的问题,以及来解决单点故障问题。通常,我们会通过两种手段来扩展我们的数据服务:1)数据分区:就是把数据分块放在不同的服务器上(如:uid%16,一致性哈希等)。2)数据镜像:让所有的服务器都有相同的数据,提供相当的服务。对于第一种情况,我们无法解决数据丢失的问题,单台服务器出问题时,会有部分数据丢失。所以,数据服务的高可用性只能通过
类别:编程开发 | 阅读(917)| 回复(0)| (0) 阅读全文>>
Tags : 架构,分布式网站 发表时间: 2016-03-03 18:43:19
本文是学习大型分布式网站架构的技术总结。对架构一个高性能,高可用,可伸缩,可扩展的分布式网站进行了概要性描述,并给出一个架构参考。一部分为读书笔记,一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。  本次分享大纲如下大型网站的特点大型网站架构目标大型网站架构模式高性能架构高可用架构可伸缩架构可扩展架构安全架构敏捷架构大型架构举例一、大型网站的特点用户多,分布广泛大流量,高并发海量数据,服务高可用安全环境恶劣,易受网络攻击功能多,变更快,频繁发布从小到大,渐进发展以用户为中心免费服务,付费体验二、大型网站架构目标高性能:提供快速的访问体验。高可用:网站服务一直可以正常访问。可伸缩:通
类别:架构 | 阅读(969)| 回复(0)| (0) 阅读全文>>
Tags : zookeeper,分布式 发表时间: 2015-12-13 21:52:38
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理,对于如何使用zookeeper不是本文讨论的重点。1Zookeeper的基本概念1.1角色Zookeeper中的角色主要有以下三类,如下
类别:开源 | 阅读(1300)| 回复(0)| (0) 阅读全文>>
Tags : Memcache,分布式缓存 发表时间: 2015-09-06 21:51:22
基本问题1、memcached的基本设置1)启动Memcache的服务器端#/usr/local/bin/memcached-d-m10-uroot-l192.168.0.200-p12000-c256-P/tmp/memcached.pid-d选项是启动一个守护进程,-m是分配给Memcache使用的内存数量,单位是MB,我这里是10MB,-u是运行Memcache的用户,我这里是root,-l是监听的服务器IP地址,如果有多个地址的话,我这里指定了服务器的IP地址192.168.0.200,-p是设置Memcache监听的端口,我这里设置了12000,最好是1024以上的端口,-c选项是最
类别:编程开发 | 阅读(875)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,事务,大数据,一致性 发表时间: 2015-07-23 23:59:10
不想了,我等码农,还是看看怎么来处理分布式系统中的事务这个老大难吧!本文略长,读者需要有一定耐心,如果你是高级码农或者架构师级别,你可以跳过。本文注重实战或者实现,不涉及CAP,略提ACID。本文适合基础分布式程序员:本文会涉及集群中节点的failover和recover问题.本文会涉及事务及不透明事务的问题.本文会提到微博和tweeter,并引出一个大数据问题.由于分布式这个话题太大,事务这个话题也太大,我们从一个集群的一个小小节点开始谈起。集群中存活的节点与同步分布式系统中,如何判断一个节点(node)是否存活?kafka这样认为:此节点和zookeeper能喊话.(Keepsession
类别:编程开发 | 阅读(906)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,Zookeeper,开源Hadoop 发表时间: 2015-06-27 00:16:14
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的<TheChubbylockserviceforloosely-coupleddistributedsystems>论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/zookeeperStarted.html这个页面上的步骤完成安装,这里主
类别:开源 | 阅读(1245)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,Algolia,架构,云计算 发表时间: 2015-06-07 22:57:54
摘要:本文是Algolia对其RESTAPI建立和扩展经验的总结,其中包括如何在全世界不同位置保障数据的高可用和一致,以及如何通过AnycastDNS将查询路由到离用户地理位置最近的服务器。Algolia是一家做离线移动搜索引擎的公司,两年时间构建了世界范围的分布式网络。今天为世界12个区域每月20亿用户查询,平均服务器时间为6.7ms,90%的查询应答<15ms,不可用率低于十的负六次方,及每月宕机时间<3s……本文是Algolia对其RESTAPI建立和扩展经验的总结,其中包括如何在全世界不同位置保障数据的高可用和一致,以及如何通过AnycastDNS将查询路由到离用户地理位置
类别:架构 | 阅读(1121)| 回复(0)| (0) 阅读全文>>
Tags : 分布式,ZooKeeper,开源,Apache 发表时间: 2015-03-29 20:30:26
ZooKeeper是Apache开源项目之一。项目网址:http://zookeeper.apache.org/(文档和下载都在这里)ApacheZooKeeperisanefforttodevelopandmaintainanopen-sourceserverwhichenableshighlyreliabledistributedcoordination.WhatisZooKeeper?ZooKeeperisacentralizedserviceformaintainingconfigurationinformation,naming,providingdistributedsynchro
类别:开源 | 阅读(1264)| 回复(0)| (0) 阅读全文>>