导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:356
阅读量:1663700
访问量:207481
至今:
×
博文->>搜索结果(耗时0.02秒) 博文列表>>
Tags : kafka 发表时间: 2019-01-06 22:40:04
关于Kafka入门、进阶、实战,循序渐进。个人觉得非常适合学Kafka入门的同学,了解其基础、让你动手实践,还结合现实实战,虽然实战项目并不复杂,但是来入门练手确实不错。个人觉得总体上还是可以的。但是学完本书之后,你还想更加深入的了解Kafka,接下来可以去研究其源码,深入了解其实现原理。这里附下京东购买链接,有意愿的可以购买下哦。http://item.jd.com/12455361.html(帮朋友做下广告^_^)这里推荐一个博主的一个技术微信公众号:搬运工来架构。感兴趣的可以扫最下面的二维码关注哦。
类别:苏说 | 阅读(1621)| 回复(0)| (0) 阅读全文>>
Tags : kafka,Spring-Kafka 发表时间: 2018-11-22 00:07:08
使用Spring-Kafka往KafkaBroker发送消息出现下面的异常信息:java.lang.IllegalArgumentException:Magicv1doesnotsupportrecordheadersatorg.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRecordsBuilder.java:403)atorg.apache.kafka.common.record.MemoryRecordsBuilder.appendWithOffset(MemoryRecordsBuilde
类别:消息队列 | 阅读(13244)| 回复(4)| (1) 阅读全文>>
Tags : Kafka 发表时间: 2016-12-28 20:12:08
5月23日Confluent官方宣布ApacheKafka0.10正式发布。该版本包含了很多新功能和优化,这里列出比较重要的几项:Streams如果你有这样的需求,从Kafka拉取数据进行流处理然后再推送回Kafka,那么你会喜欢0.10的KafkaStreams。KafkaStreams是一个类库,它实现了一系列流处理动作(例如join,filter,aggregate等),能够帮助你构建一个功能齐全的低延迟的流处理系统。它支持有状态或无状态的处理,并且能够被部署在各种框架和容器中(例如YARN,Mesos,Docker),也可以集成在Java应用里。机架感知和Hadoop一样,Kafka现
类别:消息队列 | 阅读(1458)| 回复(0)| (0) 阅读全文>>
Tags : kafka0.9 发表时间: 2016-12-27 21:42:46
一、安全特性在0.9之前,Kafka安全方面的考虑几乎为0,在进行外网传输时,只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点,让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面,主要有以下方面设计:客户端连接borker使用SSL或SASL进行验证borker连接ZooKeeper进行权限管理数据传输进行加密(需要考虑性能方面的影响)客户端读、写操作可以进行授权管理可以对外部的可插拔模块的进行授权管理当然,安全配置方面是可选的,可以混合使用。如:做过安全配置的的borkers和没有进行安全配置的borkers放在同一集群,授权的客户端和没有授权的客户端,也
类别:消息队列 | 阅读(1526)| 回复(0)| (0) 阅读全文>>
Tags : Kafka 发表时间: 2016-12-27 21:33:50
怎么确定分区数?“我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗憾的是,我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪,毕竟这样的问题通常都是没有固定答案的。Kafka官网上标榜自己是"high-throughputdistributedmessagingsystem",即一个高吞吐量的分布式消息引擎。那么怎么达到高吞吐量呢?Kafka在底层摒弃了Java堆缓存机制,采用了操作系统级别的页缓存,同时将随机写操作改为顺序写,再结合Zero-Copy的特性极大地改善了IO性能。但是,这只是一个方面,毕竟单机优化的能力是有上限的。如何通
类别:消息队列 | 阅读(1898)| 回复(0)| (0) 阅读全文>>
Tags : kafka,分布式,队列 发表时间: 2015-07-24 21:17:28
根据KaFka官网的quickstart步骤进行运行KaFka程序,但是当运行Step4:Sendsomemessages这个步骤出现了这个问题:Exceptioninthread“main”kafka.common.FailedToSendMessageException:Failedtosendmessagesafter3tries.atkafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:90)atkafka.producer.Producer.send(Producer.scala:76)at
类别:消息队列 | 阅读(4619)| 回复(0)| (2) 阅读全文>>
Tags : kafka,分布式,队列 发表时间: 2015-07-24 00:44:31
使用kafka0.8.2版本在CentOS64位上启动官网上的quickstart说明例子时出现异常:##ThereisinsufficientmemoryfortheJavaRuntimeEnvironmenttocontinue.#Nativememoryallocation(malloc)failedtoallocate986513408bytesforcommittingreservedmemory.#Anerrorreportfilewithmoreinformationissavedas:#//hs_err_pid6500.logOpenJDK64-BitServerVMwarni
类别:消息队列 | 阅读(3278)| 回复(0)| (0) 阅读全文>>
Tags : consumer, partition, new, kafka, topic 发表时间: 2017-09-20 16:54:24
实践代码采用kafka-clientsV0.10.0.0编写一、编写producer第一步:使用./kafka-topics.sh命令创建topic及partitions分区数./kafka-topics.sh--create--zookepper"172.16.49.173:2181"--topic"producer_test"--partitions10replication-factor3第二步:实
类别:消息队列 | 阅读(1092)| 回复(0)| (0) 阅读全文>>
Tags : consumer, group, Kafka, 消费, coordinator 发表时间: 2017-09-19 20:48:23
一直以来都想写一点关于kafkaconsumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念,希望能把consumer这点事说清楚,从而对广大使用者有所帮助。在开始之前,我想花一点时间先来明确一些概念和术语,这会极大地方便我们下面的讨论。另外请原谅这文章
类别:消息队列 | 阅读(1108)| 回复(0)| (0) 阅读全文>>
Tags : RocketMQ,Kafka 发表时间: 2015-08-30 15:04:24
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在淘宝交易、订单、充值等场景下还有诸多特性不满足,为此我们重新用Java语言编写了RocketMQ,定位于非日志的可靠消息传输(日志场景也OK),目前RocketMQ在阿里集团被广泛应用在订单,交易,充值,流计算,消
类别:开源 | 阅读(1355)| 回复(0)| (0) 阅读全文>>