producer生产者原理

  • 时间:2020-08-04 13:39 编辑: 来源: 阅读:48
  • 扫一扫,手机访问
摘要: producer是线程安全的。       生产者客户端由两条线程协调运转,分别是主线程和sender线程(发送线程)。       主线程经过KafkaProducer创建音讯(ProducerRecord),然后经过拦截器,序列化器,分区器(默许DefaultPartitioner,默许进行hash%分区数求分区,假如key为null,就经过

 producer是线程安全的。
       生产者客户端由两条线程协调运转,分别是主线程和sender线程(发送线程)。
       主线程经过KafkaProducer创建音讯(ProducerRecord),然后经过拦截器,序列化器,分区器(默许DefaultPartitioner,默许进行hash%分区数求分区,假如key为null,就经过轮询方法发往可用的分区中)的效果之后将音讯缓存到音讯累加器中(RecordAccumulator,默许巨细32M,决议参数是buffer.memory)。音讯累加器的内部为每个分区维护了一个双端行列Deque。ProducerBatch代表为一个音讯批次,封装了多个ProducerRecord,音讯批次确保了减少了网络恳求次数,提高吞吐量。每次有音讯要写入音讯累加器中的时分,会先去寻址音讯所对应的分区的双端行列。因为行列内部有很多个ProducerBatch音讯批次,会从行列中尾部获取一个ProducerBatch音讯批次,假如音讯的巨细在被写入ProducerBatch的巨细规模内,则写入,假如没找到ProducerBatch或许大于ProducerBatch规模,则会在行列Deque尾新建一个ProducerBatch(producerBatch 默许巨细16KB,决议参数batch.size) 后续sender线程从音讯累加器中获取缓存的音讯进行进一步封装,经过KafkaClient进行IO操作,写入到页缓存中。。

  • 全部评论(0)
最新发布的资讯信息
【A8站-免费源码分享|直播源码】直播系统源码开发:关于安卓开发工具和obs直播推流(2020-10-30 09:41)
【计算机/互联网|】【独家修复】用户定制版短视频点赞系统,支持抖音+快手+刷宝+微视等所有主流短视频评论系统源码(2020-10-26 16:34)
【技术宅-为技术而疯|网站架设教程】【独家首发】最新更新已对接短信2020全新抖音快手点赞任务系统霸屏天下小红书头条威客兼职完整搭建架设视频教程(2020-10-25 13:56)
【技术宅-为技术而疯|网站架设教程】最新可用个人发卡网系统源码完整搭建架设视频教程(2020-10-25 10:53)
【技术宅-为技术而疯|网站架设教程】独家更新全新V10抢单系统唯品会京东淘宝自动抢单区块系统源码全开源抢单收单接单返利+搭建架设完整视频教程(2020-10-25 10:52)
【计算机/互联网|】柔丫纸尿裤云仓系统源码部署(2020-10-15 18:13)
【计算机/互联网|】侏罗纪软件模式定制开发(2020-10-14 15:33)
【计算机/互联网|】S2b2C供应商系统 营销闭环(2020-10-10 17:46)
【计算机/互联网|程序设计开发】盛都汇系统奖励机制(2020-10-10 17:20)
【A8站-免费源码分享|网站源码】积分商城系统APP开发(2020-09-23 14:56)
联系我们
Q Q:3101359898 点击直接对话
电话:18580901894
邮箱:admin#a8zhan.com
时间:09:00 - 24:00
手机二维码 访问手机版
返回顶部