企业培训资讯_企业培训干货

当前位置:首页 > 名师团队 > 导师语录

大数据开发最火技术Kafka背后的“黑科技”

发布时间:2022-06-17    来源:十大赌博靠谱信誉的平台75894

本文摘要:Kafka是由Apache软件基金会研发的一个进源流处置平台,被普遍地应用于在数据缓冲器、异步通信、汇聚日志、系统解法耦等方面。

Kafka是由Apache软件基金会研发的一个进源流处置平台,被普遍地应用于在数据缓冲器、异步通信、汇聚日志、系统解法耦等方面。相比较于其他少见消息系统,Kafka在确保了大部分功能特性的同时,还在低陡然、较低延后等方面有很引人注目的展现出。

十大老牌网赌网址

这篇文章不同于其他讲解Kafka用于或构建的文章,只是谈谈Kafka用了什么“白科技”使他在性能方面有这么引人注目的展现出。消息顺序载入磁盘磁盘大多数都还是机械结构(SSD不出辩论的范围内),如果将消息以随机写出的方式现金磁盘,就必须按柱面、磁头、扇区的方式传输速率,传输速率是一个“机械动作”也最耗时。

为了提升读取硬盘的速度,Kafka就是用于顺序I/O。图1Kafka顺序IO上图中,每个partition就是一个文件,每条消息都被append到该partition中,归属于顺序写出磁盘,因此效率十分低。这种方法有一个缺失——没办法移除数据,所以Kafka是会移除数据的,它不会把所有的数据都保有下来,每个消费者(Consumer)对每个Topic都有一个offset用来回应加载到了第几条数据。

全球十大网赌正规

关于磁盘顺序读取和随机读取的性能,提到一组Kafka官方得出的测试数据(Raid-5,7200rpm):SequenceI/O:600MB/sRandomI/O:100KB/s所以通过只做到SequenceI/O,给Kafka带给了性能的很大提高。ZeroCopy考虑到一个web程序加载文件内容并传输到网络的场景,构建的核心代码如下:图2普通read方法虽然只是两个调用,但却经过了4次copy,其中有2次cpucopy,还有多次用户态与内核态的上下文转换,这不会减轻cpu的开销,而零拷贝就是为了解决问题这种陈旧。#mmap:增加拷贝次数的一种方法是调用mmap()来替换read()调用:应用程序调用mmap(),磁盘上的数据不会通过DMA被拷贝到内核缓冲区,接着操作系统不会把这段内核缓冲区与应用程序分享,这样就不必须把内核缓冲区的内容往用户空间拷贝。

应用程序再行调用write(),操作系统必要将内核缓冲区的内容拷贝到socket缓冲区中,最后再行把数据零担网卡去。图3mmap方法用于mmap可以增加一次cpucopy,但也不会遇上一些陷阱,当你的程序map了一个文件,但是当这个文件被另一个进程切断(truncate)时,write系统调用不会因为采访非法地址而被SIGBUS信号中止。一般来说可以通过,为SIGBUS信号创建信号处理程序或用于文件租凭(fileleasing)的方式去解决问题,这里就仍然赘述了。

全球十大网赌正规

#sendfile:从2.1版内核开始,Linux引进了sendfile来修改操作者图4sendfile方法sendfile()方法引起DMA引擎将文件内容拷贝到一个加载缓冲区(DMAcopy)然后由内核将数据拷贝到socketbuffer(cpucopy)最后再行拷贝到网卡(DMAcopy)用于sendfile不仅增加了数据拷贝的次数,还增加了上下文转换,数据传输一直只再次发生在kernelspace聊到这里,sendfile最少还必须一次cpucopy,那么这一步能无法省却呢?为了避免内核已完成的所有数据拷贝,我们必须一个反对搜集(gather)操作者的网络接口。同时,在内核版本2.4中,也改动了套接字缓冲区描述符以适应环境零拷贝拒绝。这种方法不仅增加了多个上下文转换,还几乎中止了cpucopy。

图5sendfile方法(DMAgather)sendfile系统调用利用DMA引擎将文件内容拷贝到内核缓冲区去,然后将具有文件方位和长度信息的缓冲区描述符加到socket缓冲区去,这一步会将内核中的数据拷贝到socket缓冲区中,DMA引擎不会将内核缓冲区的数据拷贝到协议引擎中去,防止了最后一次CPU拷贝。零拷贝技术十分广泛,JAVA的transferTo、transferFrom方法就是ZeroCopy。


本文关键词:全球十大网赌正规,十大赌博靠谱信誉的平台,十大老牌网赌网址

本文来源:全球十大网赌正规-www.bedbreakfastmaui.com

分享到:
相关推荐MORE+
06-25 《群星》《钢铁之师》内容继续扩充 P社优惠上线最低4折起【十大赌博靠谱信誉的平台】

本文摘要:Paradox旗下两款策略游戏《群星》和《钢铁之师:诺曼底44》在今天同时发售了新的DLC,更进一步扩展了游戏内容。Paradox旗下两款策略游戏《群星》和《钢铁之师:诺曼底44》在今天同时

06-25 角川新作《方根胶片》确认4月23日发售 流程约15小时_十大赌博靠谱信誉的平台

本文摘要:12月24日,《方根书简》的开发商角川游戏宣告,系列新作《方根胶片》将于2020年4月23日月发售,登岸 Switch 以及 PS4 平台,普通版售价为6,800日元(约合435.5元)。1

06-25 担心乌龙案件发生 美媒提醒政府别再冤枉华裔科学家【十大赌博靠谱信誉的平台】

本文摘要:国际知名科学刊物、美国《科学》杂志的网站26日报导称之为,美国律师界人士敦促美国政府,慎重调查检方控告华裔药品研究人员因涉嫌向中国公司出售机密的近期案件,因为这与此前其他几起华裔遭到控告的案

06-25 全球十大网赌正规-恐怖求生系列“逃生”新作《逃生:试验》公布

本文摘要:“受困”作为可怕求生存系列的后起之秀倍受该系列粉丝注目,现在这一系列的新作《受困:试验》(Outlast Trials)已在其官网发布。“受困”作为可怕求生存系列的后起之秀倍受该系列粉丝注目

下一站传奇吴亦凡对女团阵容担心,陈伟霆暗暗为女队着急:十大赌博靠谱信誉的平台 “万言书”勾画长江流域水环境安全长卷:十大老牌网赌网址
热门文章
2019折叠屏手机年,三种形态之争:全球十大网赌正规
【十大老牌网赌网址】基于无线传感器网络智能保险箱安防系统的设计
十大老牌网赌网址:iPhoneX二代曝光:JDIOLED屏、成本降低40%
关于自动驾驶的7个疑问
盘点机器学习算法在无人驾驶的应用_十大老牌网赌网址
汽车运行状况图像监测系统的设计[图]【十大赌博靠谱信誉的平台】
【十大赌博靠谱信誉的平台】详解高功率光纤激光器远程焊接技术
十大老牌网赌网址:中国造全球首台“华龙一号”核反应堆压力容器交付
全球十大网赌正规_百度超级链联合百信银行落地百度收银台商户清算方案
【十大老牌网赌网址】高温别出门!红外热成像测温科技让屁也无处遁形
全球十大网赌正规-早讯丨海底捞宣布9月26日在港交所挂牌上市;医卫撤销计划生育相关司
十大赌博靠谱信誉的平台|韩国65岁以上人口首破800万:平均年龄达42.6岁
【十大赌博靠谱信誉的平台】苹果公司表态:iPhone使用年限只有三年
低科技产品的科技降级,是反智还是商机?|十大老牌网赌网址
全球十大网赌正规-中科创星创始人米磊受邀参加国庆70周年大阅兵观礼
客户案例
×