当前位置:首页 > 科技  > 软件

面试官:说说零拷贝的实现原理?

来源: 责编: 时间:2024-03-22 08:54:16 272观看
导读零拷贝(Zero-copy)技术是一种计算机操作系统中用于提高数据传输效率的优化策略。在传统的数据传输过程中,需要将数据从一个缓冲区拷贝到另一个缓冲区,然后再传输给目标。这涉及到多次的 CPU 和内存之间的数据拷贝操作,会消

零拷贝(Zero-copy)技术是一种计算机操作系统中用于提高数据传输效率的优化策略。在传统的数据传输过程中,需要将数据从一个缓冲区拷贝到另一个缓冲区,然后再传输给目标。这涉及到多次的 CPU 和内存之间的数据拷贝操作,会消耗 CPU 的时间和内存带宽。而零拷贝技术通过直接共享数据的内存地址,避免了中间的拷贝过程,从而提高了数据传输的效率。7LC28资讯网——每日最新资讯28at.com

1.传统 IO 执行流程

要搞明白零拷贝技术就要先搞清楚传统 IO 的执行流程,传统的 IO 的执行流程如下:7LC28资讯网——每日最新资讯28at.com

7LC28资讯网——每日最新资讯28at.com

(1)用户态和内核态

操作系统有用户态和内核态之分,这是因为计算机体系结构中的操作系统设计了两个不同的执行环境,以提供不同的功能和特权级别。7LC28资讯网——每日最新资讯28at.com

  • 用户态(User Mode)是指应用程序运行时的执行环境。在用户态下,应用程序只能访问受限资源,如应用程序自身的内存空间、CPU 寄存器等,并且不能直接访问操作系统的底层资源和硬件设备。
  • 内核态(Kernel Mode)是指操作系统内核运行时的执行环境。在内核态下,操作系统具有更高的权限,可以直接访问系统的硬件和底层资源,如 CPU、内存、设备驱动程序等。

(2)DMA

DMA(Direct Memory Access,直接内存访问)技术,绕过 CPU,直接在内存和外设之间进行数据传输。这样可以减少 CPU 的参与,提高数据传输的效率。7LC28资讯网——每日最新资讯28at.com

2.零拷贝技术的实现

零拷贝技术可以利用 Linux 下的 MMap、sendFile 等手段来实现,使得数据能够直接从磁盘映射到内核缓冲区,然后通过 DMA 传输到网卡缓存,整个过程中 CPU 只负责管理和调度,而无需执行实际的数据复制指令。7LC28资讯网——每日最新资讯28at.com

(1)MMap

MMap(Memory Map)是 Linux 操作系统中提供的一种将文件映射到进程地址空间的一种机制,通过 MMap 进程可以像访问内存一样访问文件,而无需显式的复制操作。7LC28资讯网——每日最新资讯28at.com

使用 MMap 可以把 IO 执行流程优化成以下执行步骤:7LC28资讯网——每日最新资讯28at.com

7LC28资讯网——每日最新资讯28at.com

传统的 IO 需要四次拷贝和四次上下文(用户态和内核态)切换,而 MMap 只需要三次拷贝和四次上下文切换,从而能够提升程序整体的执行效率,并且节省了程序的内存空间。7LC28资讯网——每日最新资讯28at.com

(2)senFile 方法

在 Linux 操作系统中 sendFile() 是一个系统调用函数,用于高效地将文件数据从内核空间直接传输到网络套接字(Socket)上,从而实现零拷贝技术。这个函数的主要目的是减少 CPU 上下文切换以及内存复制操作,提高文件传输性能。7LC28资讯网——每日最新资讯28at.com

使用 sendFile() 可以把 IO 执行流程优化成以下执行步骤:7LC28资讯网——每日最新资讯28at.com

7LC28资讯网——每日最新资讯28at.com

3.哪些地方用到了零拷贝技术?

在 Java 中,以下几个地方使用了零拷贝技术:7LC28资讯网——每日最新资讯28at.com

NIO(New I/O)通道:java.nio.channels.FileChannel 提供了 transferTo() 和 transferFrom() 方法,可以直接将数据从一个通道传输到另一个通道,例如从文件通道直接传输到 Socket 通道,整个过程无需将数据复制到用户空间缓冲区,从而实现了零拷贝。7LC28资讯网——每日最新资讯28at.com

Socket Direct Buffer:在 JDK 1.4 及更高版本中,Java NIO 支持使用直接缓冲区(DirectBuffer),这类缓冲区是在系统堆外分配的,可以直接由网卡硬件进行 DMA 操作,减少数据在用户态与内核态之间复制次数 ,提高网络数据发送效率。7LC28资讯网——每日最新资讯28at.com

Apache Kafka 或者 Netty 等高性能框架:这些框架在底层实现上通常会利用 Java NIO 的上述特性来优化数据传输,如 Kafka 生产者和消费者在传输消息时会用到零拷贝技术以提升性能。7LC28资讯网——每日最新资讯28at.com

小结

使用零拷贝技术可以减少 CPU 拷贝,及减少了上下文的切换带来的性能开销,提高了程序的整体执行效率,它们的区别对比如下表格所示:7LC28资讯网——每日最新资讯28at.com


7LC28资讯网——每日最新资讯28at.com

CPU 拷贝/次数7LC28资讯网——每日最新资讯28at.com

DMA 拷贝/次数7LC28资讯网——每日最新资讯28at.com

上下文切换/次数7LC28资讯网——每日最新资讯28at.com

传统 IO7LC28资讯网——每日最新资讯28at.com

2
7LC28资讯网——每日最新资讯28at.com

2
7LC28资讯网——每日最新资讯28at.com

4
7LC28资讯网——每日最新资讯28at.com

MMap7LC28资讯网——每日最新资讯28at.com

1
7LC28资讯网——每日最新资讯28at.com

2
7LC28资讯网——每日最新资讯28at.com

4
7LC28资讯网——每日最新资讯28at.com

sendFile()7LC28资讯网——每日最新资讯28at.com

1
7LC28资讯网——每日最新资讯28at.com

2
7LC28资讯网——每日最新资讯28at.com

2
7LC28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-78501-0.html面试官:说说零拷贝的实现原理?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 高端操作:把 React Scheduler 掏出来单独用

下一篇: Java22重磅发布!!!卷不动了,真的卷不动了......

标签:
  • 热门焦点
  • 6月安卓手机好评榜:魅族20 Pro蝉联冠军

    性能榜和性价比榜之后,我们来看最后的安卓手机好评榜,数据来源安兔兔评测,收集时间2023年6月1日至6月30日,仅限国内市场。第一名:魅族20 Pro好评率:95%5月份的时候魅族20 Pro就是
  • 女孩租房开2小时空调用完100元电费引热议:5级能耗惹不起 月薪过万电费也交不起

    近日,江苏苏州一女孩租房当天充值了100元电费,开着空调不到2小时发现电费已用完。对于为什么这个快,房东表示,电表坏了这种情况很多,之前也遇到过,给租客换
  • 十个可以手动编写的 JavaScript 数组 API

    JavaScript 中有很多API,使用得当,会很方便,省力不少。 你知道它的原理吗? 今天这篇文章,我们将对它们进行一次小总结。现在开始吧。1.forEach()forEach()用于遍历数组接收一参
  • Rust中的高吞吐量流处理

    作者 | Noz编译 | 王瑞平本篇文章主要介绍了Rust中流处理的概念、方法和优化。作者不仅介绍了流处理的基本概念以及Rust中常用的流处理库,还使用这些库实现了一个流处理程序
  • 把LangChain跑起来的三个方法

    使用LangChain开发LLM应用时,需要机器进行GLM部署,好多同学第一步就被劝退了,那么如何绕过这个步骤先学习LLM模型的应用,对Langchain进行快速上手?本片讲解3个把LangChain跑起来
  • 量化指标是与非:挽救被量化指标扼杀的技术团队

    作者 | 刘新翠整理 | 徐杰承本文整理自快狗打车技术总监刘新翠在WOT2023大会上的主题分享,更多精彩内容及现场PPT,请关注51CTO技术栈公众号,发消息【WOT2023PPT】即可直接领取
  • 雅柏威士忌多款单品价格大跌,泥煤顶流也不香了?

    来源 | 烈酒商业观察编 | 肖海林今年以来,威士忌市场开始出现了降温迹象,越来越多不断暴涨的网红威士忌也开始悄然回归市场理性。近日,LVMH集团旗下苏格兰威士忌品牌雅柏(Ardbeg
  • 当家的盒马,加速谋生

    来源 | 价值星球Planet作者 | 归去来自己“当家”的盒马,开始加速谋生了。据盒马官微消息,盒马计划今年开放生鲜供应链,将其生鲜商品送往食堂。目前,盒马在上海已经与
  • OPPO K11样张首曝:千元机影像“卷”得真不错!

    一直以来,OPPO K系列机型都保持着较为均衡的产品体验,历来都是2K价位的明星机型,去年推出的OPPO K10和OPPO K10 Pro两款机型凭借各自的出色配置,堪称有
Top