Netty核心前奏——零拷贝篇（六）

最新推荐文章于 2025-03-28 20:56:10 发布
最新推荐文章于 2025-03-28 20:56:10 发布
阅读量1k 收藏 22
点赞数 19
CC 4.0 BY-SA版权
分类专栏： Netty 文章标签： 网络 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39384775/article/details/135571996

零拷贝基本介绍

  1. Java中，常用的零拷贝有mmap(内存映射)，sendfile，dma，directl/O等。
  2. 在操作系统中，零拷贝指的是避免在用户态 (User-space) 与内核态(Kernel-space) 之间来回拷贝数据.

OS的I/O普通读写流程

  1. 用户read发起系统调用，由用户态进入内核态，通过DMA技术将磁盘中的数据copy到内核缓冲区中
  2. 当DMA完成工作后，会发起一个中断通知CPU数据拷贝完成，然后CPU再将内核态中的数据copy到用户态中
  3. 内核唤醒对应线程，同时将用户态的数据返回给该线程空间
  4. 用户态线程进行业务处理（堆内存、堆外内存倒腾数据）
  5. 当服务器对请求进行响应的时候，会发起系统调用，由内核将用户态的数据copy到内核态中
  6. 复制完毕后，再有网络适配器通过DMA技术将内核态缓冲区中的数据copy到网卡中，完成后，内核态会返回到用户态
  7. 最后由网卡将数据发送出去

总结：在这个过程中，如果不考虑用户态的内存拷贝和物理设备到驱动的数据拷贝，我们会发现，这其中会涉及4次数据拷贝。同时也会涉及到4次进程上下文的切换。所谓的零拷贝，作用就是通过各种方式，在特殊情况下，减少数据拷贝的次数/减少CPU参与数据拷贝的次数

DMA（Direct Memory Access

最低0.47元/天 解锁文章

200万优质内容无限畅学
Netty 零拷贝原理深度解析
ma451152002的专栏
06-03 49
零拷贝（Zero Copy）是指在数据传输过程中，避免在用户空间和内核空间之间进行数据拷贝，从而减少 CPU 开销和内存带宽消耗的技术。// 使用 socket.sendFile 进行零拷贝传输return 1;Netty 的零拷贝技术是现代高性能网络编程的重要基石。通过深入理解其原理和实现，我们可以更好地利用这些技术来构建高性能、低延迟的网络应用。
Netty: 零拷贝（Zero-copy）技术
玉汝于成
05-22 1451
零拷贝（Zero-copy）技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。零拷贝技术的主要原理是通过减少数据在用户空间与内核空间之间切换模式的次数，以及减少数据的拷贝次数，来提高数据传输效率。
netty的零拷贝原理
FREEDOM
08-02 3332
零拷贝 零拷贝不是真的0次拷贝，而是减少拷贝次数，所有的零拷贝分为两个层面： （1）OS级别 传统IO： 硬盘->内核缓冲区->用户缓冲区->内核缓冲区->socket缓冲区-》socket缓冲区-》网卡，共6次拷贝，四次上下文切换 mmap： 通过mmap 映射内核态内存和用户态内存，从而减少内核态与用户态的数据拷贝（一次网络数据发送：硬盘->内核态内存->socket缓冲区->网卡 ,共三次拷贝，两次上下文切换）。 sendfile 通过send
【Netty】Netty零拷贝原理
LoveSummer
02-05 4970
前言 理解零拷贝 零拷贝是Netty的重要特性之一，而究竟什么是零拷贝呢？ WIKI中对其有如下定义： “Zero-copy” describes computer operations in which the CPU does not perform the task of copying data from one memory area to another. 从WIKI的定义中，我们看到“零拷贝”是指计算机操作的过程中，CPU不需要为数据在内存之间的拷贝消耗资源。而它通常是指计算机在网络上发送
Netty零拷贝原理探究
Sysong88的博客
05-06 967
Netty的“零拷贝”主要体现在如下几个方面：1) 即所谓的 Zero-copy, 就是在操作数据时, 不需要将数据 buffer 从一个内存区域拷贝到另一个内存区域. 因为少了一次内存的拷贝, 因此 CPU 的效率就得到的提升.Netty的接收和发送ByteBuffer采用DIRECT BUFFERS，使用堆外直接内存进行Socket读写，不需要进行字节缓冲区的二次拷贝。如果使用传统的堆内存（H...
Netty之零拷贝原理分析
哈蒙蒙的博客
09-01 487
零拷贝的应用程序要求内核（kernel）直接将数据从磁盘文件拷贝到套接字（Socket），而无须通过应用程序。零拷贝不仅提高了应用程序的性能，而且减少了内核和用户模式见上下文切换。 数据传输：传统方法 从文件中读取数据，并将数据传输到网络上的另一个程序的场景：从下图可以看出，拷贝的操作需要4次用户模式和内核模式之间的上下文切换，而且在操作完成前数据被复制了4次。 从磁盘中copy放到一个内存...
Netty必知必会（一）—— 零拷贝技术
weixin_68074170的博客
08-01 1444
直接内存也称为堆外内存，也就是不受JVM控制的内存。Netty 的接收和发送 ByteBuffer 采用 DIRECT BUFFERS，使用堆外直接内存进行 Socket 读写，不需要进行字节缓冲区的二次拷贝。如果使用传统的堆内存（HEAP BUFFERS）进行 Socket 读写，JVM 会将堆内存 Buffer 拷贝一份到直接内存中，然后才写入 Socket 中。相比于堆外直接内存，消息在发送过程中多了一次缓冲区的内存拷贝。
Netty面试题——第一篇
weixin_42824596的博客
07-31 767
要发送的数据大于TCP发送缓冲区剩余空间大小，将会发生拆包。待发送数据大于MSS（最大报文长度），TCP在传输前将进行拆包。要发送的数据小于TCP发送缓冲区大小，TCP将多次写入缓冲区的数据一次发送出去，将会发生粘包。接收数据端的应用层没有及时读取接受缓冲区的数据，将发生粘包。
Netty 框架学习 —— 第一个 Netty 应用（csdn）————程序.pdf
12-03
在本篇关于“Netty框架学习——第一个Netty应用”的文章中，我们将深入理解如何使用Netty构建一个简单的Echo服务器和客户端。Netty是一个高性能、异步事件驱动的网络应用程序框架，广泛应用于Java领域的服务器开发。...
深入探索Netty的零拷贝技术：实现原理与应用详解
微笑听雨
06-22 2773
Netty 的零拷贝技术通过利用操作系统的特性和优化数据传输方式，显著提升了网络应用的性能和效率。理解和合理使用 Netty 的零拷贝技术，对于开发高性能的网络应用非常重要，可以避免不必要的数据复制和提升数据传输的速度和效率。
Netty零拷贝机制
小小本科生
02-12 1823
通过FileRegion包装的FileChannel.tranferTo实现文件传输，可以直接将文件缓冲区的数据发送到目标Channel，避免了传统通过循环write方式导致的内存拷贝问题。这样，在进行网络传输时，就可以减少内核空间到用户空间的拷贝次数。netty中的零拷贝和操作系统中零拷贝有点不一样，操作系统实现零拷贝主要是在内核态的优化，netty完全是在用户状态实现零拷贝。操作系统的核心是内核，它不同于普通应用程序，所以为了保护内核的存储空间，操作系统将虚拟空间分为了两个部分：内核空间和用户空间。
零拷贝技术
12-26
linux零拷贝技术英文论文，有理论，也有干货，描述了buffer使用的精髓。
Netty的零拷贝
ZhiguoXue_IT的博客
06-21 659
netty本质上就是一款优秀的网络编程框架，凭借自己基于NIO编程，零拷贝等技术细节，
【Netty】Netty的零拷贝原理与应用
L_MaFia的博客
04-28 405
Netty的零拷贝原理与应用IO中的零拷贝内存的用户空间和内核空间DMA 直接存储访问上下文切换普通的文件传输方式内存映射(MMAP)方式Linux的sendFile()优化Linux2.1的方式Linux2.4的方式NIO中的零拷贝内存堆内存特点：堆外内存特点：文件传输Netty中的零拷贝内存:文件传输 IO中的零拷贝 内存的用户空间和内核空间 内存中有用户空间提供给用户调用 内存中内核空间给操作系统的指令使用 DMA 直接存储访问 DMA:直接存储访问，即不会经过CPU的运算，直接由DMA总线进行拷贝
Netty——零拷贝
最新发布
qq_61350148的博客
03-28 1526
本文讲解了零拷贝的原理，并介绍了在 Netty 中如何实现零拷贝。
netty-零拷贝
godme
02-10 421
回顾 之前总结的DirectBuffer如此 device OS JVMcopyI/OaddressI/OdiskheapMemoryCopydirectMemoryheapObjectdirectObjectheapMemory 这个让我们感觉的，就是Direct会比Heap更快速。 但是追根究底，这只是表面差异，为了更高的性能，我们可以说应该完全舍弃Heap。 把Diret和Heap的区别扩...
【netty4】Netty零拷贝的实现原理
m0_45406092的博客
06-16 685
文章目录1. 概述2. 传统方法，非零拷贝3. 零拷贝方法3.1 初识transferTo()3.2 sendfile函数参考 1. 概述 零拷贝的应用程序要求内核（kernel）直接将数据从磁盘文件拷贝到套接字（Socket），而无须通过应用程序。零拷贝不仅提高了应用程序的性能，而且减少了内核和用户模式见上下文切换。 2. 传统方法，非零拷贝 我们举个例子，从磁盘文件中读取数据，并将数据传输到网络上的另一个程序的场景：从下图可以看出，拷贝的操作需要4次用户模式和内核模式之间的上下文切换，而且在操作完成前数
Netty线程模型和零拷贝原理
学习印记 Learning imprint
10-07 576
Netty基于NIO实现，Netty在NIO之上又提供了更高层次的抽象。IO 模型是 Reactor，它是一种异步、非阻塞的事件驱动模型。 线程模型 Reactor单线程模型 一个NIO线程+一个accept线程： Reactor多线程模型 Reactor主从模型 主从Reactor多线程：多个acceptor的NIO线程池用于接受客户端的连接 Netty是建立在NIO基础之上，Netty在NIO之上又提供了更高层次的抽象。在Netty里面，Accept连接可以使用单独的线程池去处理，读写操作又是另外
深入浅出Netty框架开发——权威指南第二版
Netty通过ByteBuf提供了灵活的缓冲区操作，支持池化、零拷贝等多种优化技术。 ### 编解码器 为了处理复杂协议，Netty提供了编解码器机制，可以将字节码自动转换为Java对象，反之亦然。 ## 业务应用场景 ### 协议...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值