`
cgperfect
  • 浏览: 2514 次
社区版块
存档分类
最新评论

Java NIO原理及分析

阅读更多

前言:  

    最近由于公司项目重构,需要用SOA分布式架构。在这里我采用的是比较轻量级的ZBUS总线来实现。而使用ZBUS总线最关键的就是底层socket通信问题。这里的通信问题就涉及到了java的NIO非阻塞机制,下面就参考一些别的资料,做一些简要的分析。

    首先来分析下阻塞IO与非阻塞IO的区别

 

  1、阻塞IO:阻塞io是指jdk1.4之前版本面向流的io,服务端需要对每个请求建立一堆线程等待请求,而客户端发送请求后,先咨询服务端是否有线程相应,如果没有则会一直等待或者遭到拒 绝请求,如果有的话,客户端会线程会等待请求结束后才继续执行。

当并发量大,而后端服务或客户端处理数据慢时就会产生产生大量线程处于等待中,即上述的阻塞。

      

   非阻塞IO:无阻塞io是使用单线程或者只使用少量的多线程,每个连接共用一个线程,当处于等待(没有事件)的时候线程资源可以释放出来处理别的请求,通过事件驱动模型当有accept/read/write等事件发生后通知(唤醒)主线程分配资源来处理相关事件。java.nio.channels.Selector就是在该模型中事件的观察者,可以将多个SocketChannel的事件注册到一个Selector上,当没有事件发生时Selector处于阻塞状态,当SocketChannel有accept/read/write等事件发生时唤醒Selector。

   

这个Selector是使用了单线程模型,主要用来描述事件驱动模型,要优化性能需要一个好的线程模型来使用,目前比较好的nio框架有Netty,apache的mina等。

   从上图可以分析出,阻塞IO的缺点有:

   1. 当客户端多时,会创建大量的处理线程。且每个线程都要占用栈空间和一些CPU时间

   2. 阻塞可能带来频繁的上下文切换,且大部分上下文切换可能是无意义的。
    而非阻塞IO就可以很好地解决这个问题,它的工作原理:

     1. 由一个专门的线程来处理所有的 IO 事件,并负责分发。 

     2. 事件驱动机制:事件到的时候触发,而不是同步的去监视事件。 
     3. 线程通讯:线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。 

 Java NIO的服务端只需启动一个专门的线程来处理所有的 IO 事件,这种通信模型是怎么实现的呢?呵呵,我们一起来探究它的奥秘吧。java NIO采用了双向通道(channel)进行数据传输,而不是单向的流(stream),在通道上可以注册我们感兴趣的事件。一共有以下四种事件:

   

事件名 对应值
服务端接收客户端连接事件 SelectionKey.OP_ACCEPT(16)
客户端连接服务端事件 SelectionKey.OP_CONNECT(8)
读事件 SelectionKey.OP_READ(1)
写事件 SelectionKey.OP_WRITE(4)

下面是我理解的java NIO的通信模型示意图:

   

 1、服务端和客户端各自维护一个管理通道的对象,我们称之为selector,该对象能检测一个或多个通道 (channel) 上的事件,下面以服务器端为例:

   1).  首先需要进行初始化工作。该初始化工作主要目的是将selector(这时候的selector必须先要进行注册,这样才知道我们接下来要怎么处理数据)与channel进行绑定。只有selector管理通道与通道channel进行了绑定,在客户端发送消息,将selector绑定到channel通道的时候,服务器端才能通过该通道的端口,拿到并对服务器端数据进行操作。

  1. public void initServer(int port) throws IOException {  
  2.         // 获得一个ServerSocket通道  
  3.         ServerSocketChannel serverChannel = ServerSocketChannel.open();  
  4.         // 设置通道为非阻塞  
  5.         serverChannel.configureBlocking(false);  
  6.         // 将该通道对应的ServerSocket绑定到port端口  
  7.         serverChannel.socket().bind(new InetSocketAddress(port));  
  8.         // 获得一个通道管理器  
  9.         this.selector = Selector.open();  
  10.         //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_ACCEPT事件,注册该事件后,  
  11.         //当该事件到达时,selector.select()会返回,如果该事件没到达selector.select()会一直阻塞。  
  12.         serverChannel.register(selector, SelectionKey.OP_ACCEPT);  
  13.     }  

   2).通过selector的监听,采用轮询的方式监听selector上是否有需要处理的事件,如果有,则进行处理 。

  1. @SuppressWarnings("unchecked")  
  2.     public void listen() throws IOException {  
  3.         System.out.println("服务端启动成功!");  
  4.         // 轮询访问selector  
  5.         while (true) {  
  6.             //当注册的事件到达时,方法返回;否则,该方法会一直阻塞  
  7.             selector.select();  
  8.             // 获得selector中选中的项的迭代器,选中的项为注册的事件  
  9.             Iterator ite = this.selector.selectedKeys().iterator();  
  10.             while (ite.hasNext()) {  
  11.                 SelectionKey key = (SelectionKey) ite.next();  
  12.                 // 删除已选的key,以防重复处理  
  13.                 ite.remove();  
  14.                 // 客户端请求连接事件  
  15.                 if (key.isAcceptable()) {  
  16.                     ServerSocketChannel server = (ServerSocketChannel) key  
  17.                             .channel();  
  18.                     // 获得和客户端连接的通道  
  19.                     SocketChannel channel = server.accept();  
  20.                     // 设置成非阻塞  
  21.                     channel.configureBlocking(false);  
  22.   
  23.                     //在这里可以给客户端发送信息哦  
  24.                     channel.write(ByteBuffer.wrap(new String("向客户端发送了一条信息").getBytes()));  
  25.                     //在和客户端连接成功之后,为了可以接收到客户端的信息,需要给通道设置读的权限。  
  26.                     channel.register(this.selector, SelectionKey.OP_READ);  
  27.                       
  28.                     // 获得了可读的事件  
  29.                 } else if (key.isReadable()) {  
  30.                         read(key);  
  31.                 }  
  32.   
  33.             }  
  34.   
  35.         }  
  36.     }  
  37.  /** 
  38.      * 处理读取客户端发来的信息 的事件 
  39.      * @param key 
  40.      * @throws IOException  
  41.      */  
  42.     public void read(SelectionKey key) throws IOException{  
  43.         // 服务器可读取消息:得到事件发生的Socket通道  
  44.         SocketChannel channel = (SocketChannel) key.channel();  
  45.         // 创建读取的缓冲区  
  46.         ByteBuffer buffer = ByteBuffer.allocate(10);  
  47.         buffer.clear();
  48.         channel.read(buffer);  
  49.         byte[] data = buffer.array();  
  50.         String msg = new String(data).trim();  
  51.         System.out.println("服务端收到信息:"+msg);  
  52.         ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());  
  53.         channel.write(outBuffer);// 将消息回送给客户端  
  54.     }  
  55.       
  56.     /** 
  57.      * 启动服务端测试 
  58.      * @throws IOException  
  59.      */  
  60.     public static void main(String[] args) throws IOException {  
  61.         NIOServer server = new NIOServer();  
  62.         server.initServer(8000);  
  63.         server.listen();  
  64.     }  
  65.   
  66. }  

   代码中关键的几个点在:
   Selector.open();
   selector.select();
   阻塞后唤醒可以通过注册在selector上的socket有事件发生 或者 selector.select(timeOut)超时 或者              selector.wakeup()主动唤醒;
   整个阻塞和唤醒的过程涉及到的点非常多,先上一张梳理出的整体图,再进入源码会比较容易理解

 

 

   具体的源码分析就不在这里一一说明了。今天注定是个难忘的日子,昨天深圳下了100多年来的第一场雪,今天周一来上班,好冷好冷,写这篇文章手都快僵了!!!!

   具体详解,可参考:

   http://weixiaolu.iteye.com/blog/1479656

   http://zhhphappy.iteye.com/blog/2032893

分享到:
评论

相关推荐

    Java NIO原理 图文分析及代码实现

    Java NIO原理 图文分析及代码实现

    java NIO技巧及原理

    java NIO技巧及原理解析,java IO原理,NIO框架分析,性能比较

    Java NIO原理分析及代码实例

    NULL 博文链接:https://dengqsintyt.iteye.com/blog/2083316

    Java NIO原理图文分析及代码实现

    本文主要介绍Java NIO原理的知识,这里整理了详细资料及简单示例代码和原理图,有需要的小伙伴可以参考下

    Java NIO——Selector机制解析三(源码分析)

    NULL 博文链接:https://goon.iteye.com/blog/1775421

    java nio 原理浅析

    本文将主要分析Netty实现方面的东西,由于精力有限,本人并没有对其源码做了极细 致的研 究。如果下面的内容有错误或不严谨的地方,也请指正和谅解。对于Netty使用者来说,Netty提供了几个典型的example,并有详尽的...

    Java NIO工作原理的全面分析

    JDK 1.4 中引入的新输入输出 (NIO) 库在标准 Java 代码中提供了高速的、面向块的 I/O。本实用教程从高级概念到底层的编程细节,非常详细地介绍了 NIO 库。您将学到诸如缓冲区和通道这样的关键 I/O 元素的知识,并...

    【图解】深入分析Java IO&NIO;工作机制

    【图解】深入分析Java I_O工作机制,从传统IO分析至NIO,调优以及原理,不可用于商业用途,如有版权问题,请联系删除!

    Java NIO Selector用法详解【含多人聊天室实例】

    主要介绍了Java NIO Selector用法,结合实例形式分析了Java NIO Selector基本功能、原理与使用方法,并结合了多人聊天室实例加以详细说明,需要的朋友可以参考下

    Java思维导图xmind文件+导出图片

    Nginx Location ReWrite 等语法配置及原理分析 Nginx提供https服务 基于Nginx+lua完成访问流量实时上报Kafka的实战 Netty 高性能NIO框架 IO 的基本概念、NIO、AIO、BIO深入分析 NIO的核心设计思想 Netty产生...

    最新Java面试题视频网盘,Java面试题84集、java面试专属及面试必问课程

    面试题包含了不同技术层面的面试问题,同时也能对一些没有面试开发经验的小白给予不可估量的包装, 让你的薪水绝对翻倍, 本人亲试有效.Java面试题84集、java面试专属及面试必问课程,所有的面试题有视屏讲解, 解答方案....

    core-nio:nio底层实现原理(另外还有aio的功能)

    core-niojava nio 客户端和服务端交互实现主要通过长连接的方式进行数据交换,采用多路复用技术,同步非阻塞模式。主要有以下几个概念Channel(渠道,类似于高速公路可以处理很多线程io);Selector(选择器,可以...

    2019java亲生经历面试题答案解析准备.zip

    8.高性能网络编程必备技能之IO与NIO阻塞分析 10.微服务架构之Spring Cloud Eureka 场景分析与实战 11.高性能必学之Mysql主从架构实践 13.RPC底层通讯原理之Netty线程模型源码分析 14.分库分表之后分布式下如何保证ID...

    Netty权威指南 第2版 带书签目录 完整版

    《Netty 权威指南(第2 版)》适合架构师、设计师、软件开发工程师、测试人员以及其他对JavaNIO 框架、Netty 感兴趣的相关人士阅读,通过《Netty 权威指南(第2 版)》的学习,读者不仅能够掌握Netty 基础功能的使用...

    精通并发与 netty 视频教程(2018)视频教程

    47_Netty服务器与客户端编码模式回顾及源码分析准备 48_Netty与NIO系统总结及NIO与Netty之间的关联关系分析 49_零拷贝深入剖析及用户空间与内核空间切换方式 50_零拷贝实例深度剖析 51_NIO零拷贝彻底分析与Gather...

    JAVA上百实例源码以及开源项目

     基于JAVA的UDP服务器模型源代码,内含UDP服务器端模型和UDP客户端模型两个小程序,向JAVA初学者演示UDP C/S结构的原理。 简单聊天软件CS模式 2个目标文件 一个简单的CS模式的聊天软件,用socket实现,比较简单。 ...

    JAVA上百实例源码以及开源项目源代码

     基于JAVA的UDP服务器模型源代码,内含UDP服务器端模型和UDP客户端模型两个小程序,向JAVA初学者演示UDP C/S结构的原理。 简单聊天软件CS模式 2个目标文件 一个简单的CS模式的聊天软件,用socket实现,比较简单。 ...

    Netty权威指南 第2版 带书签目录 高清完整版.pdf

    内容不仅包含Java NIO入门知识、Netty 的基础功能开发指导、编解码框架定制等,还包括私有协议栈定制和开发、Netty 核心类库源码分析,以及Netty 的架构剖析。 《Netty 权威指南(第2 版)》适合架构师、设计师、...

    精通并发与netty视频教程(2018)视频教程

    48_Netty与NIO系统总结及NIO与Netty之间的关联关系分析 49_零拷贝深入剖析及用户空间与内核空间切换方式 50_零拷贝实例深度剖析 51_NIO零拷贝彻底分析与Gather操作在零拷贝中的作用详解 52_NioEventLoopGroup源码...

Global site tag (gtag.js) - Google Analytics