Java NIO原理和使用

Java NIO非堵塞应用通常适用用在I/O读写等方面,我们知道,系统运行的性能瓶颈通常在I/O读写,包括对端口和文件的操作上,过去,在打开一个I/O通道后,read()将一直等待在端口一边读取字节内容,如果没有内容进来,read()也是傻傻的等,这会影响我们程序继续做其他事情,那么改进做法就是开设线程,让线程去等待,但是这样做也是相当耗费资源的。

Java NIO非堵塞技术实际是采取Reactor模式,或者说是Observer模式为我们监察I/O端口,如果有内容进来,会自动通知我们,这样,我们就不必开启多个线程死等,从外界看,实现了流畅的I/O读写,不堵塞了。

Java NIO出现不只是一个技术性能的提高,你会发现网络上到处在介绍它,因为它具有里程碑意义,从JDK1.4开始,Java开始提高性能相关的功能,从而使得Java在底层或者并行分布式计算等操作上已经可以和C或Perl等语言并驾齐驱。

如果你至今还是在怀疑Java的性能,说明你的思想和观念已经完全落伍了,Java一两年就应该用新的名词来定义。从JDK1.5开始又要提供关于线程、并发等新性能的支持,Java应用在游戏等适时领域方面的机会已经成熟,Java在稳定自己中间件地位后,开始蚕食传统C的领域。

本文主要简单介绍NIO的基本原理,在下一篇文章中,将结合Reactor模式和著名线程大师Doug Lea的一篇文章深入讨论。

NIO主要原理和适用。

NIO 有一个主要的类Selector,这个类似一个观察者,只要我们把需要探知的socketchannel告诉Selector,我们接着做别的事情,当有事件发生时,他会通知我们,传回一组SelectionKey,我们读取这些Key,就会获得我们刚刚注册过的socketchannel,然后,我们从这个Channel中读取数据,放心,包准能够读到,接着我们可以处理这些数据。

Selector内部原理实际是在做一个对所注册的channel的轮询访问,不断的轮询(目前就这一个算法),一旦轮询到一个channel有所注册的事情发生,比如数据来了,他就会站起来报告,交出一把钥匙,让我们通过这把钥匙来读取这个channel的内容。

了解了这个基本原理,我们结合代码看看使用,在使用上,也在分两个方向,一个是线程处理,一个是用非线程,后者比较简单,看下面代码:

import java.io.*;
import java.nio.*;
import java.nio.channels.*;
import java.nio.channels.spi.*;
import java.net.*;
import java.util.*;
/**
*
* @author Administrator
* @version
*/

public class NBTest {

  /** Creates new NBTest */
  public NBTest()
  {
  }

  public void startServer() throws Exception
  {
  int channels = 0;
  int nKeys = 0;
  int currentSelector = 0;

  //使用Selector
  Selector selector = Selector.open();

  //建立Channel 并绑定到9000端口
  ServerSocketChannel ssc = ServerSocketChannel.open();
  InetSocketAddress address = new InetSocketAddress(InetAddress.getLocalHost(),9000);
  ssc.socket().bind(address);

  //使设定non-blocking的方式。
  ssc.configureBlocking(false);

  //向Selector注册Channel及我们有兴趣的事件
  SelectionKey s = ssc.register(selector, SelectionKey.OP_ACCEPT);
  printKeyInfo(s);

  while(true) //不断的轮询
  {
    debug(“NBTest: Starting select”);

    //Selector通过select方法通知我们我们感兴趣的事件发生了。
    nKeys = selector.select();
    //如果有我们注册的事情发生了,它的传回值就会大于0
    if(nKeys > 0)
    {
      debug(“NBTest: Number of keys after select operation: ” +nKeys);

      //Selector传回一组SelectionKeys
      //我们从这些key中的channel()方法中取得我们刚刚注册的channel。
      Set selectedKeys = selector.selectedKeys();
      Iterator i = selectedKeys.iterator();
      while(i.hasNext())
      {
         s = (SelectionKey) i.next();
         printKeyInfo(s);
         debug(“NBTest: Nr Keys in selector: ” +selector.keys().size());

         //一个key被处理完成后,就都被从就绪关键字(ready keys)列表中除去
         i.remove();
         if(s.isAcceptable())
         {
           // 从channel()中取得我们刚刚注册的channel。
           Socket socket = ((ServerSocketChannel)s.channel()).accept().socket();
           SocketChannel sc = socket.getChannel();

           sc.configureBlocking(false);
           sc.register(selector, SelectionKey.OP_READ |SelectionKey.OP_WRITE);
                      System.out.println(++channels);
         }
         else
         {
           debug(“NBTest: Channel not acceptable”);
         }
      }
   }
   else
   {
      debug(“NBTest: Select finished without any keys.”);
   }

  }

}

private static void debug(String s)
{
  System.out.println(s);
}

private static void printKeyInfo(SelectionKey sk)
{
  String s = new String();

  s = “Att: ” + (sk.attachment() == null ? “no” : “yes”);
  s += “, Read: ” + sk.isReadable();
  s += “, Acpt: ” + sk.isAcceptable();
  s += “, Cnct: ” + sk.isConnectable();
  s += “, Wrt: ” + sk.isWritable();
  s += “, Valid: ” + sk.isValid();
  s += “, Ops: ” + sk.interestOps();
  debug(s);
}

/**
* @param args the command line arguments
*/
public static void main (String args[])
{
  NBTest nbTest = new NBTest();
  try
  {
    nbTest.startServer();
  }
    catch(Exception e)
  {
    e.printStackTrace();
  }
}

}

这是一个守候在端口9000的noblock server例子,如果我们编制一个客户端程序,就可以对它进行互动操作,或者使用telnet 主机名 90000 可以链接上。

通过仔细阅读这个例程,相信你已经大致了解NIO的原理和使用方法,下一篇,我们将使用多线程来处理这些数据,再搭建一个自己的Reactor模式。

JAVA NIO 简介

http://www.iteye.com/topic/834447

1. 基本 概念
IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现,底层通过 I/O 指令进行完成。
所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 的 printf scanf,java 的面向对象封装 )
2. Java 标准 io 回顾
Java 标准 IO 类库是 io 面向对象的一种抽象。基于本地方法的底层实现,我们无须关注底层实现。 InputStreamOutputStream( 字节流 ) :一次传送一个字节。 ReaderWriter( 字符流 ) :一次一个字符。
3. nio 简介
nio 是 java New IO 的简称,在 jdk1.4 里提供的新 api 。 Sun 官方标榜的特性如下:
– 为所有的原始类型提供 (Buffer) 缓存支持。
– 字符集编码解码解决方案。
– Channel :一个新的原始 I/O 抽象。
– 支持锁和内存映射文件的文件访问接口。
– 提供多路 (non-bloking) 非阻塞式的高伸缩性网络 I/O 。
本文将围绕这几个特性进行学习和介绍。
4. Buffer&Chanel
Channel 和 buffer 是 NIO 是两个最基本的数据类型抽象。
Buffer:
– 是一块连续的内存块。
– 是 NIO 数据读或写的中转地。
Channel:
– 数据的源头或者数据的目的地
– 用于向 buffer 提供数据或者读取 buffer 数据 ,buffer 对象的唯一接口。
– 异步 I/O 支持

图1:channel和buffer关系

例子 1:CopyFile.java:
Java代码
package sample;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;

public class CopyFile {
public static void main(String[] args) throws Exception {
String infile = “C:\copy.sql”;
String outfile = “C:\copy.txt”;
// 获取源文件和目标文件的输入输出流
FileInputStream fin = new FileInputStream(infile);
FileOutputStream fout = new FileOutputStream(outfile);
// 获取输入输出通道
FileChannel fcin = fin.getChannel();
FileChannel fcout = fout.getChannel();
// 创建缓冲区
ByteBuffer buffer = ByteBuffer.allocate(1024);
while (true) {
// clear方法重设缓冲区,使它可以接受读入的数据
buffer.clear();
// 从输入通道中将数据读到缓冲区
int r = fcin.read(buffer);
// read方法返回读取的字节数,可能为零,如果该通道已到达流的末尾,则返回-1
if (r == -1) {
break;
}
// flip方法让缓冲区可以将新读入的数据写入另一个通道
buffer.flip();
// 从输出通道中将数据写入缓冲区
fcout.write(buffer);
}
}
}

其中 buffer 内部结构如下 ( 下图拷贝自资料 ):

图2:buffer内部结构
一个 buffer 主要由 position,limit,capacity 三个变量来控制读写的过程。此三个变量的含义见如下表格:
参数
写模式
读模式
position
当前写入的单位数据数量。
当前读取的单位数据位置。
limit
代表最多能写多少单位数据和容量是一样的。
代表最多能读多少单位数据,和之前写入的单位数据量一致。
capacity
buffer 容量
buffer 容量
Buffer 常见方法:
flip(): 写模式转换成读模式
rewind() :将 position 重置为 0 ,一般用于重复读。
clear() :清空 buffer ,准备再次被写入 (position 变成 0 , limit 变成 capacity) 。
compact(): 将未读取的数据拷贝到 buffer 的头部位。
mark() 、 reset():mark 可以标记一个位置, reset 可以重置到该位置。
Buffer 常见类型: ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。
channel 常见类型 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)
在本机上面做了个简单的性能测试。我的笔记本性能一般。 ( 具体代码可以见附件。见 nio.sample.filecopy 包下面的例子 ) 以下是参考数据:
– 场景 1 : Copy 一个 370M 的文件
– 场景 2: 三个线程同时拷贝,每个线程拷贝一个 370M 文件

场景
FileInputStream+
FileOutputStream
FileInputStream+
BufferedInputStream+
FileOutputStream
ByteBuffer+
FileChannel
MappedByteBuffer
+FileChannel
场景一时间 ( 毫秒 )
25155
17500
19000
16500
场景二时间 ( 毫秒 )
69000
67031
74031
71016
5. nio.charset
字符编码解码 : 字节码本身只是一些数字,放到正确的上下文中被正确被解析。向 ByteBuffer 中存放数据时需要考虑字符集的编码方式,读取展示 ByteBuffer 数据时涉及对字符集解码。
Java.nio.charset 提供了编码解码一套解决方案。
以我们最常见的 http 请求为例,在请求的时候必须对请求进行正确的编码。在得到响应时必须对响应进行正确的解码。
以下代码向 baidu 发一次请求,并获取结果进行显示。例子演示到了 charset 的使用。
例子 2BaiduReader.java
Java代码
package nio.readpage;

import java.nio.ByteBuffer;
import java.nio.channels.SocketChannel;
import java.nio.charset.Charset;
import java.net.InetSocketAddress;
import java.io.IOException;
public class BaiduReader {
private Charset charset = Charset.forName(“GBK”);// 创建GBK字符集
private SocketChannel channel;
public void readHTMLContent() {
try {
InetSocketAddress socketAddress = new InetSocketAddress(
“www.baidu.com”, 80);
//step1:打开连接
channel = SocketChannel.open(socketAddress);
//step2:发送请求,使用GBK编码
channel.write(charset.encode(“GET ” + “/ HTTP/1.1” + “rnrn”));
//step3:读取数据
ByteBuffer buffer = ByteBuffer.allocate(1024);// 创建1024字节的缓冲
while (channel.read(buffer) != -1) {
buffer.flip();// flip方法在读缓冲区字节操作之前调用。
System.out.println(charset.decode(buffer));
// 使用Charset.decode方法将字节转换为字符串
buffer.clear();// 清空缓冲
}
} catch (IOException e) {
System.err.println(e.toString());
} finally {
if (channel != null) {
try {
channel.close();
} catch (IOException e) {
}
}
}
}
public static void main(String[] args) {
new BaiduReader().readHTMLContent();
}
}

6. 非阻塞 IO
关于非阻塞 IO 将从何为阻塞、何为非阻塞、非阻塞原理和异步核心 API 几个方面来理解。
何为阻塞?
一个常见的网络 IO 通讯流程如下 :

图3:网络通讯基本过程
从该网络通讯过程来理解一下何为阻塞 :
在以上过程中若连接还没到来,那么 accept 会阻塞 , 程序运行到这里不得不挂起, CPU 转而执行其他线程。
在以上过程中若数据还没准备好, read 会一样也会阻塞。
阻塞式网络 IO 的特点:多线程处理多个连接。每个线程拥有自己的栈空间并且占用一些 CPU 时间。每个线程遇到外部为准备好的时候,都会阻塞掉。阻塞的结果就是会带来大量的进程上下文切换。且大部分进程上下文切换可能是无意义的。比如假设一个线程监听一个端口,一天只会有几次请求进来,但是该 cpu 不得不为该线程不断做上下文切换尝试,大部分的切换以阻塞告终。

何为非阻塞?
下面有个隐喻:
一辆从 A 开往 B 的公共汽车上,路上有很多点可能会有人下车。司机不知道哪些点会有哪些人会下车,对于需要下车的人,如何处理更好?
1. 司机过程中定时询问每个乘客是否到达目的地,若有人说到了,那么司机停车,乘客下车。 ( 类似阻塞式 )
2. 每个人告诉售票员自己的目的地,然后睡觉,司机只和售票员交互,到了某个点由售票员通知乘客下车。 ( 类似非阻塞 )
很显然,每个人要到达某个目的地可以认为是一个线程,司机可以认为是 CPU 。在阻塞式里面,每个线程需要不断的轮询,上下文切换,以达到找到目的地的结果。而在非阻塞方式里,每个乘客 ( 线程 ) 都在睡觉 ( 休眠 ) ,只在真正外部环境准备好了才唤醒,这样的唤醒肯定不会阻塞。
非阻塞的原理
把整个过程切换成小的任务,通过任务间协作完成。
由一个专门的线程来处理所有的 IO 事件,并负责分发。
事件驱动机制:事件到的时候触发,而不是同步的去监视事件。
线程通讯:线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的进程切换。
以下是异步 IO 的结构:

图4:非阻塞基本原理

Reactor 就是上面隐喻的售票员角色。每个线程的处理流程大概都是读取数据、解码、计算处理、编码、发送响应。
异步 IO 核心 API
Selector
异步 IO 的核心类,它能检测一个或多个通道 (channel) 上的事件,并将事件分发出去。
使用一个 select 线程就能监听多个通道上的事件,并基于事件驱动触发相应的响应。而不需要为每个 channel 去分配一个线程。
SelectionKey
包含了事件的状态信息和时间对应的通道的绑定。
例子 1 单线程实现监听两个端口。 ( 见 nio.asyn 包下面的例子。 )
例子 2 NIO 线程协作实现资源合理利用。 (wait,notify) 。 ( 见 nio.asyn.multithread 下的例子 )

教是最好的学

在部门以及团队内部鼓励大家分享交流时,会提到一个观点:教是最好的学——如何让自己学习并掌握好一门知识、一种技能,最好的方法就是把这门知识、技能去教授给别人。

如何学习,如何让自己掌握新的知识技能,每个人都有自己的方法,但是,教授是最快速直接和双赢的方法。

记得第一次去苏州给销售、客服培训业务知识时,备课过程中发现对业务的理解是那么苍白,随便一个知识点扩展就不知道原理,然后用一个多星期的个人时间去进行知识点的学习深造;
记得第一次当导师,很多习以为常的业务点,无法清晰的讲出来原理让新员工听明白,然后自己不断的找生活的类似的例子做比喻说明,不知不觉中锻炼了表达能力、拓展思路;
记得第一次当公司讲师,很多资深的专业人士一针见血的提出问题并把我晾在台上,自己想办法圆场、致歉,请专家表态,恨不得永不登台,然后课后查漏补缺,一步步提高自己……

相信很多同事也有类似的经历,当你去教给别人知识、业务的时候,往往能发现自己的不足,或者通过沟通交流,让自己触类旁通,学到更多的东西。

这就是我要描述的最好的学习方法:教是最好的学。

大家可以自己尝试一下:
你阅读一篇技术文档,抱着自己了解熟悉的态度看两个小时,你能学到什么?
同样,如果要求你两个小时后,给领导或同事当众演讲,你能学到什么?

如果你以一个老师的角色来学习,那么你会更加专心,你会尝试理解文档的系统架构,你会尝试用一些例子或者比喻去解答一些技术逻辑或现象,你会尝试提炼出文档的核心要素,你会尝试去重构这篇文档。

教是最好的学是一个完整的循环:学习-理解-重构-讲解-沟通-反思-再学习。

1、 学习:首先你会有一个学习的过程,把一门知识通过自己的方法进行学习掌握。

2、 理解:并不是看过书,知道皮毛就可以去交给别人,做到教的程度,你还要对所学的东西做一个深入的理解,把书本上的语言和思路,转化为自己的语言和思路,把技能的方法转化为自己的方法。

3、 重构:自己制作PPT,把别人的道理转化为自己的道理。借用一句经典的话:当你对一个行业有了自己的看法和认识,而不是生搬硬套各种原理定律时,就表明你对这个行业入门了。

4、 讲解:把自己对这门知识、技能的理解讲出来,是学有小成的概念。别人的道理经过你的吸收、理解,最后能表达出来的东西,才是你的。比如做菜,你看了很多菜谱和美食节目,最后自己下厨炒出来的,才是自己学习的成果。

5、 沟通:你在培训、学习、例会、评审等各类场合讲出来,无论面对的是新员工、同事、高级工程师、资深专家还是领导、外部客户等等,你表达了自己的看法,肯定会得到很多反应:求学、质疑、刁难、好奇、奇思妙想……通过解答问题,或者干脆承认自己没在某方向下功夫,你会对这门知识的理解程度拓展和深入很多。这是对自己掌握知识的最好审查。

6、 反思:通过教学过程沟通,得到一个结果后反思自己所学,会发现很多薄弱环节和新鲜思路,以此形成个人小结。

7、 新的循环:学习-理解-重构-讲解-沟通-反思-再学习。

在实际的工作中,个人也是这样应用的。

1、 比如测试部有一名新的LTM,对测试流程不太熟悉,那么就安排新LTM在测试部二营培训中,专门给新员工讲解测试流程。那么无论是基于压力,还是基于责任,或者基于面子,新LTM肯定会在课前尽心尽力的去学习掌握测试流程。然后通过课程过程的讲述,以及和大家的互动,肯定能让自己对测试流程的理解深入很多。

2、 讲解需求:原来都是测试LTM给测试工程师讲解新的功能需求点,以及测试思路测试方法,结果效果不好,技术的东西总是枯燥的,测试工程师听的昏昏欲睡。后来我们就反过来,让测试工程师学习之后去教给LTM,去讲给LTM听,这样能让学习效果最大化。

3、 同样的思路,我们在一步步落实,让开发人员去给需求人员讲解需求——需求人员对需求再清楚,如果开发人员不理解也没用。反过来做,效果也是最大化。

4、 个人提升方面也是:比如让一个对H323不熟悉的人,要求一个月后给大家讲解H323协议,相信听课的人,能或多或少学到一些知识,但是收获最大的,还是讲课的人——他费心费力的去学习,制作ppt重构,用自己的语言去讲解知识,并做课堂解答。

以上就是我对学习的理解。所以我才会言传身教的告诉大家,多出来分享你的知识和技能,这是双赢的事情,第一你能让更多人获得技能,从而让自己解放,第二,你能在整个过程中,收获很多新的知识、思路、灵感。

教是最好的学,在整个过程中,实际上获得最大收获的,是站出来教学的人。你付出的越多,你收获的自然也就越多!

Apache Ivy

http://www.ibm.com/developerworks/cn/java/j-ap05068/
Apache Ivy
  Apache Ivy 是Apache Ant 下的一个子项目,最新版本是2009年1月20日发布的2.0.0正式版。Apache Ivy是一个优秀的管理(记录、跟踪、解析和报告)项目依赖的工具,提供了强大的依赖管理功能,可与Apache Ant紧密集成。
  值得注意的功能有:
  1。能够和Apache Ant紧密集成
  2。支持多个不同的依赖存储
  3。依赖报告Dependency Reporting
  4。支持持续集成
  5。强大的冲突管理功能。
  Maven和Ivy的区别 :
  Maven2,它是一个模块化项目构建工具(Building a Project )。它能够管理依赖、构建周期、测试、打包并且在仓库中发布你的制品。它是一个项目构建工具,领先于通常的构建工具(实际上它的第一个版本是在Ant之上的一层)。apacheivy2 对项目依赖的文件可以进行统一的管理,依赖于ant,它是一个管理(记录、跟踪、解析和报告)项目依赖的工具 (dependencytool).

JDBC事务和JTA (XA)事务区别

简单的说 jta是多库的事务 jdbc是单库的事务

JTA提供了跨数据库连接(或其他JTA资源)的事务管理能力。这一点是与JDBC Transaction最大的差异。
JDBC事务由Connnection管理,也就是说,事务管理实际上是在JDBC Connection中实现。事务周期限于Connection的生命周期。

JDBC 事务
JDBC 事务是用 Connection 对象控制的。JDBC Connection 接口( java.sql.Connection )提供了两种事务模式:自动提交和手工提交。
★ 在jdbc中,事务操作缺省是自动提交。也就是说,一条对数据库的更新表达式代表一项事务操作,操作成功后,系统将自动调用commit()来提交,否则将调用rollback()来回滚。
★ 在jdbc中,可以通过调用setAutoCommit(false)来禁止自动提交。之后就可以把多个数据库操作的表达式作为一个事务,在操作完成后调 用commit()来进行整体提交,倘若其中一个表达式操作失败,都不会执行到commit(),并且将产生响应的异常;此时就可以在异常捕获时调用 rollback()进行回滚。这样做可以保持多次更新操作后,相关数据的一致性
★JDBC 事务的一个缺点是事务的范围局限于一个数据库连接。一个 JDBC 事务不能跨越多个数据库。

JTA事务
JTA(Java Transaction API) 为 J2EE 平台提供了分布式事务服务。
★ 要用 JTA 进行事务界定,应用程序要调用 javax.transaction.UserTransaction 接口中的方法。例如:
utx.begin();
// ...
DataSource ds = obtainXADataSource();
Connection conn = ds.getConnection();
pstmt = conn.prepareStatement("UPDATE MOVIES ...");
pstmt.setString(1, "Spinal Tap");
pstmt.executeUpdate();
// ...
utx.commit();

选择最好的方式

我们讨论了如何用 JDBC 和 JTA 界定事务。每一种方式都有其优点,您需要决定哪一种最适合于您的应用程序。

在最近的许多项目中,我们小组是用 JDBC API 进事务界定来构建 DAO 类的。这些 DAO 类可以总结如下:

  • 事务界定代码嵌入在 DAO 类中。
  • DAO 类使用 JDBC API 进行事务界定。
  • 调用者不能界定事务。
  • 事务范围局限于单个 JDBC 连接。

JDBC 事务并不总是适合复杂的企业应用程序。如果您的事务要跨越多个 DAO 或者多个数据库,那么下列实现策略也许更合适:

  • 事务用 JTA 界定。
  • 事务界定代码从 DAO 中分离出来。
  • 调用者负责界定事务。
  • DAO 加入一个全局事务。

JDBC 方式由于其简单性而具有吸引力,JTA 方式提供了更大的灵活性。您所选择的实现将取决于应用程序的特定需求。

引用:高级 DAO 编程http://www.ibm.com/developerworks/cn/java/j-dao/
http://www.51cto.com/specbook/24/6924.htm