- 浏览: 1000852 次
-
文章分类
- 全部博客 (428)
- Hadoop (2)
- HBase (1)
- ELK (1)
- ActiveMQ (13)
- Kafka (5)
- Redis (14)
- Dubbo (1)
- Memcached (5)
- Netty (56)
- Mina (34)
- NIO (51)
- JUC (53)
- Spring (13)
- Mybatis (17)
- MySQL (21)
- JDBC (12)
- C3P0 (5)
- Tomcat (13)
- SLF4J-log4j (9)
- P6Spy (4)
- Quartz (12)
- Zabbix (7)
- JAVA (9)
- Linux (15)
- HTML (9)
- Lucene (0)
- JS (2)
- WebService (1)
- Maven (4)
- Oracle&MSSQL (14)
- iText (11)
- Development Tools (8)
- UTILS (4)
- LIFE (8)
最新评论
-
Donald_Draper:
Donald_Draper 写道刘落落cici 写道能给我发一 ...
DatagramChannelImpl 解析三(多播) -
Donald_Draper:
刘落落cici 写道能给我发一份这个类的源码吗Datagram ...
DatagramChannelImpl 解析三(多播) -
lyfyouyun:
请问楼主,执行消息发送的时候,报错:Transport sch ...
ActiveMQ连接工厂、连接详解 -
ezlhq:
关于 PollArrayWrapper 状态含义猜测:参考 S ...
WindowsSelectorImpl解析一(FdMap,PollArrayWrapper) -
flyfeifei66:
打算使用xmemcache作为memcache的客户端,由于x ...
Memcached分布式客户端(Xmemcached)
ThreadLocal解析 :http://donald-draper.iteye.com/blog/2368159
Java NIO ByteBuffer详解:http://donald-draper.iteye.com/blog/2357084
DirectByteBuffer简介:http://donald-draper.iteye.com/blog/2372351
SelectorProvider定义:http://donald-draper.iteye.com/blog/2369615
ServerSocketChannelImpl解析:http://donald-draper.iteye.com/blog/2370912
SocketChannel接口定义:http://donald-draper.iteye.com/blog/2371218
引言:
在SocketChannel接口定义这篇文章中,我们看了socket的连接,完成连接,是否正在建立连接,读缓冲区写到通道,聚集写,读通道写缓冲区,分散读等方法。在NIO包中TCP发送接受字节序列通过SocketChannel。今天我们来看一下SocketChannel的具体
实现。我们从SocketChannel的open方法开始。
//SocketChannel
SelectorProvider.provider()这个过程我们就不详说了实际是加载系统默认的SelectorProvider
实例,则个我们在SelectorProvider定义有提过,简单看一下:
//SelectorProviderImpl
从上面可以看出,SocketChannel的默认实现为SocketChannelImpl。再来看SocketChannelImpl的变量
声明和相关方法的实现。
SocketChannelImpl的构造方法有三种分别如下
1.
2.
3.
我们需要关注的是这两点,
//Net
//IOUtil
这个我们在ServerSocketChannelImpl解析这篇文章接触过Net和IOUtil,这里不具体的解释了
,看一下即可,很容易理解。
//Net
从上面可以看出SocketChannelImpl构造主要是初始化读写及状态锁和通道socket文件描述。
来看SocketChannelImpl的其他方法
//连接socket地址
connect连接方法有几点要看:
1.
2.
3.尝试连接socket地址
4.检查连接结果
下面分别来看这四点:
1.
2.
3.尝试连接socket地址
//Net
4.检查连接结果
这一点我们需要关注的是IOStatus.check(i)这句:
//IOStatus
从上面可以看出,connect连接方法首先同步读锁和写锁,确保socket通道打开,并没有连接;
然后检查socket地址的正确性与合法性,然后检查当前线程是否有Connect方法的访问控制权限,
最后尝试连接socket地址。
再来看地址绑定方法bind
下面来看SocketChannelImpl的几个读写方法
先来看从缓冲区读取数据,写到通道
写操作需要关注一下几点,
1.
2.
3.
下面分别来看这三点
1.
2.
//IOUtil
这一步我们有几点要关注:
a.
想要理解这点,先看一下Util的定义
//Util
//IOUtil,变量IOV_MAX
再来看Util的缓冲区的定义BufferCache
//Util
从上面可以看出BufferCache用一个ByteBuffer数组buffers存放写到缓冲区的字节流序列,每次写字节流对应一个ByteBuffer,用count记录当前缓冲区中的有数据或可用的ByteBuffer数量,start记录当前缓冲区buffers的头部;offerFirst方法向缓冲区的头部添加一个字节序列bytebuffer,即写字节序列到缓存区;offerLast与offerFirst恰好相反,写字节序列到缓冲区的尾部(索引start + count);next方法为向后移动缓冲区buffers索引;get(int i)方法为从缓冲区获取可以存放i个字节序列的ByteBuffer,并rewind字节缓冲区ByteBuffer,
限制孔勇空间为ByteBuffer。removeFirst为移除缓冲区头部的bytebuffer,并返回。
看过Util的BufferCache的定义,我们再回到
//Util
获取临时DirectByteBuffer有两点要看
a.1
//Util
//DirectBuffer
a.2
b.
//nativedispatcher参数实际为SocketDispatcher
来看两种方式的写
b.1
//Nativedispatcher
b.2
//SocketDispatcher
从缓冲读取字节序列,写到通道中,实际是通过SocketDispatcher完成实际的写工作,当前默认的写方法为write(FileDescriptor filedescriptor, long l, int i)。
c.
3.
//清除写线程
从以上分析可以看出,从缓冲区读取字节序列写到通道,首先确保通道打开,且输出流没有关闭,然后委托给IOUtil写字节序列;IOUtil写字节流过程为首先通过Util从当前线程的缓冲区获取可以容下字节序列的临时缓冲区(DirectByteBuffer),如果没有则创建一个DirectByteBuffer,将字节序列写到临时的DirectByteBuffer中,然后将写操作委托给nativedispatcher(SocketDispatcher),将DirectByteBuffer添加到当前线程的缓冲区,
以便重用,因为DirectByteBuffer实际上是存在物理内存中,频繁的分配将会消耗更多的资源。
总结:
SocketChannelImpl构造主要是初始化读写及状态锁和通道socket文件描述。
connect连接方法首先同步读锁和写锁,确保socket通道打开,并没有连接;然后检查socket地址的正确性与合法性,然后检查当前线程是否有Connect方法的访问控制权限,最后尝试连接socket地址。从缓冲区读取字节序列写到通道write(ByteBuffer),首先确保通道打开,且输出流没有关闭,然后委托给IOUtil写字节序列;IOUtil写字节流过程为首先通过Util从当前线程的缓冲区获取可以容下字节序列的临时缓冲区(DirectByteBuffer),如果没有则创建一个DirectByteBuffer,将字节序列写到临时的DirectByteBuffer中,然后将写操作委托给nativedispatcher(SocketDispatcher),将DirectByteBuffer添加到当前线程的缓冲区,
以便重用,因为DirectByteBuffer实际上是存在物理内存中,频繁的分配将会消耗更多的资源。
SocketChannelImpl 解析二(发送数据后续):http://donald-draper.iteye.com/blog/2372548
附:
权限检查:SecurityManager为系统的默认安全检查管理器,主要用于检查当前线程是否拥有
某个权限的访问控制权限,比如socket连接,监听,获取类加载等。
//SecurityManager
//SecurityConstants,安全权限常量
Java NIO ByteBuffer详解:http://donald-draper.iteye.com/blog/2357084
DirectByteBuffer简介:http://donald-draper.iteye.com/blog/2372351
SelectorProvider定义:http://donald-draper.iteye.com/blog/2369615
ServerSocketChannelImpl解析:http://donald-draper.iteye.com/blog/2370912
SocketChannel接口定义:http://donald-draper.iteye.com/blog/2371218
引言:
在SocketChannel接口定义这篇文章中,我们看了socket的连接,完成连接,是否正在建立连接,读缓冲区写到通道,聚集写,读通道写缓冲区,分散读等方法。在NIO包中TCP发送接受字节序列通过SocketChannel。今天我们来看一下SocketChannel的具体
实现。我们从SocketChannel的open方法开始。
//SocketChannel
public static SocketChannel open() throws IOException { return SelectorProvider.provider().openSocketChannel(); }
SelectorProvider.provider()这个过程我们就不详说了实际是加载系统默认的SelectorProvider
实例,则个我们在SelectorProvider定义有提过,简单看一下:
//SelectorProviderImpl
public abstract class SelectorProviderImpl extends SelectorProvider { public SocketChannel openSocketChannel() throws IOException { return new SocketChannelImpl(this); } }
从上面可以看出,SocketChannel的默认实现为SocketChannelImpl。再来看SocketChannelImpl的变量
声明和相关方法的实现。
class SocketChannelImpl extends SocketChannel implements SelChImpl { private static NativeDispatcher nd = new SocketDispatcher();//socket的分发器 private final FileDescriptor fd;//文件描述 private final int fdVal;//文件描述id private volatile long readerThread;//读线程 private volatile long writerThread;//写线程 private final Object readLock;//读锁 private final Object writeLock;//写锁 private final Object stateLock;//状态锁 private static final int ST_UNINITIALIZED = -1;//未初始化 private static final int ST_UNCONNECTED = 0;//未连接 private static final int ST_PENDING = 1;//正在连接 private static final int ST_CONNECTED = 2;//已连接 private static final int ST_KILLPENDING = 3;//正在关闭 private static final int ST_KILLED = 4;//关闭 private int state;//通道状态 private SocketAddress localAddress;//socket本地地址 private SocketAddress remoteAddress;//socket远端地址 private boolean isInputOpen;//输入流是否打开 private boolean isOutputOpen;//输出流是否打开 private boolean readyToConnect;//是否正在准备连接 private Socket socket;//通道套接字 static final boolean $assertionsDisabled = !sun/nio/ch/SocketChannelImpl.desiredAssertionStatus(); static { //加载nio,net资源库 Util.load(); } }
SocketChannelImpl的构造方法有三种分别如下
1.
SocketChannelImpl(SelectorProvider selectorprovider) throws IOException { super(selectorprovider); readerThread = 0L; writerThread = 0L; //初始化读写及状态锁 readLock = new Object(); writeLock = new Object(); stateLock = new Object(); state = -1;//状态默认为未初始化 isInputOpen = true; isOutputOpen = true; readyToConnect = false; fd = Net.socket(true);//初始化文件描述符 fdVal = IOUtil.fdVal(fd);//获取文件描述的值 state = 0;//已初始化,未连接 }
2.
SocketChannelImpl(SelectorProvider selectorprovider, FileDescriptor filedescriptor, boolean flag) throws IOException { super(selectorprovider); readerThread = 0L; writerThread = 0L; readLock = new Object(); writeLock = new Object(); stateLock = new Object(); state = -1; isInputOpen = true; isOutputOpen = true; readyToConnect = false; fd = filedescriptor; fdVal = IOUtil.fdVal(filedescriptor); state = 0;//已初始化,未连接 if(flag) //初始化本地地址 localAddress = Net.localAddress(filedescriptor); }
3.
SocketChannelImpl(SelectorProvider selectorprovider, FileDescriptor filedescriptor, InetSocketAddress inetsocketaddress) throws IOException { super(selectorprovider); readerThread = 0L; writerThread = 0L; readLock = new Object(); writeLock = new Object(); stateLock = new Object(); state = -1; isInputOpen = true; isOutputOpen = true; readyToConnect = false; fd = filedescriptor; fdVal = IOUtil.fdVal(filedescriptor); state = 2;//已连接 localAddress = Net.localAddress(filedescriptor); remoteAddress = inetsocketaddress; }
我们需要关注的是这两点,
a.fd = Net.socket(true);//初始化文件描述符
//Net
static FileDescriptor socket(boolean flag) throws IOException { return socket(UNSPEC, flag); } static FileDescriptor socket(ProtocolFamily protocolfamily, boolean flag) throws IOException { boolean flag1 = isIPv6Available() && protocolfamily != StandardProtocolFamily.INET; return IOUtil.newFD(socket0(flag1, flag, false)); } private static native int socket0(boolean flag, boolean flag1, boolean flag2);
//IOUtil
static FileDescriptor newFD(int i) { FileDescriptor filedescriptor = new FileDescriptor(); setfdVal(filedescriptor, i); return filedescriptor; }
这个我们在ServerSocketChannelImpl解析这篇文章接触过Net和IOUtil,这里不具体的解释了
,看一下即可,很容易理解。
b.localAddress = Net.localAddress(filedescriptor);
//Net
static InetSocketAddress localAddress(FileDescriptor filedescriptor) throws IOException { return new InetSocketAddress(localInetAddress(filedescriptor), localPort(filedescriptor)); } private static native int localPort(FileDescriptor filedescriptor) throws IOException; private static native InetAddress localInetAddress(FileDescriptor filedescriptor) throws IOException;
从上面可以看出SocketChannelImpl构造主要是初始化读写及状态锁和通道socket文件描述。
来看SocketChannelImpl的其他方法
//连接socket地址
public boolean connect(SocketAddress socketaddress) throws IOException { boolean flag = false; Object obj = readLock;//同步读锁 JVM INSTR monitorenter ;//try Object obj1 = writeLock;//同步写锁 JVM INSTR monitorenter ; InetSocketAddress inetsocketaddress; //确保socket通道处于打开状态,没有连接 ensureOpenAndUnconnected(); //检查socketAddress正确与合法性 inetsocketaddress = Net.checkAddress(socketaddress); SecurityManager securitymanager = System.getSecurityManager(); if(securitymanager != null) //检查当前线程是否有Connect方法的访问控制权限 securitymanager.checkConnect(inetsocketaddress.getAddress().getHostAddress(), inetsocketaddress.getPort()); //同步regLock锁,Lock for registration and configureBlocking operations //这个在AbstractSelectableChannel中定义 Object obj2 = blockingLock(); JVM INSTR monitorenter ; int i = 0; //Marks the begin/end of an I/O operation that might block indefinitely. begin();//与end协调使用,用于可能阻塞IO操作 boolean flag1; //同步状态锁 synchronized(stateLock) { if(isOpen()) break MISSING_BLOCK_LABEL_149; flag1 = false; } //清除Reader线程 readerCleanup(); end(i > 0 || i == -2); //断言连接结果大于-2,则连接失败,抛出断言异常 if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); return flag1; if(localAddress == null) //beforeTcpConnect为静态空方法体,这个我们在ServerSocketChannelImpl中有说 NetHooks.beforeTcpConnect(fd, inetsocketaddress.getAddress(), inetsocketaddress.getPort()); //初始化读线程 readerThread = NativeThread.current(); obj3; JVM INSTR monitorexit ; do { InetAddress inetaddress = inetsocketaddress.getAddress(); if(inetaddress.isAnyLocalAddress()) inetaddress = InetAddress.getLocalHost(); //尝试连接socket地址 i = Net.connect(fd, inetaddress, inetsocketaddress.getPort()); } while(i == -3 && isOpen()); readerCleanup(); end(i > 0 || i == -2); if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); break MISSING_BLOCK_LABEL_358; Exception exception1; exception1; readerCleanup(); end(i > 0 || i == -2); if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); else throw exception1; IOException ioexception; ioexception; //出现IO异常,则关闭通道 close(); throw ioexception; Object obj4 = stateLock; JVM INSTR monitorenter ; remoteAddress = inetsocketaddress; if(i <= 0) goto _L2; else goto _L1 _L1: state = 2; if(isOpen()) localAddress = Net.localAddress(fd); true; obj2; JVM INSTR monitorexit ;//退出同步 obj1; JVM INSTR monitorexit ; obj; JVM INSTR monitorexit ; return; _L2: if(!isBlocking()) state = 1; else if(!$assertionsDisabled) throw new AssertionError(); obj4; JVM INSTR monitorexit ; goto _L3 Exception exception2; exception2; obj4; JVM INSTR monitorexit ; throw exception2; _L3: obj2; JVM INSTR monitorexit ; goto _L4 Exception exception3; exception3; obj2; JVM INSTR monitorexit ; throw exception3; _L4: false; obj1; JVM INSTR monitorexit ; obj; JVM INSTR monitorexit ; return; Exception exception4; exception4; throw exception4; Exception exception5; exception5; throw exception5; }
connect连接方法有几点要看:
1.
//确保socket通道处于打开状态,没有连接 ensureOpenAndUnconnected();
2.
//清除Reader线程 readerCleanup();
3.尝试连接socket地址
do { InetAddress inetaddress = inetsocketaddress.getAddress(); if(inetaddress.isAnyLocalAddress()) inetaddress = InetAddress.getLocalHost(); //尝试连接socket地址 i = Net.connect(fd, inetaddress, inetsocketaddress.getPort()); } while(i == -3 && isOpen());
4.检查连接结果
if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); else throw exception1; IOException ioexception; ioexception; //出现IO异常,则关闭通道 close();
下面分别来看这四点:
1.
//确保socket通道处于打开状态,没有连接 ensureOpenAndUnconnected();
void ensureOpenAndUnconnected() throws IOException { synchronized(stateLock) { if(!isOpen())//通道关闭 throw new ClosedChannelException(); if(state == 2)//已经连接 throw new AlreadyConnectedException(); if(state == 1)//正在来接 throw new ConnectionPendingException(); } }
2.
//清除Reader线程 readerCleanup();
private void readerCleanup() throws IOException { synchronized(stateLock) { readerThread = 0L; //连接正在关闭,则调用kill完成实际关闭工作 if(state == 3) kill(); } }
3.尝试连接socket地址
do { InetAddress inetaddress = inetsocketaddress.getAddress(); if(inetaddress.isAnyLocalAddress()) inetaddress = InetAddress.getLocalHost(); //尝试连接socket地址,这里为什么是循序,因为连接操作有可能被中断,及i为-3, //当中断位消除时,继续尝试连接 i = Net.connect(fd, inetaddress, inetsocketaddress.getPort()); } while(i == -3 && isOpen());
//Net
static int connect(FileDescriptor filedescriptor, InetAddress inetaddress, int i) throws IOException { return connect(UNSPEC, filedescriptor, inetaddress, i); } static int connect(ProtocolFamily protocolfamily, FileDescriptor filedescriptor, InetAddress inetaddress, int i) throws IOException { boolean flag = isIPv6Available() && protocolfamily != StandardProtocolFamily.INET; return connect0(flag, filedescriptor, inetaddress, i); } private static native int connect0(boolean flag, FileDescriptor filedescriptor, InetAddress inetaddress, int i) throws IOException;
4.检查连接结果
if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); else throw exception1; IOException ioexception; ioexception; //出现IO异常,则关闭通道 close();
这一点我们需要关注的是IOStatus.check(i)这句:
//IOStatus
package sun.nio.ch; final class IOStatus { static final int EOF = -1;//结束 static final int UNAVAILABLE = -2;//不可用 static final int INTERRUPTED = -3;//操作中断 static final int UNSUPPORTED = -4;//不支持 static final int THROWN = -5;//异常 static final int UNSUPPORTED_CASE = -6; private IOStatus() { } static int normalize(int i) { if(i == -2) return 0; else return i; } //连接结果i大于等于-2,即连接失败 static boolean check(int i) { return i >= -2; } static long normalize(long l) { if(l == -2L) return 0L; else return l; } static boolean check(long l) { return l >= -2L; } static boolean checkAll(long l) { return l > -1L || l < -6L; } }
从上面可以看出,connect连接方法首先同步读锁和写锁,确保socket通道打开,并没有连接;
然后检查socket地址的正确性与合法性,然后检查当前线程是否有Connect方法的访问控制权限,
最后尝试连接socket地址。
再来看地址绑定方法bind
public SocketChannel bind(SocketAddress socketaddress) throws IOException { //同步读锁,写锁,状态锁 synchronized(readLock) { synchronized(writeLock) { synchronized(stateLock) { if(!isOpen())//通道关闭 throw new ClosedChannelException(); if(state == 1)//正在连接 throw new ConnectionPendingException(); if(localAddress != null) throw new AlreadyBoundException(); //检查地址 InetSocketAddress inetsocketaddress = socketaddress != null ? Net.checkAddress(socketaddress) : new InetSocketAddress(0); NetHooks.beforeTcpBind(fd, inetsocketaddress.getAddress(), inetsocketaddress.getPort()); //绑定地址,这个在ServerSocketChannelImpl篇,一看过不在重复。 Net.bind(fd, inetsocketaddress.getAddress(), inetsocketaddress.getPort()); //初始化localAddress localAddress = Net.localAddress(fd); } } } return this; }
下面来看SocketChannelImpl的几个读写方法
先来看从缓冲区读取数据,写到通道
public int write(ByteBuffer bytebuffer) throws IOException { if(bytebuffer == null) throw new NullPointerException(); Object obj = writeLock;//同步写锁 JVM INSTR monitorenter ;//进入同步 int i; //确保没有关闭输出流 ensureWriteOpen(); i = 0; begin();//end, int k; synchronized(stateLock) { if(isOpen()) break MISSING_BLOCK_LABEL_140; k = 0; } //清除写线程 writerCleanup(); end(i > 0 || i == -2); //同步状态锁,如果通道输出流关闭或写异常,则抛出AsynchronousCloseException synchronized(stateLock) { if(i <= 0 && !isOutputOpen) throw new AsynchronousCloseException(); } //断言,检查写结果 if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); return k; //初始化线程 writerThread = NativeThread.current(); obj1; JVM INSTR monitorexit ; int j; do //写字节流,为什么是循环写,如果字节序列太多,发送缓冲区一次写不完,需要分多次写 i = IOUtil.write(fd, bytebuffer, -1L, nd, writeLock); while(i == -3 && isOpen()); j = IOStatus.normalize(i); writerCleanup(); end(i > 0 || i == -2); synchronized(stateLock) { if(i <= 0 && !isOutputOpen) throw new AsynchronousCloseException(); } if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); obj; JVM INSTR monitorexit ; return j; Exception exception3; exception3; writerCleanup(); end(i > 0 || i == -2); synchronized(stateLock) { if(i <= 0 && !isOutputOpen) throw new AsynchronousCloseException(); } if(!$assertionsDisabled && !IOStatus.check(i)) throw new AssertionError(); else throw exception3; Exception exception5; exception5; throw exception5; }
写操作需要关注一下几点,
1.
//确保没有关闭输出流 ensureWriteOpen();
2.
//写字节流 do //写字节流 i = IOUtil.write(fd, bytebuffer, -1L, nd, writeLock); while(i == -3 && isOpen())
3.
//清除写线程 writerCleanup();
下面分别来看这三点
1.
//确保没有关闭输出流 ensureWriteOpen(); private void ensureWriteOpen() throws ClosedChannelException { synchronized(stateLock) { if(!isOpen())//通道关闭 throw new ClosedChannelException(); if(!isOutputOpen)//输出流关闭 throw new ClosedChannelException(); if(!isConnected())//还没连接 throw new NotYetConnectedException(); } }
2.
//写字节流 do //写字节流,为什么是循环写,如果字节序列太多,发送缓冲区一次写不完,需要分多次写 i = IOUtil.write(fd, bytebuffer, -1L, nd, writeLock); while(i == -3 && isOpen())
//IOUtil
static int write(FileDescriptor filedescriptor, ByteBuffer bytebuffer, long l, NativeDispatcher nativedispatcher, Object obj) throws IOException { int i; ByteBuffer bytebuffer1; //如果ByteBffer为DirectBuffer,则调用writeFromNativeBuffer if(bytebuffer instanceof DirectBuffer) return writeFromNativeBuffer(filedescriptor, bytebuffer, l, nativedispatcher, obj); //获取缓冲区的当前位置 i = bytebuffer.position(); //获取缓冲区limit位置 int j = bytebuffer.limit(); //断言position是否大于limit,是抛出AssertionError if(!$assertionsDisabled && i > j) throw new AssertionError(); int k = i > j ? 0 : j - i;//需要些的字节数 //获取k个字节的临时DirectBuffer bytebuffer1 = Util.getTemporaryDirectBuffer(k); int j1; 写缓冲区到临时内存缓冲区DirectBuffer-bytebuffer1 bytebuffer1.put(bytebuffer); //转换bytebuffer1写模式,为读模式 bytebuffer1.flip(); bytebuffer.position(i);//重新定位bytebuffer的position位置 //从本地缓冲空间写字节流,i1为已写的字节数 int i1 = writeFromNativeBuffer(filedescriptor, bytebuffer1, l, nativedispatcher, obj); if(i1 > 0) //重新定位bytebuffer的position位置 //为什么重新定位bytebuffer的position位, //如果字节序列太多,发送缓冲区一次写不完,需要分多次写 //将position向前移动i1位置,避免重复写即已写过的字节序列。 bytebuffer.position(i + i1); j1 = i1; //将byteBuffer内存写到当前线程的缓存区 Util.offerFirstTemporaryDirectBuffer(bytebuffer1); return j1; Exception exception; exception; Util.offerFirstTemporaryDirectBuffer(bytebuffer1); throw exception; }
这一步我们有几点要关注:
a.
//获取k个字节的临时DirectBuffer bytebuffer1 = Util.getTemporaryDirectBuffer(k);
想要理解这点,先看一下Util的定义
//Util
class Util { private static final int TEMP_BUF_POOL_SIZE;//临时缓冲区大小 private static ThreadLocal localSelector = new ThreadLocal(); private static ThreadLocal localSelectorWrapper = new ThreadLocal(); private static Unsafe unsafe = Unsafe.getUnsafe(); private static int pageSize = -1; private static volatile Constructor directByteBufferConstructor = null; private static volatile Constructor directByteBufferRConstructor = null; private static volatile String bugLevel = null; private static boolean loaded = false; static final boolean $assertionsDisabled = !sun/nio/ch/Util.desiredAssertionStatus(); static { //初始化临时缓冲区大小,为IOUtil的IOV_MAX,及系统默认最大IO缓冲区大小 //static final int IOV_MAX = iovMax(); //static native int iovMax(); TEMP_BUF_POOL_SIZE = IOUtil.IOV_MAX; } //线程本地缓存区 private static ThreadLocal bufferCache = new ThreadLocal() { protected BufferCache initialValue() { return new BufferCache(); } protected volatile Object initialValue() { return initialValue(); } }; }
//IOUtil,变量IOV_MAX
static native int iovMax(); static final int IOV_MAX = iovMax();
再来看Util的缓冲区的定义BufferCache
//Util
private static class BufferCache { //存放字节序列的缓存数组,可以这么理解buffers为 //当前缓冲区存放的字节序列ByteBuffer //buffers的size,即为当前缓冲区可以接受写多少个字节序列ByteBuffer private ByteBuffer buffers[]; private int count;//当前缓冲区中,有数据的字节序列ByteBuffer的个数,即buffers计数器 private int start;//缓冲区buffers的开始索引,即头部 static final boolean $assertionsDisabled = !sun/nio/ch/Util.desiredAssertionStatus(); BufferCache() { //初始化缓冲区 buffers = new ByteBuffer[Util.TEMP_BUF_POOL_SIZE]; } //向缓冲区的头部添加一个字节序列bytebuffer,即写字节序列到缓存区 boolean offerFirst(ByteBuffer bytebuffer) { if(count >= Util.TEMP_BUF_POOL_SIZE) { //如果当前缓冲区已满,则返回false,即当前不能写字节序列到缓存区 return false; } else { //获取缓冲区byteBuffers的当前头部索引start的前一个索引 start = ((start + Util.TEMP_BUF_POOL_SIZE) - 1) % Util.TEMP_BUF_POOL_SIZE; //写字节序列到缓存区的索引start对应的ByteBuffer buffers[start] = bytebuffer; count++;//缓冲区bytebuffer计数器+1 return true;//写字节序列到缓存区成功 } } //这个与offerFirst恰好相反,写字节序列到缓冲区的尾部(索引start + count) boolean offerLast(ByteBuffer bytebuffer) { if(count >= Util.TEMP_BUF_POOL_SIZE) { return false; } else { int i = (start + count) % Util.TEMP_BUF_POOL_SIZE; buffers[i] = bytebuffer; count++; return true; } } //缓冲区buffers,索引向后移动 private int next(int i) { return (i + 1) % Util.TEMP_BUF_POOL_SIZE; } //注意这个i不是索引的意思,是需要写的字节序列的字节个数, //这个在IOUtil的write方法中调用,如下面两行代码 //获取k个字节的临时DirectBuffer //bytebuffer1 = Util.getTemporaryDirectBuffer(k); ByteBuffer get(int i) { //如果缓存区当前可用的可用的ByteBuffer,返回null if(count == 0) return null; ByteBuffer abytebuffer[] = buffers; ByteBuffer bytebuffer = abytebuffer[start]; //如果当前缓冲区start索引对应的bytebuffer,不够用,即容量不够存放要写的字节序列 //则遍历当前buffers,找到可以存放的bytebuffer if(bytebuffer.capacity() < i) { bytebuffer = null; int j = start; do { if((j = next(j)) == start) //只有一个bytebuffer,break break; ByteBuffer bytebuffer1 = abytebuffer[j]; if(bytebuffer1 == null) //下一个bytebuffer为null,break break; if(bytebuffer1.capacity() < i) //容量不够用,continue continue; //找到可以存放i个字节序列的bytebuffer bytebuffer = bytebuffer1; break; } while(true); if(bytebuffer == null) return null; abytebuffer[j] = abytebuffer[start]; } //清空 abytebuffer[start] = null; start = next(start); count--;//缓冲区bytebuffer计数器-1 //调用rewind,为了从开始位置写字节流 bytebuffer.rewind(); bytebuffer.limit(i);//限制bytebuffer的可用空间limit return bytebuffer; } //缓冲区是否为空 boolean isEmpty() { return count == 0; } //移除缓冲区头部的bytebuffer ByteBuffer removeFirst() { //如果断言开启, 缓冲区为空,抛出断言异常 if(!$assertionsDisabled && count <= 0) { throw new AssertionError(); } else { //有了上面几个方法,下面应该很好理解,就不说了 ByteBuffer bytebuffer = buffers[start]; buffers[start] = null; start = next(start); count--; return bytebuffer; } } }
从上面可以看出BufferCache用一个ByteBuffer数组buffers存放写到缓冲区的字节流序列,每次写字节流对应一个ByteBuffer,用count记录当前缓冲区中的有数据或可用的ByteBuffer数量,start记录当前缓冲区buffers的头部;offerFirst方法向缓冲区的头部添加一个字节序列bytebuffer,即写字节序列到缓存区;offerLast与offerFirst恰好相反,写字节序列到缓冲区的尾部(索引start + count);next方法为向后移动缓冲区buffers索引;get(int i)方法为从缓冲区获取可以存放i个字节序列的ByteBuffer,并rewind字节缓冲区ByteBuffer,
限制孔勇空间为ByteBuffer。removeFirst为移除缓冲区头部的bytebuffer,并返回。
看过Util的BufferCache的定义,我们再回到
//获取k个字节的临时DirectBuffer bytebuffer1 = Util.getTemporaryDirectBuffer(k);
//Util
static ByteBuffer getTemporaryDirectBuffer(int i) { //获取当前线程的缓冲区(ThreadLocal-bufferCache) BufferCache buffercache = (BufferCache)bufferCache.get(); //从缓冲区获取容量第一个大于i的ByteBuffer ByteBuffer bytebuffer = buffercache.get(i); //如果缓冲区存在容量大于i个字节的bytebuffer,直接返回 if(bytebuffer != null) return bytebuffer; //如果缓冲区中不存在容量大于i的bytebuffer,且不为空; //则移除缓冲区头部的bytebuffer if(!buffercache.isEmpty()) { ByteBuffer bytebuffer1 = buffercache.removeFirst(); //释放bytebuffer1 free(bytebuffer1); } //ByteBuffer直接分配一个DirectByteBuffer,存放字节序列 return ByteBuffer.allocateDirect(i); }
获取临时DirectByteBuffer有两点要看
a.1
//释放bytebuffer1 free(bytebuffer1);
//Util
private static void free(ByteBuffer bytebuffer) { //实际委托给DirectBuffer的clean,这个我们在DirectByteBuffer有说, //即释放分配的实际物理内存 ((DirectBuffer)bytebuffer).cleaner().clean(); }
//DirectBuffer
package sun.nio.ch; import sun.misc.Cleaner; public interface DirectBuffer { public abstract long address(); public abstract Object attachment(); public abstract Cleaner cleaner(); }
a.2
public static ByteBuffer allocateDirect(int capacity) { return new DirectByteBuffer(capacity); }
b.
//从本地缓冲空间写字节流,i1为已写的字节数 int i1 = writeFromNativeBuffer(filedescriptor, bytebuffer1, l, nativedispatcher, obj);
//nativedispatcher参数实际为SocketDispatcher
private static int writeFromNativeBuffer(FileDescriptor filedescriptor, ByteBuffer bytebuffer, long l, NativeDispatcher nativedispatcher, Object obj) throws IOException { int i = bytebuffer.position(); int j = bytebuffer.limit(); if(!$assertionsDisabled && i > j) throw new AssertionError(); int k = i > j ? 0 : j - i; int i1 = 0; if(k == 0) return 0; if(l != -1L) //这个方法在Nativedispatcher定义,在SocketDispatcher并没有实现,obj为writeLock i1 = nativedispatcher.pwrite(filedescriptor, ((DirectBuffer)bytebuffer).address() + (long)i, k, l, obj); else //默认的写操作 i1 = nativedispatcher.write(filedescriptor, ((DirectBuffer)bytebuffer).address() + (long)i, k); if(i1 > 0) //将position向前移动i1位置,避免重复写即已写过的字节序列 bytebuffer.position(i + i1); return i1; }
来看两种方式的写
b.1
if(l != -1L) //这个在Nativedispatcher,在SocketDispatcher并没有实现 i1 = nativedispatcher.pwrite(filedescriptor, ((DirectBuffer)bytebuffer).address() + (long)i, k, l, obj);
//Nativedispatcher
int pwrite(FileDescriptor filedescriptor, long l, int i, long l1, Object obj) throws IOException { //操作当前JDK,不支持,留待以后扩展用吧,我的JDK为1.7.0.17 throw new IOException("Operation Unsupported"); }
b.2
else //默认的写操作 i1 = nativedispatcher.write(filedescriptor, ((DirectBuffer)bytebuffer).address() + (long)i, k);
//SocketDispatcher
int write(FileDescriptor filedescriptor, long l, int i) throws IOException { return write0(filedescriptor, l, i); } static native int write0(FileDescriptor filedescriptor, long l, int i) throws IOException;
从缓冲读取字节序列,写到通道中,实际是通过SocketDispatcher完成实际的写工作,当前默认的写方法为write(FileDescriptor filedescriptor, long l, int i)。
c.
//添加bytebuffer到线程当前缓冲区 Util.offerFirstTemporaryDirectBuffer(bytebuffer1);
static void offerFirstTemporaryDirectBuffer(ByteBuffer bytebuffer) { if(!$assertionsDisabled && bytebuffer == null) throw new AssertionError(); //获取当前线程缓冲区 BufferCache buffercache = (BufferCache)bufferCache.get(); //将bytebuffer添加到缓冲区 if(!buffercache.offerFirst(bytebuffer)) free(bytebuffer); }
3.
//清除写线程
writerCleanup(); private void writerCleanup() throws IOException { synchronized(stateLock) { writerThread = 0L; if(state == 3) //这个kill操作,我们会在后面再讲 kill(); } }
从以上分析可以看出,从缓冲区读取字节序列写到通道,首先确保通道打开,且输出流没有关闭,然后委托给IOUtil写字节序列;IOUtil写字节流过程为首先通过Util从当前线程的缓冲区获取可以容下字节序列的临时缓冲区(DirectByteBuffer),如果没有则创建一个DirectByteBuffer,将字节序列写到临时的DirectByteBuffer中,然后将写操作委托给nativedispatcher(SocketDispatcher),将DirectByteBuffer添加到当前线程的缓冲区,
以便重用,因为DirectByteBuffer实际上是存在物理内存中,频繁的分配将会消耗更多的资源。
总结:
SocketChannelImpl构造主要是初始化读写及状态锁和通道socket文件描述。
connect连接方法首先同步读锁和写锁,确保socket通道打开,并没有连接;然后检查socket地址的正确性与合法性,然后检查当前线程是否有Connect方法的访问控制权限,最后尝试连接socket地址。从缓冲区读取字节序列写到通道write(ByteBuffer),首先确保通道打开,且输出流没有关闭,然后委托给IOUtil写字节序列;IOUtil写字节流过程为首先通过Util从当前线程的缓冲区获取可以容下字节序列的临时缓冲区(DirectByteBuffer),如果没有则创建一个DirectByteBuffer,将字节序列写到临时的DirectByteBuffer中,然后将写操作委托给nativedispatcher(SocketDispatcher),将DirectByteBuffer添加到当前线程的缓冲区,
以便重用,因为DirectByteBuffer实际上是存在物理内存中,频繁的分配将会消耗更多的资源。
SocketChannelImpl 解析二(发送数据后续):http://donald-draper.iteye.com/blog/2372548
附:
权限检查:SecurityManager为系统的默认安全检查管理器,主要用于检查当前线程是否拥有
某个权限的访问控制权限,比如socket连接,监听,获取类加载等。
//SecurityManager
//检查socket连接权限 public void checkConnect(String host, int port) { if (host == null) { throw new NullPointerException("host can't be null"); } if (!host.startsWith("[") && host.indexOf(':') != -1) { host = "[" + host + "]"; } if (port == -1) { checkPermission(new SocketPermission(host, SecurityConstants.SOCKET_RESOLVE_ACTION)); } else { //检查是否socket连接访问控制权限 checkPermission(new SocketPermission(host+":"+port, SecurityConstants.SOCKET_CONNECT_ACTION)); } } public void checkPermission(Permission perm) { //检查是否perm的访问控制权限 java.security.AccessController.checkPermission(perm); }
//SecurityConstants,安全权限常量
public final class SecurityConstants { //AWT为创建图形界面相关权限 public static class AWT { private static PermissionFactory permissionFactory() { Class class1; class1 = (Class)AccessController.doPrivileged(new PrivilegedAction() { public Class run() { return Class.forName("sun.awt.AWTPermissionFactory", true, null); ClassNotFoundException classnotfoundexception; classnotfoundexception; return null; } public volatile Object run() { return run(); } }); if(class1 == null) break MISSING_BLOCK_LABEL_52; return (PermissionFactory)class1.newInstance(); Object obj; obj; throw new InternalError(((InstantiationException) (obj)).getMessage()); obj; throw new InternalError(((IllegalAccessException) (obj)).getMessage()); return new FakeAWTPermissionFactory(); } private static Permission newAWTPermission(String s) { return factory.newPermission(s); } private static final String AWTFactory = "sun.awt.AWTPermissionFactory"; private static final PermissionFactory factory = permissionFactory(); public static final Permission TOPLEVEL_WINDOW_PERMISSION = newAWTPermission("showWindowWithoutWarningBanner"); public static final Permission ACCESS_CLIPBOARD_PERMISSION = newAWTPermission("accessClipboard");//访问粘贴板 public static final Permission CHECK_AWT_EVENTQUEUE_PERMISSION = newAWTPermission("accessEventQueue"); public static final Permission TOOLKIT_MODALITY_PERMISSION = newAWTPermission("toolkitModality"); public static final Permission READ_DISPLAY_PIXELS_PERMISSION = newAWTPermission("readDisplayPixels"); public static final Permission CREATE_ROBOT_PERMISSION = newAWTPermission("createRobot"); public static final Permission WATCH_MOUSE_PERMISSION = newAWTPermission("watchMousePointer"); public static final Permission SET_WINDOW_ALWAYS_ON_TOP_PERMISSION = newAWTPermission("setWindowAlwaysOnTop"); public static final Permission ALL_AWT_EVENTS_PERMISSION = newAWTPermission("listenToAllAWTEvents"); public static final Permission ACCESS_SYSTEM_TRAY_PERMISSION = newAWTPermission("accessSystemTray"); private AWT() { } } private static class FakeAWTPermission extends BasicPermission { public String toString() { return (new StringBuilder()).append("(\"java.awt.AWTPermission\" \"").append(getName()).append("\")").toString(); } private static final long serialVersionUID = -1L; public FakeAWTPermission(String s) { super(s); } } private static class FakeAWTPermissionFactory implements PermissionFactory { public FakeAWTPermission newPermission(String s) { return new FakeAWTPermission(s); } public volatile Permission newPermission(String s) { return newPermission(s); } private FakeAWTPermissionFactory() { } } private SecurityConstants() { } public static final String FILE_DELETE_ACTION = "delete";//文件删除 public static final String FILE_EXECUTE_ACTION = "execute";//文件执行 public static final String FILE_READ_ACTION = "read";//文件读 public static final String FILE_WRITE_ACTION = "write";//写文件 public static final String FILE_READLINK_ACTION = "readlink"; public static final String SOCKET_RESOLVE_ACTION = "resolve"; public static final String SOCKET_CONNECT_ACTION = "connect";//socket连接 public static final String SOCKET_LISTEN_ACTION = "listen";//socket监听 public static final String SOCKET_ACCEPT_ACTION = "accept";//socket接受连接 public static final String SOCKET_CONNECT_ACCEPT_ACTION = "connect,accept";//socket连接,接受连接 public static final String PROPERTY_RW_ACTION = "read,write";//读写属性 public static final String PROPERTY_READ_ACTION = "read";//读属性 public static final String PROPERTY_WRITE_ACTION = "write";//写属性 public static final AllPermission ALL_PERMISSION = new AllPermission(); public static final NetPermission SPECIFY_HANDLER_PERMISSION = new NetPermission("specifyStreamHandler"); public static final NetPermission SET_PROXYSELECTOR_PERMISSION = new NetPermission("setProxySelector"); public static final NetPermission GET_PROXYSELECTOR_PERMISSION = new NetPermission("getProxySelector"); public static final NetPermission SET_COOKIEHANDLER_PERMISSION = new NetPermission("setCookieHandler"); public static final NetPermission GET_COOKIEHANDLER_PERMISSION = new NetPermission("getCookieHandler"); public static final NetPermission SET_RESPONSECACHE_PERMISSION = new NetPermission("setResponseCache"); public static final NetPermission GET_RESPONSECACHE_PERMISSION = new NetPermission("getResponseCache"); //创建类加载器 public static final RuntimePermission CREATE_CLASSLOADER_PERMISSION = new RuntimePermission("createClassLoader"); public static final RuntimePermission CHECK_MEMBER_ACCESS_PERMISSION = new RuntimePermission("accessDeclaredMembers"); //修改线程 public static final RuntimePermission MODIFY_THREAD_PERMISSION = new RuntimePermission("modifyThread"); //修改线程分组信息 public static final RuntimePermission MODIFY_THREADGROUP_PERMISSION = new RuntimePermission("modifyThreadGroup"); public static final RuntimePermission GET_PD_PERMISSION = new RuntimePermission("getProtectionDomain"); //获取类加载器 public static final RuntimePermission GET_CLASSLOADER_PERMISSION = new RuntimePermission("getClassLoader"); public static final RuntimePermission STOP_THREAD_PERMISSION = new RuntimePermission("stopThread"); public static final RuntimePermission GET_STACK_TRACE_PERMISSION = new RuntimePermission("getStackTrace"); public static final SecurityPermission CREATE_ACC_PERMISSION = new SecurityPermission("createAccessControlContext"); public static final SecurityPermission GET_COMBINER_PERMISSION = new SecurityPermission("getDomainCombiner"); public static final SecurityPermission GET_POLICY_PERMISSION = new SecurityPermission("getPolicy"); public static final SocketPermission LOCAL_LISTEN_PERMISSION = new SocketPermission("localhost:1024-", "listen"); }
发表评论
-
文件通道解析二(文件锁,关闭通道)
2017-05-16 23:17 1110文件通道解析一(读写操作,通道数据传输等):http://do ... -
文件通道解析一(读写操作,通道数据传输等)
2017-05-16 10:04 1207Reference定义(PhantomRefere ... -
文件通道创建方式综述
2017-05-15 17:39 1111Reference定义(PhantomReference,Cl ... -
文件读写方式简单综述后续(文件,流构造)
2017-05-14 23:04 1528Java Socket通信实例:http://donald-d ... -
文件读写方式简单综述
2017-05-14 11:13 1169Java Socket通信实例:http://donald-d ... -
FileChanne定义
2017-05-12 23:28 995文件读写方式简单综述:http://donald-draper ... -
SeekableByteChannel接口定义
2017-05-11 08:43 1284ByteChannel,分散聚集通道接口的定义(SocketC ... -
FileChannel示例
2017-05-11 08:37 1030前面我们看过socket通道,datagram通道,以管道Pi ... -
PipeImpl解析
2017-05-11 08:41 979ServerSocketChannel定义:http://do ... -
Pipe定义
2017-05-10 09:07 959Channel接口定义:http://donald-drape ... -
NIO-Pipe示例
2017-05-10 08:47 952PipeImpl解析:http://donald-draper ... -
DatagramChannelImpl 解析四(地址绑定,关闭通道等)
2017-05-10 08:27 834DatagramChannelImpl 解析一(初始化):ht ... -
DatagramChannelImpl 解析三(多播)
2017-05-10 08:20 2004DatagramChannelImpl 解析一(初始化):ht ... -
NIO-UDP实例
2017-05-09 12:32 1630DatagramChannelImpl 解析一(初始化):ht ... -
DatagramChannelImpl 解析二(报文发送与接收)
2017-05-09 09:03 1455DatagramChannelImpl 解析一(初始化):ht ... -
DatagramChannelImpl 解析一(初始化)
2017-05-08 21:52 1474Channel接口定义:http://donald-drape ... -
MembershipKeyImpl 简介
2017-05-08 09:11 966MembershipKey定义:http://donald-d ... -
DatagramChannel定义
2017-05-07 23:13 1269Channel接口定义:http://donald-drape ... -
MulticastChanne接口定义
2017-05-07 13:45 1197NetworkChannel接口定义:ht ... -
MembershipKey定义
2017-05-06 16:20 970package java.nio.channels; i ...
相关推荐
此外,Stream API也是1.8的一大亮点,它提供了处理集合的新方式,可以进行数据流的过滤、映射、归约等操作,大大简化了数据处理的代码。 在"jdk-5b86f66575b7"这个压缩包中,很可能包含了JDK 1.8的完整源码,包括...
7 服务器端没有指定adapter的端口和ip,仅仅随便给了一个名字,并使用该名字从配置文件中读取信息: 启动服务器时没有问题正常,但是客户端无法连接 原因: 对象适配器无效 错误信息: 抛出异常: Ice::...
内容概要:本文详细介绍了如何利用S7-200 PLC和MCGS组态软件构建一个转速闭环调速系统。主要内容涵盖系统的硬件配置、梯形图程序设计、接线图原理、IO分配以及组态画面的设计。文中还深入探讨了PID控制器的应用及其参数整定方法,确保电机能够稳定运行并达到预期的转速控制精度。此外,作者分享了一些实际调试过程中遇到的问题及解决方案,如编码器脉冲数过高导致的计算溢出、接地不当引起的转速不稳定等。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是对PLC编程和组态软件有一定了解的人群。 使用场景及目标:适用于需要精确控制电机转速的工业应用场景,如生产线、包装线等。目标是帮助读者掌握如何搭建和优化转速闭环调速系统,提高生产效率和产品质量。 其他说明:文章不仅提供了理论指导,还结合了大量实践经验,有助于初学者快速上手并解决实际问题。
基于python实现进行股票分析和选股+源码+项目文档+使用说明,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用,详情见md文档 使用python进行股票历史数据下载和分析选股。除了选股策略以外,其他都可公开。 git网站上有很多优秀开源量化平台项目。本项目与其他项目的区别是,本项目侧重于选股、回测所需数据的导入工作。有了历史数据和选股策略,选择哪个量化平台做回测都是很轻松的事情了。 业余编程水平,需求导向。才疏学浅,刚学python几个月时间。git主要作为云端git库使用。无任何解答服务。 力求选择最稳定可靠的数据获取方式。虽然网上有很多数据源平台,但都受制于“积分”、带宽、平台是否更新等,完全是把程序主动权交到了对方手里。因此本项目所有数据依靠本地通达信软件导出提供
基于Swin Transformer与ASPP模块的图像分类系统设计与实现 本文介绍了一种结合Swin Transformer与空洞空间金字塔池化(ASPP)模块的高效图像分类系统。该系统通过融合Transformer的全局建模能力和ASPP的多尺度特征提取优势,显著提升了模型在复杂场景下的分类性能。 模型架构创新 系统核心采用Swin Transformer作为骨干网络,其层次化窗口注意力机制能高效捕获长距离依赖关系。在特征提取阶段,创新性地引入ASPP模块,通过并行空洞卷积(膨胀率6/12/18)和全局平均池化分支,实现多尺度上下文信息融合。ASPP输出经1x1卷积降维后与原始特征拼接,有效增强了模型对物体尺寸变化的鲁棒性。 训练优化策略 训练流程采用Adam优化器(学习率0.0001)和交叉熵损失函数,支持多GPU并行训练。系统实现了完整的评估指标体系,包括准确率、精确率、召回率、特异度和F1分数等6项指标,并通过动态曲线可视化模块实时监控训练过程。采用早停机制保存最佳模型,验证集准确率提升可达3.2%。 工程实现亮点 1. 模块化设计:分离数据加载、模型构建和训练流程,支持快速迭代 2. 自动化评估:每轮训练自动生成指标报告和可视化曲线 3. 设备自适应:智能检测CUDA可用性,无缝切换训练设备 4. 中文支持:优化可视化界面的中文显示与负号渲染 实验表明,该系统在224×224分辨率图像分类任务中,仅需2个epoch即可达到92%以上的验证准确率。ASPP模块的引入使小目标识别准确率提升15%,特别适用于医疗影像等需要细粒度分类的场景。未来可通过轻量化改造进一步优化推理速度。
内容概要:本文详细介绍了一个基于SSH(Struts2 + Spring + Hibernate)框架构建的电脑商城系统的实现细节。涵盖了用户注册、购物车管理、秒杀功能、商品管理和后台权限控制等多个核心模块。通过具体的代码示例和技术要点解析,展示了如何利用这三个框架的优势来实现一个完整的电商系统。同时,文中还提到了一些常见问题及其解决方案,如数据库表结构设计、事务配置、定时任务、缓存机制以及前端交互等。 适合人群:具备一定Java基础,特别是对SSH框架感兴趣的初学者和中级开发者。 使用场景及目标:①帮助读者理解SSH框架的工作原理和应用场景;②提供一个完整的电商系统案例供学习和参考;③解决实际开发过程中可能遇到的技术难题。 其他说明:项目不仅包含详细的文档和源码,还包括PPT演示和运行录屏,非常适合自学和教学使用。建议从简单的注册登录功能开始,逐步深入到复杂的业务逻辑和性能优化。
内容概要:本文详细介绍了如何使用Matlab的GUI功能设计低通、高通、带通、带阻等多种类型的FIR数字滤波器。首先解释了FIR滤波器的基本概念及其优点,然后重点讨论了两种常用的设计方法:窗函数法和等波纹最佳逼近法。窗函数法通过选择不同的窗函数(如矩形窗、凯塞窗)来截断理想的时域冲激响应,实现简单但频响特性存在一定的局限性。等波纹最佳逼近法则采用Parks-McClellan算法,确保通带和阻带内的最大纹波最小,频响特性更为优越。此外,还展示了如何利用Matlab的App Designer创建交互式的GUI工具,使用户能够实时调整滤波器参数并查看频响特性。 适合人群:具有一定MATLAB基础的工程师和技术爱好者,尤其是从事数字信号处理领域的研究人员。 使用场景及目标:①掌握FIR滤波器设计的基本理论和方法;②学会使用Matlab进行窗函数法和等波纹法的具体实现;③通过GUI工具提高滤波器设计的效率和直观性。 其他说明:文中提供了详细的代码示例和注意事项,帮助读者更好地理解和应用所学知识。
基于PCA的EC管外壁阻垢率预测模型研究.pdf
数据集-目标检测系列- 牙刷 检测数据集 toothbrush >> DataBall 标注文件格式:xml 项目地址:https://github.com/XIAN-HHappy/ultralytics-yolo-webui 通过webui 方式对ultralytics 的 detect 检测任务 进行: 1)数据预处理, 2)模型训练, 3)模型推理。 脚本运行方式: * 运行脚本: python webui_det.py or run_det.bat 根据readme.md步骤进行操作。
内容概要:本文深入探讨了路径规划算法的研究进展,特别是对经典的蚁群算法进行了多项创新性的改进。作者详细介绍了如何利用Matlab实现蚁群算法的基本框架,并针对路径平滑度不足的问题提出了基于Flod算法的双向平滑度优化方法。此外,还自主研发了一种全新的路径规划算法,能够灵活应对不同的地图环境。通过对多种算法的实际性能对比,展示了改进后的蚁群算法在路径长度和平滑度方面的显著提升。 适合人群:对路径规划算法感兴趣的科研人员、工程师以及高校师生。 使用场景及目标:适用于需要高效、平滑路径规划的应用场合,如机器人导航、物流配送系统等。目标是为用户提供一种更为智能化、高效的路径解决方案。 其他说明:文中提供了详细的代码片段和技术细节,有助于读者理解和复现实验结果。同时,强调了算法在实际应用场景中的表现和潜在价值。
内容概要:本文介绍了花朵授粉算法(FPA)的一种改进版本——tMFPA。主要改进之处在于采用Logistic混沌初始化种群、t分布扰动进行异花授粉以及引入差分进化思想用于自花授粉。通过这三个方面的改进,tMFPA在多个基准测试函数上表现出更好的优化性能,尤其是在多峰函数和高维复杂问题上。文中详细描述了各个改进部分的具体实现方法及其背后的理论依据,并提供了具体的代码片段。此外,作者还分享了一些实用技巧和注意事项,如参数的选择和调整。 适合人群:对优化算法感兴趣的科研人员、算法开发者以及希望深入了解花朵授粉算法及其改进的学生。 使用场景及目标:适用于解决复杂的非线性优化问题,尤其是那些存在多个局部最优解的问题。目标是提高优化效率,加快收敛速度并获得更高的求解精度。 其他说明:作者将完整的代码上传到了GitHub,方便读者下载和进一步研究。同时,文中提到的一些可视化工具可以帮助用户更好地理解和跟踪算法的执行过程。
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位,文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常,无任何异常情况,敬请您放心查阅与使用。文档仅供学习参考,请勿用作商业用途。 Rust 以内存安全、零成本抽象和并发高效的特性,重塑编程体验。无需垃圾回收,却能通过所有权与借用检查机制杜绝空指针、数据竞争等隐患。从底层系统开发到 Web 服务构建,从物联网设备到高性能区块链,它凭借出色的性能和可靠性,成为开发者的全能利器。拥抱 Rust,解锁高效、安全编程新境界!
内容概要:本文详细介绍了基于PLC(可编程逻辑控制器)的饮料灌装控制系统的设计与实现。首先阐述了电气设计的基础,包括IO分配的具体方法及其在饮料灌装系统中的应用实例。接着深入探讨了梯形图编程,解释了如何通过逻辑运算控制灌装头的启停,确保灌装过程的安全性和准确性。此外,还讲解了接线图与原理图的作用,以及如何利用触摸屏进行人机交互,提升操作便捷性和实时监控能力。最后,分享了一些实际调试经验和故障排除技巧,强调了硬件布线和程序逻辑紧密结合的重要性。 适合人群:从事自动化控制领域的工程师和技术人员,尤其是对PLC编程和饮料灌装控制系统感兴趣的读者。 使用场景及目标:适用于饮料生产企业,旨在提高灌装生产线的自动化水平和控制精度,减少人工干预,提升生产效率和产品质量。 其他说明:文中提供了具体的IO分配示例、梯形图代码和触摸屏组态画面设计思路,帮助读者更好地理解和实施相关技术。同时,还提到了一些常见的调试问题及解决方案,如电磁阀响应延迟、气动阀响应延迟等,为实际应用提供指导。
印刷量子点点阵信息可靠性编解码算法.pdf
内容概要:本文详细介绍了污水处理系统的全流程解决方案,涵盖通讯配置、配电柜设计、电气原理图、工艺流程图以及1200PLC源程序详解。针对常见的技术难点进行了深入剖析,提供了实用的操作技巧和优化建议。具体包括Modbus TCP配置、水泵变频器散热设计、曝气池控制逻辑、IO配置冗余设计、报警处理程序、PID参数整定等方面的内容。此外,还分享了丰富的调试经验和故障处理方法,确保系统稳定可靠运行。 适合人群:从事污水处理项目的设计、实施和维护的技术人员,尤其是具有一定PLC编程基础和电气工程经验的专业人士。 使用场景及目标:帮助技术人员快速掌握污水处理系统的构建要点,避免常见错误,提高工作效率。适用于新建或改造污水处理设施的工程项目,旨在提供全面的技术支持和实践经验指导。 其他说明:文中提供的资料基于真实项目案例,经过实战验证,具有较高的参考价值。建议读者结合自身实际情况灵活应用相关技术和方法。
本资源是MATLAB编写的仿真VIVADO定点数转浮点数的函数。 函数接口说明如下: function float_out = fixed2float(fixed_in, int_bits, frac_bits) % 将定点数转换为单精度浮点数 % 输入: % fixed_in - 定点数输入(字符串(双引号)定点形式,可以是标量、向量或矩阵) % int_bits - 整数部分位宽(包含符号位) % frac_bits - 小数部分位宽 % 输出: % float_out - 单精度浮点数 fixed_in的长度最大支持80位的定点数。int_bits和frac_bits的值可随意设置,确保它俩加起来等于fixed_in的长度即可。 fixed2dec函数是fixed2float调用的一个函数,目的是将定点数转为十进制数,也是自己编写的。 两个函数均有详细的接口注释说明。 本资源中所有的代码关键处均包含文字注释,注释很多,编写的代码逻辑清晰,方便各位小伙伴理解、阅读、学习、调试。 下载资源了的小伙伴有疑惑的可以私信我一起解决你的问题。下载该资源,直接就可以使用。
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位,文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常,无任何异常情况,敬请您放心查阅与使用。文档仅供学习参考,请勿用作商业用途。 Rust 以内存安全、零成本抽象和并发高效的特性,重塑编程体验。无需垃圾回收,却能通过所有权与借用检查机制杜绝空指针、数据竞争等隐患。从底层系统开发到 Web 服务构建,从物联网设备到高性能区块链,它凭借出色的性能和可靠性,成为开发者的全能利器。拥抱 Rust,解锁高效、安全编程新境界!
内容概要:本文详细介绍了如何使用Matlab及其图像处理工具箱实现国外车牌识别系统。首先通过对输入图像进行预处理,包括灰度化、高斯滤波去噪、边缘检测等步骤,确保图像质量。然后利用形态学操作和区域属性筛选出符合特定长宽比的车牌区域。接下来采用垂直投影法或连通域分析法进行字符分割,并最终通过OCR技术将分割出的文字转换为可读字符串。文中还讨论了针对不同国家车牌特色的个性化处理方法以及提高识别精度的各种技巧。 适合人群:对图像处理和车牌识别感兴趣的科研人员、学生及开发者。 使用场景及目标:适用于希望深入了解车牌识别技术原理并尝试构建自己的车牌识别系统的个人或团队。目标是在常见条件下达到较高的车牌识别成功率。 其他说明:尽管传统算法能够满足大部分日常需求,但在极端环境下(如恶劣天气)仍存在局限性,因此文中也提到了进一步优化的方向,例如引入深度学习模型等。
内容概要:本文详细介绍了如何利用COMSOL软件进行纳米摩擦发电机(TENG)的数值模拟,特别是电荷密度与电场分布的计算。首先,通过定义电荷密度变量和分段函数来精确描述电荷分布,确保模型的准确性。接着,讨论了网格划分的技术细节,强调了在电荷突变区域使用边界层网格和自适应细化的重要性。然后,针对求解器设置提出了改进建议,如采用牛顿迭代法和调整阻尼因子,以提高收敛性和稳定性。此外,还探讨了后处理阶段的数据提取和可视化方法,如计算电场强度、绘制电场矢量图以及处理电场奇异值。最后,通过参数扫描实验展示了摩擦层厚度对输出电压的影响,并强调了电荷守恒检查的重要性。 适合人群:从事纳米摩擦发电机研究的科研人员和技术开发者,尤其是熟悉COMSOL软件的用户。 使用场景及目标:适用于需要深入理解和优化纳米摩擦发电机性能的研究项目。主要目标是帮助研究人员掌握如何在COMSOL中构建和优化TENG模型,从而更好地理解电荷密度与电场之间的关系及其对发电效率的影响。 其他说明:文中提供了大量实用的操作技巧和注意事项,有助于避免常见错误并提升模拟精度。同时,通过具体的实例演示,使读者能够快速上手并应用于实际研究中。
内容概要:本文针对短期电力负荷预测,提出基于双向多尺度跳跃长短期记忆网络(BMS-LSTM)和残差多尺度循环神经网络(Res-MSRNN)的两种新型预测模型。BMS-LSTM通过双向结构和多尺度跳跃连接,有效提取电力负荷数据的双向及多尺度特征;Res-MSRNN利用空间卷积和残差网络机制,克服了全连接层融合多尺度特征的不足。实验结果表明,这两种模型在单日及周电力负荷预测中,相比RNN、LSTM、GRU等传统模型,均展现出更高的预测精度、稳定性和鲁棒性。研究为电力系统的安全可靠运行、资源优化配置及智能化发展提供了有力支持。 适合人群:从事电力系统规划、运行与管理的专业人员,以及对深度学习应用于电力负荷预测感兴趣的科研人员和工程师。 使用场景及目标:①为电力企业在发电计划制定、电网调度与建设规划以及电力市场交易决策等方面提供高精度的负荷预测数据;②提升电力系统运行的安全性与可靠性,优化电力资源配置与降低成本;③推动电力市场的健康发展,促进电力行业的智能化转型。 其他说明:尽管BMS-LSTM和Res-MSRNN模型在预测性能上表现出色,但其复杂结构导致计算资源需求增加。未来研究可进一步探索模型压缩与加速技术,降低模型复杂度,提高其在资源受限环境下的实用性。此外,还需持续拓展对电力负荷影响因素的研究范围,结合大数据分析技术,挖掘更多潜在的影响因素,以进一步提升模型的预测能力。