- 浏览: 577064 次
- 性别:
- 来自: 广州
文章分类
最新评论
-
wzh051527:
我是大四实习生一个,自我感觉技术能力在第三年。。唯一不明白,为 ...
十年技术,不要再迷茫 -
room_bb:
.hrl文件怎么加入到编译规则里面?比如:pp.hrl文件-d ...
Erlang中用的makefile的一点解释 -
吉米家:
感觉帆软报表的flash打印就很不错哇,特别好用
JSP 实现报表打印 -
雪碧爱芬达:
苦逼程序员的辛酸反省与总结 -
mlyjxx:
...
十年技术,不要再迷茫
对于基于TCP开发的通讯程序,有个很重要的问题需要解决,就是封包和拆包.自从我从事网络通讯编程工作以来(大概有三年的时间了),我一直在思索和改进封包和拆包的方法.下面就针对这个问题谈谈我的想法,抛砖引玉.若有不对,不妥之处,恳求大家指正.在此先谢过大家了.
一.为什么基于TCP的通讯程序需要进行封包和拆包.
TCP是个"流"协议,所谓流,就是没有界限的一串数据.大家可以想想河里的流水,是连成一片的,其间是没有分界线的.但一般通讯程序开发是需要定义一个个相互独立的数据包的,比如用于登陆的数据包,用于注销的数据包.由于TCP"流"的特性以及网络状况,在进行数据传输时会出现以下几种情况.
假设我们连续调用两次send分别发送两段数据data1和data2,在接收端有以下几种接收情况(当然不止这几种情况,这里只列出了有代表性的情况).
A.先接收到data1,然后接收到data2.
B.先接收到data1的部分数据,然后接收到data2余下的部分以及data2的全部.
C.先接收到了data1的全部数据和data1的部分数据,然后接收到了data2的余下的数据.
D.一次性接收到了data1和data2的全部数据.
对于A这种情况正是我们需要的,不再做讨论.对于B,C,D的情况就是大家经常说的"粘包",就需要我们把接收到的数据进行拆包,拆成一个个独立的数据包.为了拆包就必须在发送端进行封包.
另:对于UDP来说就不存在拆包的问题,因为UDP是个"数据包"协议,也就是两段数据间是有界限的,在接收端要么接收不到数据要么就是接收一个完整的一段数据,不会少接收也不会多接收.
二.为什么会出现B.C.D的情况.
"粘包"可发生在发送端也可发生在接收端.
1.由Nagle算法造成的发送端的粘包:Nagle算法是一种改善网络传输效率的算法.简单的说,当我们提交一段数据给TCP发送时,TCP并不立刻发送此段数据,而是等待一小段时间,看看在等待期间是否还有要发送的数据,若有则会一次把这两段数据发送出去.这是对Nagle算法一个简单的解释,详细的请看相关书籍.象C和D的情况就有可能是Nagle算法造成的.
2.接收端接收不及时造成的接收端粘包:TCP会把接收到的数据存在自己的缓冲区中,然后通知应用层取数据.当应用层由于某些原因不能及时的把TCP的数据取出来,就会造成TCP缓冲区中存放了几段数据.
三.怎样封包和拆包.
最初遇到"粘包"的问题时,我是通过在两次send之间调用sleep来休眠一小段时间来解决.这个解决方法的缺点是显而易见的,使传输效率大大降低,而且也并不可靠.后来就是通过应答的方式来解决,尽管在大多数时候是可行的,但是不能解决象B的那种情况,而且采用应答方式增加了通讯量,加重了网络负荷(但是象FTP等协议采用的就是应答方式).再后来就是对数据包进行封包和拆包的操作.
封包:
封包就是给一段数据加上包头,这样一来数据包就分为包头和包体两部分内容了(以后讲过滤非法包时封包会加入"包尾"内容).包头其实上是个大小固定的结构体,其中有个结构体成员变量表示包体的长度,这是个很重要的变量,其他的结构体成员可根据需要自己定义.根据包头长度固定以及包头中含有包体长度的变量就能正确的拆分出一个完整的数据包.
对于拆包目前我最常用的是以下两种方式.
1.动态缓冲区暂存方式.之所以说缓冲区是动态的是因为当需要缓冲的数据长度超出缓冲区的长度时会增大缓冲区长度.
大概过程描述如下:
A,为每一个连接动态分配一个缓冲区,同时把此缓冲区和SOCKET关联,常用的是通过结构体关联.
B,当接收到数据时首先把此段数据存放在缓冲区中.
C,判断缓存区中的数据长度是否够一个包头的长度,如不够,则不进行拆包操作.
D,根据包头数据解析出里面代表包体长度的变量.
E,判断缓存区中除包头外的数据长度是否够一个包体的长度,如不够,则不进行拆包操作.
F,取出整个数据包.这里的"取"的意思是不光从缓冲区中拷贝出数据包,而且要把此数据包从缓存区中删除掉.删除的办法就是把此包后面的数据移动到缓冲区的起始地址.
这种方法有两个缺点.1.为每个连接动态分配一个缓冲区增大了内存的使用.2.有三个地方需要拷贝数据,一个地方是把数据存放在缓冲区,一个地方是把完整的数据包从缓冲区取出来,一个地方是把数据包从缓冲区中删除.这种拆包的改进方法会解决和完善部分缺点.
下面给出相关代码.
先看包头结构定义
#pragma pack(push,1) //开始定义数据包, 采用字节对齐方式 /*----------------------包头---------------------*/ typedef struct tagPACKAGEHEAD { BYTE Version; WORD Command; WORD nDataLen;//包体的长度 }PACKAGE_HEAD; #pragma pack(pop) //结束定义数据包, 恢复原来对齐方式 然后看存放数据和"取"数据函数. /***************************************************************************** Description:添加数据到缓存 Input:pBuff[in]-待添加的数据;nLen[in]-待添加数据长度 Return: 如果当前缓冲区没有足够的空间存放pBuff则返回FALSE;否则返回TRUE。 ******************************************************************************/ BOOL CDataBufferPool::AddBuff( char *pBuff, int nLen ) { m_cs.Lock();///临界区锁 if ( nLen < 0 ) { m_cs.Unlock(); return FALSE; } if ( nLen <= GetFreeSize() )///判断剩余空间是否足够存放nLen长的数据 { memcpy(m_pBuff + m_nOffset, pBuff, nLen); m_nOffset += nLen; } else///若不够则扩充原有的空间 { char *p = m_pBuff; m_nSize += nLen*2;//每次增长2*nLen m_pBuff = new char[m_nSize]; memcpy(m_pBuff,p,m_nOffset); delete []p; memcpy(m_pBuff + m_nOffset, pBuff, nLen); m_nOffset += nLen; m_cs.Unlock(); return FALSE; } m_cs.Unlock(); return TRUE; } /***************************************************************************** Description:获取一个完整的包 Input:Buf[out]-获取到的数据;nLen[out]-获取到的数据长度 Return: 1、当前缓冲区不够一个包头的数据 2、当前缓冲区不够一个包体的数据 ******************************************************************************/ int CDataBufferPool::GetFullPacket( char *Buf, int& nLen ) { m_cs.Lock(); if ( m_nOffset < m_PacketHeadLen )//当前缓冲区不够一个包头的数据 { m_cs.Unlock(); return 1; } PACKAGE_HEAD *p = (PACKAGE_HEAD *)m_pBuff; if( (m_nOffset-m_PacketHeadLen) < (int)p->nDataLen )//当前缓冲区不够一个包体的数据 { m_cs.Unlock(); return 2; } //判断包的合法性 /* int IsIntegrallity = ValidatePackIntegrality(p); if( IsIntegrallity != 0 ) { m_cs.Unlock(); return IsIntegrallity; } */ nLen = m_PacketHeadLen+p->nDataLen; memcpy( Buf, m_pBuff, nLen ); m_nOffset -= nLen; memcpy( m_pBuff, m_pBuff+nLen, m_nOffset ); m_cs.Unlock(); return 0; }
前面提到过这种方法的缺点.下面给出一个改进办法, 即采用环形缓冲.但是这种改进方法还是不能解决第一个缺点以及第一个数据拷贝,只能解决第三个地方的数据拷贝(这个地方是拷贝数据最多的地方).第2种拆包方式会解决这两个问题.
环形缓冲实现方案是定义两个指针,分别指向有效数据的头和尾.在存放数据和删除数据时只是进行头尾指针的移动.
用代码来说明.注:下面的代码是采用一个开源的游戏服务器的代码,我对此代码有所修改.
int CCircularBufferPool:utData(TCHAR *pData, int len) { if( len <= 0 ) return 1; EnterCriticalSection(&m_cs); while (IsOverFlowCondition(len))///判断缓冲区剩余空间是否够存放len长的数据 { BufferResize(len);///若不够,则扩充缓冲区. } if (IsIndexOverFlow(len))///判断"尾"指针的位置. { int FirstCopyLen = m_iBufSize-m_iTailPos; int SecondCopyLen = len - FirstCopyLen; CopyMemory(m_pBuffer+m_iTailPos, pData, FirstCopyLen); if (SecondCopyLen) { CopyMemory(m_pBuffer, pData+FirstCopyLen, SecondCopyLen); m_iTailPos = SecondCopyLen; } else m_iTailPos = 0; } else { CopyMemory(m_pBuffer+m_iTailPos, pData, len); m_iTailPos += len; } LeaveCriticalSection(&m_cs); return 0; } void CCircularBufferPool::GetData(TCHAR *pData, int len, bool Delete) { if (len < m_iBufSize-m_iHeadPos) { CopyMemory(pData, m_pBuffer+m_iHeadPos, len); if(Delete==true) m_iHeadPos += len; } else { int fc, sc; fc = m_iBufSize-m_iHeadPos; sc = len - fc; CopyMemory(pData, m_pBuffer+m_iHeadPos, fc); if (sc) CopyMemory(pData+fc, m_pBuffer, sc); if(Delete==true) m_iHeadPos = sc; if(m_iHeadPos >= m_iBufSize) m_iHeadPos = 0; } } // //进行自定义包的解析 // int CCircularBufferPool::GetFullPacket( TCHAR *Buf, int &nLen ) { EnterCriticalSection(&m_cs); if( GetValidCount() < m_PacketHeadLen )//当前缓冲区不够一个包头的数据 { LeaveCriticalSection(&m_cs); return 1; } GetData(Buf,m_PacketHeadLen,false); PACKAGE_HEAD *p = (PACKAGE_HEAD *)Buf; if( (GetValidCount()-m_PacketHeadLen) < (int)p->nDataLen )//当前缓冲区不够一个包体的数据 { LeaveCriticalSection(&m_cs); return 2; } //判断包的合法性 int IsIntegrallity = ValidatePackIntegrality(p); if( IsIntegrallity != 0 ) { LeaveCriticalSection(&m_cs); return IsIntegrallity; } GetData(Buf,m_PacketHeadLen+p->nDataLen,true); nLen = m_PacketHeadLen+p->nDataLen; LeaveCriticalSection(&m_cs); return 0; }
2.利用底层的缓冲区来进行拆包
由于TCP也维护了一个缓冲区,所以我们完全可以利用TCP的缓冲区来缓存我们的数据,这样一来就不需要为每一个连接分配一个缓冲区了.另一方面我们知道recv或者wsarecv都有一个参数,用来表示我们要接收多长长度的数据.利用这两个条件我们就可以对第一种方法进行优化了.
对于阻塞SOCKET来说,我们可以利用一个循环来接收包头长度的数据,然后解析出代表包体长度的那个变量,再用一个循环来接收包体长度的数据.
相关代码如下:
char PackageHead[1024]; char PackageContext[1024*20]; int len; PACKAGE_HEAD *pPackageHead; while( m_bClose == false ) { memset(PackageHead,0,sizeof(PACKAGE_HEAD)); len = m_TcpSock.ReceiveSize((char*)PackageHead,sizeof(PACKAGE_HEAD)); if( len == SOCKET_ERROR ) { break; } if(len == 0) { break; } pPackageHead = (PACKAGE_HEAD *)PackageHead; memset(PackageContext,0,sizeof(PackageContext)); if(pPackageHead->nDataLen>0) { len = m_TcpSock.ReceiveSize((char*)PackageContext,pPackageHead->nDataLen); } }
m_TcpSock是一个封装了SOCKET的类的变量,其中的ReceiveSize用于接收一定长度的数据,直到接收了一定长度的数据或者网络出错才返回.
int winSocket::ReceiveSize( char* strData, int iLen ) { if( strData == NULL ) return ERR_BADPARAM; char *p = strData; int len = iLen; int ret = 0; int returnlen = 0; while( len > 0) { ret = recv( m_hSocket, p+(iLen-len), iLen-returnlen, 0 ); if ( ret == SOCKET_ERROR || ret == 0 ) { return ret; } len -= ret; returnlen += ret; } return returnlen; }
对于非阻塞的SOCKET,比如完成端口,我们可以提交接收包头长度的数据的请求,当GetQueuedCompletionStatus返回时,我们判断接收的数据长度是否等于包头长度,若等于,则提交接收包体长度的数据的请求,若不等于则提交接收剩余数据的请求.当接收包体时,采用类似的方法.
下面给出相关代码
enum IOType { IOInitialize, IORead, IOWrite, IOIdle }; class OVERLAPPEDPLUS { public: OVERLAPPED m_ol; IOType m_ioType; bool m_bIsPackageHead;//当前接收的数据是否是包头数据。 int m_count; WSABUF m_wsaBuffer; int m_RecvPos; char m_Buffer[1024*8];//此缓冲要尽可能大 OVERLAPPEDPLUS(IOType ioType) { ZeroMemory(this, sizeof(OVERLAPPEDPLUS)); m_ioType = ioType; } };
接收连接后发出的第一个请求,请求接收包头大小的数据.
OVERLAPPEDPLUS *pOverlappedPlus = new OVERLAPPEDPLUS; pOverlappedPlus->m_wsaBuffer.buf = pOverlappedPlus->m_Buffer; pOverlappedPlus->m_wsaBuffer.len = PACKAGE_HEAD_LEN;///包头的长度 pOverlappedPlus->m_bIsPackageHead = true; pOverlappedPlus->m_RecvPos = 0; pOverlappedPlus->m_ioType = IORead; DWORD RecvBytes; DWORD Flags; Flags = 0; if (WSARecv(clientSocket, &(pOverlappedPlus->m_wsaBuffer), 1, &RecvBytes, &Flags, &pOverlappedPlus->m_ol, NULL) == SOCKET_ERROR) { if (WSAGetLastError() != ERROR_IO_PENDING) { delete pOverlappedPlus; } else { ///相关的错误处理 } } else { ///相关的错误处理 } 在GetQueuedCompletionStatus所在的函数中. if( pOverlapPlus->m_ioType== IORead) { if( pOverlapPlus->m_wsaBuffer.len == dwIoSize ) { if( pOverlapPlus->m_bIsPackageHead == true )///接收到的是包头。 { PACKAGE_HEAD *pPackageHead = (PACKAGE_HEAD *)(pOverlapPlus->m_Buffer); if(pThis->IsLegalityPackageHead(pPackageHead)==false)///判断是否是合法的包 { closesocket(lpClientContext->m_Socket); continue; } pOverlapPlus->m_bIsPackageHead = false; pOverlapPlus->m_wsaBuffer.len = pPackageHead->nDataLen; pOverlapPlus->m_RecvPos += dwIoSize; pOverlapPlus->m_wsaBuffer.buf = pOverlapPlus->m_Buffer+pOverlapPlus->m_RecvPos; } else///接收到的是包体 { pOverlapPlus->m_RecvPos += dwIoSize; ///这时pOverlapPlus->m_Buffer里就存放了一个完整的数据包,长度为pOverlapPlus->m_RecvPos ///继续请求 请求下一个数据包的包头 pOverlapPlus->m_wsaBuffer.buf = pOverlapPlus->m_Buffer; memset(pOverlapPlus->m_Buffer,0,sizeof(pOverlapPlus->m_Buffer)); pOverlapPlus->m_wsaBuffer.len = PACKAGE_HEAD_LEN; pOverlapPlus->m_bIsPackageHead = true; pOverlapPlus->m_RecvPos = 0; } } else///接收的数据还不完整 { pOverlapPlus->m_wsaBuffer.len -= dwIoSize; pOverlapPlus->m_RecvPos += dwIoSize; pOverlapPlus->m_wsaBuffer.buf = pOverlapPlus->m_Buffer+pOverlapPlus->m_RecvPos; } pOverlapPlus->m_ioType = IORead; state = WSARecv(lpClientContext->m_Socket, &(pOverlapPlus->m_wsaBuffer), 1, &RecvBytes, &Flags, &pOverlapPlus->m_ol, NULL); if ( state == SOCKET_ERROR) { if(WSAGetLastError() != ERROR_IO_PENDING) { //关闭套接字 释放相应资源 continue; } } }
三:如何判断包的合法性.
判断包的合法性可以结合下面两种方式来判断.但是想100%的判定出非法包,只能通过信息安全中的知识来判定了,对这种方法这里不做阐述.
1.通过包头的结构来判断包的合法性.
最初的时候我是根据包头来判断包的合法性,比如判断Command是否超出命令范围,nDataLen是否大于最大包的长度.但是这种方法无法过滤掉非法包,当出现非法包时我们唯一能做的就是断开连接,或许这也是最好的处理办法.
我们可以给一个完整的包加上开始和结束标志,标志可以是个整数,也可以是一串字符串.以第一种拆包方式为例来说明.当要拆一个完整包时我们先从缓冲区有效数据头指针地址搜索包的开始标志,搜索到后并且当前数据够一个包头数据,则判断开始标志和包头是否合法,若合法则根据代表数据长度的变量的值定位到包尾,判断包尾标志是否与我们定义的一致,若一致则这个包是合法的包.若有一项不一致则继续寻找下个包的开始标志,并把下个合法包的前面的数据全部舍弃.
2.通过逻辑层来判断包的合法性.
当取出一个合法的包时,我们还要根据当前数据处理的逻辑来判断包的合法性.比如说在登陆成功后的某段时间服务器又收到了同一个客户端的登陆包,那我们就可以判断这个包是非法的,简单处理就是断开连接.
发表评论
-
30个实用的网页设计工具
2013-03-20 09:58 778作为一位网页设计师或开发者,你一直需要搜寻获取强大的网页设计 ... -
C++游戏开发需要阅读的书籍
2011-07-12 14:20 5843如果要自学游戏程序开发的话,可以看看下面的,呵呵。 游戏开发 ... -
塞尔曲线德卡斯特里奥(de Casteljau)算法及程序
2010-12-22 10:05 3687贝塞尔曲线德卡斯特里奥(de Caste ... -
PC游戏编程续
2010-11-21 17:51 929日文版: 1997 ... -
PC游戏编程
2010-11-21 17:49 1127目录 1 游戏程序理论1.1 技术基础1.2 游戏底层1. ... -
Socket实现C++与Flex通信
2010-11-18 11:33 1294下面是在flex下的客户端: <?xml ve ... -
利用c++和flash联合写游戏服务器
2010-11-18 11:25 1398c++ flash都是人们耳熟能详的东西了 有没有想过自己动手 ...
相关推荐
本文主要介绍了网络协议的拆包与封包过程,如:rtp,udp等等协议的拆包与封包,不管是什么协议原理都是一样的,如果深入掌握了其中的一个,那么在以后网络协议方面的分析就变得更加得心应手了。从中介绍了大小端问题...
Qt实现一个简单协议的封包和拆包需求平时通讯经常用到遵循一定协议封包和拆包。项目代码CMD_NAV_REALTIME_DATA = 0x01, // navig
封包和拆包 破解 外挂 对于基于TCP开发的通讯程序,有个很重要的问题需要解决,就是封包和拆包.
准确描述传输模式下ESP的装包与拆包过程
数据在网络上封包拆包过程
简单的WebSocket 握手 消息拆包 消息封包 方法
1、SocketListener封装 2、SocketClient封装 3、TcpService封装 4、异步实现相关类定义
c# socket .net 封包 粘包 拆包, socket进行通讯时,解决由于tcp缓冲区导致粘包问题
c#_udp协议拆包封包
易语言源码数据的封包与解包的过程易语言源码.7z
通过socket通讯实现服务器与客户端的连接。首先服务器利用udp广播发送自己的ip地址,客户端在收到广播后通过此ip以tcp连接的方式连接服务器来通讯。
封包 拆包 ~~~~~~~~~~~~~~~~~~~~~~
python通过ctypes封装调用c开源音频引擎libsoundio,涉及到ctypes调用,定义复杂结构体,python可变参数封包和拆包等操作
内含assets拆包工具、操作说明,适用于非专业人士
欧姆龙的fins通讯手册,以及中文的实例说明,适合开发与欧姆龙的设备基于fins协议通讯的人了解协议的组成和封包、拆包;可以和我之前发的封解包程序一起使用,事半功倍!!!!!
根据HPSocketCS.TcpPackServer server = new HPSocketCS.TcpPackServer();的封包规则进行mina拆包,解决断包,粘包问题。亲测,30ms一次数据,无丢包现象,20MB,300人使用网络,
网络抓包必备 JPCAP and WINPCAP
unity TCP客户端服务器端实现,包括两部分,服务器端客户端的数据封包拆包
主要介绍了基于Nodejs的Tcp封包和解包的理解,详细的介绍了tcp的分包与拆包并实现,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
公司项目中经常设计到串口通信,TCP通信,而且大多都是实时的大数据的传输,然后大家都知道协议通讯肯定涉及到什么,封包、拆包、粘包、校验……什么鬼的概念一大堆,说简单点儿就是要一个高效率可复用的缓存区。...