WCF传输大数据问题讨论 -

枫叶主人

浏览: 15557 次
性别:
来自: 杭州

最近访客更多访客>>

xmmxjycqupt

woodding2008

心若水寒

wd1282988143

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

WCF传输大数据问题讨论

博客分类：

// ------服务端WCF实现代码  CSDN 代码折叠的功能都没，fuck。--------------------------------------

            NetTcpBinding netTcpBinding = new NetTcpBinding(SecurityMode.None, true)

                                              {

                                                  MaxBufferPoolSize = 2147483647,//2g

                                                  MaxBufferSize = 2147483647,

                                                  MaxReceivedMessageSize = 2147483647,

                                                  SendTimeout = new TimeSpan(0, 0, 30),

                                                  ReceiveTimeout = new TimeSpan(20, 0, 10),

                                                  ReliableSession =

                                                      {

                                                          Enabled = true,

                                                          InactivityTimeout = new TimeSpan(20, 0, 10)

                                                      }

                                              };

            try

            {
 
                _host = new ServiceHost(typeof(Service.PositionService));

                ServiceThrottlingBehavior throttlingBehavior =

                    _host.Description.Behaviors.Find<ServiceThrottlingBehavior>();

                if (throttlingBehavior == null)

                {

                    throttlingBehavior = new ServiceThrottlingBehavior { MaxConcurrentCalls = 3000, MaxConcurrentSessions = 3000 };

                    _host.Description.Behaviors.Add(throttlingBehavior);

                }

                else

                {

                    throttlingBehavior.MaxConcurrentCalls = 3000;

                    throttlingBehavior.MaxConcurrentSessions = 3000;

                }

                //_host.Description.Endpoints

                string strAddress = string.Format(@"net.tcp://{0}:" + Common.ConstParameters.WcfPort + "/PositionServices", _serverIp);

                _host.AddServiceEndpoint(typeof(Service.IPositionService), netTcpBinding, strAddress);

                _host.Open();
 
//-------客户端WCF初始化代码-------------------------------------------------------------------

        private int InitWcfService(string ip)

        {

            try

            {

                NetTcpBinding netbinding = new NetTcpBinding(SecurityMode.None, true)

                {

                    MaxBufferPoolSize = 2147483647,

                    MaxBufferSize = 2147483647,

                    MaxReceivedMessageSize = 2147483647,

                    SendTimeout = new TimeSpan(0, 0, 30),

                    ReceiveTimeout = new TimeSpan(20, 0, 0),

                    ReliableSession = { Enabled = true, InactivityTimeout = new TimeSpan(20, 0, 10) },

                };

                PositionService = ChannelFactory<IPositionService>.CreateChannel

                 (netbinding, new EndpointAddress("net.tcp://" + ip + ":" + Common.ConstParameters.WcfPort + "/PositionServices"));

            }

            catch (Exception ex)

            {

                return 0;

            }

            return 1;
 
        }
 
//--------服务端接口实现代码------------------------------------------------------------------------

     private void MainForm_Load(object sender, EventArgs e)

        {

            InitServerOperation();

            //!--For Test

            for (int i = 0; i < 2800; i++)

            {

                TaxiInfo taxiInfo = new TaxiInfo

                                              {

                                                 PhoneNumber = i.ToString().PadLeft(12, '0')

                                              };

                TaxiList.Add(i.ToString(), taxiInfo);

            }

        }
//-------------

        public List<Model.TaxiInfo> GetAllTaxiInfos()

        {

            lock (TaxiList.SyncRoot)

            {

                List<TaxiInfo> taxiInfos = new List<TaxiInfo>();

                foreach (TaxiInfo taxiInfo in TaxiList.Values)

                {

                    taxiInfos.Add(taxiInfo);

                }

                return taxiInfos;

            }

        }
//---客户端调用测试方法------------------------------------------------------------------------------

        private void button1_Click(object sender, EventArgs e)

        {
 
            System.Diagnostics.Stopwatch myWatch = new System.Diagnostics.Stopwatch();

            myWatch.Start();

            List<TaxiInfo> taxiInfos = PositionService.GetAllTaxiInfos();

            myWatch.Stop();

            Console.WriteLine("耗时：" + myWatch.ElapsedMilliseconds + "ms");

         }

测试发现i<=2700的时候正常传输，耗时100毫秒左右。。。。。大于2700的时候不正常。
for (int i = 0; i < 2800; i++)

千台团购进行时免费LC服务器等你来体验
<iframe id="iframeu1636201_0" style="box-sizing: content-box; border-width: 0px; vertical-align: bottom; margin: 0px;" src="http://pos.baidu.com/acom?rdid=1636201&dc=2&di=u1636201&dri=0&dis=0&dai=2&ps=4521x874&dcb=BAIDU_UNION_define&dtm=BAIDU_DUP_SETJSONADSLOT&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1457628884402&ti=WCF%20%E4%BC%A0%E8%BE%93%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%9A%84%E9%97%AE%E9%A2%98%E3%80%82-CSDN%E8%AE%BA%E5%9D%9B-CSDN.NET-%E4%B8%AD%E5%9B%BD%E6%9C%80%E5%A4%A7%E7%9A%84IT%E6%8A%80%E6%9C%AF%E7%A4%BE%E5%8C%BA&ari=1&dbv=2&drs=1&pcs=1343x609&pss=1343x4558&cfv=18&cpl=31&chi=1&cce=true&cec=UTF-8&tlm=1457628885&ltu=http%3A%2F%2Fbbs.csdn.net%2Ftopics%2F380127359&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D_xlUsJeM0bh0NoezZG6wq05i27WrU3yuB8qFCe_CmjiefjHoAxt9W17gnuLlB77E%26wd%3D%26eqid%3Da0fd946c001144b20000000356e19a56&ecd=1&psr=1360x768&par=1360x738&pis=-1x-1&ccd=24&cja=true&cmi=55&col=zh-CN&cdo=-1&tcn=1457628885&qn=83c84a838fb38dbb&tt=1457628884370.845.1396.1399" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" align="center,center" width="200" height="22"></iframe>
<iframe id="iframeu1636204_0" style="box-sizing: content-box; border-width: 0px; vertical-align: bottom; margin: 0px;" src="http://pos.baidu.com/acom?rdid=1636204&dc=2&di=u1636204&dri=0&dis=0&dai=3&ps=4526x996&dcb=BAIDU_UNION_define&dtm=BAIDU_DUP_SETJSONADSLOT&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1457628884402&ti=WCF%20%E4%BC%A0%E8%BE%93%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%9A%84%E9%97%AE%E9%A2%98%E3%80%82-CSDN%E8%AE%BA%E5%9D%9B-CSDN.NET-%E4%B8%AD%E5%9B%BD%E6%9C%80%E5%A4%A7%E7%9A%84IT%E6%8A%80%E6%9C%AF%E7%A4%BE%E5%8C%BA&ari=1&dbv=2&drs=1&pcs=1343x609&pss=1343x4563&cfv=18&cpl=31&chi=1&cce=true&cec=UTF-8&tlm=1457628885&ltu=http%3A%2F%2Fbbs.csdn.net%2Ftopics%2F380127359&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D_xlUsJeM0bh0NoezZG6wq05i27WrU3yuB8qFCe_CmjiefjHoAxt9W17gnuLlB77E%26wd%3D%26eqid%3Da0fd946c001144b20000000356e19a56&ecd=1&psr=1360x768&par=1360x738&pis=-1x-1&ccd=24&cja=true&cmi=55&col=zh-CN&cdo=-1&tcn=1457628886&qn=d81b69544b9c1670&tt=1457628884370.1626.1895.1897" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" align="center,center" width="200" height="22"></iframe>

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

回复次数：50

关注 fangxinggood 机器人本版等级：	#1 得分：0回复于： 2011-12-29 20:06:47 什么异常？ "MaxItemsInObjectGraph Quta Size超过65536" ？
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 f800051235 _HelloWorld123 本版等级：	#2 得分：0回复于： 2011-12-29 20:09:19 引用 1 楼 fangxinggood 的回复: 什么异常？ "MaxItemsInObjectGraph Quta Size超过65536" ？没异常，那边好服务端可以正常返回数据（100～200毫秒），客户端这边接收没有反应。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 f800051235 _HelloWorld123 本版等级：	#3 得分：0回复于： 2011-12-29 20:12:43 http://www.cnblogs.com/smjack/archive/2009/02/27/1399353.html 在从客户端向WCF服务端传送较大数据（>65535B）的时候，发现程序直接从Reference的BeginInvoke跳到EndInvoke，没有进入服务端的Service实际逻辑中，怀疑是由于数据过大超出限定导致的。但是我该设置的好像都设置了。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 fangxinggood 机器人本版等级：	#4 得分：0回复于： 2011-12-29 20:24:22 你把超时时间改短看看抛什么错误。。。眼拙没看出来什么问题。一般都是修改了 maxReceivedMessageSize，maxBufferSize 属性后，会遇到我说的那个问题。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

f800051235

_HelloWorld123

本版等级：

#6 得分：0回复于： 2011-12-29 21:01:09

引用 4 楼 fangxinggood 的回复:

你把超时时间改短看看抛什么错误。。。眼拙没看出来什么问题。

一般都是修改了 maxReceivedMessageSize，maxBufferSize 属性后，会遇到我说的那个问题。

发送到 net.tcp://192.168.1.101:9588/PositionServices 的请求操作在配置的超时(00:00:30)内未收到回复。分配给此操作的时间可能已经是更长超时的一部分。这可能由于服务仍在处理操作或服务无法发送回复消息。请考虑增加操作超时(将通道/代理转换为 IContextChannel 并设置 OperationTimeout 属性)并确保服务能够连接到客户端。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 f800051235 _HelloWorld123 本版等级：	#7 得分：0回复于： 2011-12-29 22:01:48 大神呢？
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 linzihuangwoo linzihuangwoo 本版等级：	#9 得分：0回复于： 2011-12-29 23:14:00 会不会是超时啊？ maxReceivedMessageSize，maxBufferSize 已经设置那么大了。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

sunzongbao2007

铜臂阿铁木

本版等级：

#11 得分：0回复于： 2011-12-30 01:01:35

引用 2 楼 f800051235 的回复:

引用 1 楼 fangxinggood 的回复:

什么异常？ "MaxItemsInObjectGraph Quta Size超过65536" ？

没异常，那边好服务端可以正常返回数据（100～200毫秒），客户端这边接收没有反应。

像这种大型的数据接收没反应的时候……我一般用数组返回，然后就能成功。

就是这个

public List<Model.TaxiInfo> GetAllTaxiInfos()

        {

            lock (TaxiList.SyncRoot)

            {

                List<TaxiInfo> taxiInfos = new List<TaxiInfo>();

                foreach (TaxiInfo taxiInfo in TaxiList.Values)

                {

                    taxiInfos.Add(taxiInfo);

                }

                return taxiInfos;

            }

        }

改成

public Model.TaxiInfo[] GetAllTaxiInfos()

        {

            lock (TaxiList.SyncRoot)

            {

                List<TaxiInfo> taxiInfos = new List<TaxiInfo>();

                foreach (TaxiInfo taxiInfo in TaxiList.Values)

                {

                    taxiInfos.Add(taxiInfo);

                }

                return taxiInfos.ToArray();

            }

        }

所以我猜测传输间序列化那有点问题，完全是猜测哦。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 sunzongbao2007 铜臂阿铁木本版等级：	#12 得分：0回复于： 2011-12-30 01:01:53 同期待大神。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

sunzongbao2007

铜臂阿铁木

本版等级：

#13 得分：100回复于： 2011-12-30 02:10:35

我刚刚试了下，使用WCF的默认DataContractSerializer手动去序列化成byte[]，然后接收后再手动去反序列化，能解决这个问题。也就是说单纯的byte[]能过去，直接将下面代码中的list以List<May>返回去就是出现LZ遇到的问题。

也就是说序列化与反序列化这一大块数据都没问题。主要问题还是出现在WCF组装消息上了。
设置一下 ReaderQuotas 这个属性，这是设置消息复杂性的。
感觉这种症状很像被DOS干掉的感觉，于是想到ReaderQuotas。

下面是我尝试的例子。

public byte[] GetMays()

        {

            DataContractSerializer DCZ = new DataContractSerializer(typeof(List<May>));

            List<May> list = new List<May>();

            for (int i = 0; i < 30000; i++)

            {

                May tmp = new May { Name = DateTime.Now.ToString("yyyy-MM-dd") };

                list.Add(tmp);
 
            }
 
            using (MemoryStream fs = new MemoryStream())

            {

                DCZ.WriteObject(fs, list);

                return fs.ToArray();

            }

        }

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

f800051235

_HelloWorld123

本版等级：

#14 得分：0回复于： 2011-12-30 11:28:04

引用 13 楼 sunzongbao2007 的回复:

我刚刚试了下，使用WCF的默认DataContractSerializer手动去序列化成byte[]，然后接收后再手动去反序列化
。。。。

万分感谢，用你这个方法搞定。客户端还要设置下
      netTcpBinding.ReaderQuotas.MaxArrayLength = 2147483647;
            netTcpBinding.ReaderQuotas.MaxStringContentLength = 2147483647;
            netTcpBinding.ReaderQuotas.MaxBytesPerRead = 2147483647;

//-------------------------------
            System.Diagnostics.Stopwatch myWatch = new System.Diagnostics.Stopwatch();
            myWatch.Start();
        //    TaxiInfo[] taxiInfos = PositionService.GetAllTaxiInfos();
           byte[] sds = PositionService.GetMays();
            myWatch.Stop();
            Console.WriteLine("耗时：" + myWatch.ElapsedMilliseconds + "ms");

            MemoryStream memory = new MemoryStream(sds);
            XmlDictionaryReader reader =
                XmlDictionaryReader.CreateTextReader(memory, new XmlDictionaryReaderQuotas());
            DataContractSerializer ser = new DataContractSerializer(typeof(List<TaxiInfo>));
            // Deserialize the data and read it from the instance.
            List<TaxiInfo> deserializedPerson =
                (List<TaxiInfo>)ser.ReadObject(reader, true);
            reader.Close();
         //   Console.WriteLine(deserializedPerson);

这样就没问题了。3Q

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

sunzongbao2007

铜臂阿铁木

本版等级：

#15 得分：0回复于： 2011-12-30 11:31:43

引用 14 楼 f800051235 的回复:

引用 13 楼 sunzongbao2007 的回复:

我刚刚试了下，使用WCF的默认DataContractSerializer手动去序列化成byte[]，然后接收后再手动去反序列化
。。。。

万分感谢，用你这个方法搞定。客户端还要设置下
netTcpBinding.ReaderQuotas.MaxArrayLength = 2147483647;
……

诶，也是治标不治本啊。还是有什么底层的没搞清楚。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 sunzongbao2007 铜臂阿铁木本版等级：	#16 得分：0回复于： 2011-12-30 11:32:23 难道是WCF防DOS防的太死了？依然不懂，依然等大神。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 f800051235 _HelloWorld123 本版等级：	#17 得分：0回复于： 2011-12-30 11:45:22 引用 16 楼 sunzongbao2007 的回复: 难道是WCF防DOS防的太死了？依然不懂，依然等大神。那我就晚点结贴吧。万分感谢。。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 sunzongbao2007 铜臂阿铁木本版等级：	#18 得分：0回复于： 2011-12-30 11:54:11 引用 17 楼 f800051235 的回复: 引用 16 楼 sunzongbao2007 的回复: 难道是WCF防DOS防的太死了？依然不懂，依然等大神。那我就晚点结贴吧。万分感谢。。嗯，我也想要答案，因为这个问题我也遇见了。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

fangxinggood

机器人

本版等级：

#19 得分：0回复于： 2011-12-30 12:14:54

我觉得还是配置大小限制的事，都用byte[]传？wcf岂不是太弱了。。。

另外，你的2800条数据也不是很大呀。

但你描述的问题最后是超时这个错误没遇见过。
你配置一下下面的内容再看看。

<behavior name="NewBehavior">
<dataContractSerializer maxItemsInObjectGraph="65536000" />
</behavior>

在ServiceEndpoint 里加上这个behavior 再看看。
http://blog.csdn.net/fangxinggood/article/details/6031072

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

sunzongbao2007

铜臂阿铁木

本版等级：

#20 得分：0回复于： 2011-12-30 12:31:36

引用 19 楼 fangxinggood 的回复:

我觉得还是配置大小限制的事，都用byte[]传？wcf岂不是太弱了。。。

另外，你的2800条数据也不是很大呀。

但你描述的问题最后是超时这个错误没遇见过。
你配置一下下面的内容再看看。

<behavior name="NewBehavior">
<dataContractSerializer maxItemsInObjectGraph="65536000" />……

是啊byte[]各种弱。。。果断试试这个方法。
binding里面找了半天这个属性原来在behavior里，自定义序列化方法的时候用了那么多的behavior配置还是没法一下想到这，还是理解不够，学艺不精。
有个印象ObjectGraph的数量不是List<Item> items里面Item的数量，而是items里面所有引用的对象实例数量。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

fangxinggood

机器人

本版等级：

#21 得分：0回复于： 2011-12-30 12:42:09

引用 20 楼 sunzongbao2007 的回复:

引用 19 楼 fangxinggood 的回复:

我觉得还是配置大小限制的事，都用byte[]传？wcf岂不是太弱了。。。

另外，你的2800条数据也不是很大呀。

但你描述的问题最后是超时这个错误没遇见过。
你配置一下下面的内容再看看。

<behavior name="NewBehavior">
<dataContractSerializer maxItemsInO……

恩，是这个意思。但lz说是timeout，所以我也拿不准是不是这个原因。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

sunzongbao2007

铜臂阿铁木

本版等级：

#22 得分：0回复于： 2011-12-30 13:00:33

引用 21 楼 fangxinggood 的回复:

引用 20 楼 sunzongbao2007 的回复:

引用 19 楼 fangxinggood 的回复:

我觉得还是配置大小限制的事，都用byte[]传？wcf岂不是太弱了。。。

另外，你的2800条数据也不是很大呀。

但你描述的问题最后是超时这个错误没遇见过。
你配置一下下面的内容再看看。

<behavior name="NewBehavior">
<dat……

我感觉是host有异常没有捕捉，因为昨天晚上我弄了个basichttpbinding的例子试了试，这种情况一般出现的是基础连接已经关闭的网络异常。

lz用的self host，和tcpnetbinding，还是和我的例子有很大不同的，还是需要lz亲自试试了。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 hualilihua 回头是岸本版等级：	#23 得分：0回复于： 2011-12-30 13:03:39 唉！ WCF的这个问题估计解决不了啦，数据丢失。。。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 sunzongbao2007 铜臂阿铁木本版等级：	#24 得分：0回复于： 2011-12-30 13:26:50 引用 23 楼 hualilihua 的回复: 唉！ WCF的这个问题估计解决不了啦，数据丢失。。。不会的，默认的不行，自定义终归是能解决的。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

qldsrx

本版等级：

#25 得分：0回复于： 2011-12-30 14:14:37

引用 14 楼 f800051235 的回复:

  客户端还要设置下
  netTcpBinding.ReaderQuotas.MaxArrayLength = 2147483647;
  netTcpBinding.ReaderQuotas.MaxStringContentLength = 2147483647;
  netTcpBinding.ReaderQuotas.MaxBytesPerRead = 2147483647;

那是当然的，这个和防DOS攻击没任何关系。ReaderQuotas是读取的最大尺寸，如果你一个对象很大，它给定的缓存里装不下这个对象，就无法进行序列化和反序列化操作，所以这里必须给大些，不要小气。不管你是否使用缓存模式传输数据，序列化和反序列化操作都需要一个缓存过程的，这里的设置和接收发送缓冲池无关，仅仅是序列化对象缓冲池。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 qldsrx qldsrx 本版等级：	#26 得分：0回复于： 2011-12-30 14:18:22 补充说明下，如果你有大数据传输，一定要用Stream模式传输，默认的是Buffered模式，那个模式太吃内存了，我看过底层源码，不看不知道，一看吓一跳。虽然Buffered模式提供了很多功能，但是牺牲了内存啊，特别是当连接数多的时候，服务器肯定要挂掉。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

f800051235

_HelloWorld123

本版等级：

#27 得分：0回复于： 2011-12-30 14:23:51

//------服务端加了以下代码，还是没用。

                _host.AddServiceEndpoint(typeof(Service.IPositionService), netTcpBinding, strAddress);
 
                // Find the ContractDescription of the operation to find.

                ContractDescription cd = _host.Description.Endpoints[0].Contract;

                OperationDescription myOperationDescription = cd.Operations.Find("test");

                if(myOperationDescription==null)

                {

                    myOperationDescription=new OperationDescription("test",_host.Description.Endpoints[0].Contract);

                }

                // Find the serializer behavior.

                DataContractSerializerOperationBehavior serializerBehavior =

                    myOperationDescription.Behaviors.

                       Find<DataContractSerializerOperationBehavior>();

                // If the serializer is not found, create one and add it.

                if (serializerBehavior == null)

                {

                    serializerBehavior = new DataContractSerializerOperationBehavior(myOperationDescription);

                    myOperationDescription.Behaviors.Add(serializerBehavior);

                }

                // Change the settings of the behavior.

                serializerBehavior.MaxItemsInObjectGraph = 65536000;

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 hualilihua 回头是岸本版等级：	#28 得分：0回复于： 2011-12-30 14:25:44 引用 24 楼 sunzongbao2007 的回复: 引用 23 楼 hualilihua 的回复: 唉！ WCF的这个问题估计解决不了啦，数据丢失。。。不会的，默认的不行，自定义终归是能解决的。呵呵是有些补救措施，但是现在依然没有一个很完美的解决方案
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

cwj_1314

冥想

本版等级：

#29 得分：0回复于： 2011-12-30 14:38:05

引用 26 楼 qldsrx 的回复:

补充说明下，如果你有大数据传输，一定要用Stream模式传输，默认的是Buffered模式，那个模式太吃内存了，我看过底层源码，不看不知道，一看吓一跳。虽然Buffered模式提供了很多功能，但是牺牲了内存啊，特别是当连接数多的时候，服务器肯定要挂掉。

同意26楼，采用Stream模式试试！

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 whwhwh001 whwhwh001 本版等级：	#30 得分：0回复于： 2011-12-30 14:43:04 有没有关于程序开发架构的高人呀？？
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 kingdom_0 kingdom_0 本版等级：	#31 得分：0回复于： 2011-12-30 14:51:26 我想用WCF向服务器上传4G左右的源码，数据少的时候还可以，超过10M就报错。WCF还真是用不好
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

f800051235

_HelloWorld123

本版等级：

#32 得分：0回复于： 2011-12-30 14:53:40

引用 26 楼 qldsrx 的回复:

补充说明下，如果你有大数据传输，一定要用Stream模式传输，默认的是Buffered模式，那个模式太吃内存了，我看过底层源码，不看不知道，一看吓一跳。虽然Buffered模式提供了很多功能，但是牺牲了内存啊，特别是当连接数多的时候，服务器肯定要挂掉。

Stream模式调用public Model.TaxiInfo[] GetAllTaxiInfos(）

这边客户端报的异常是套接字连接已释放。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

fangxinggood

机器人

本版等级：

#33 得分：0回复于： 2011-12-30 15:05:02

怀疑还是别的问题。。。我测试10000都没有问题呀。

WcfLibrary:
1. 契约：

[DataContract]

 public class TaxiInfo

 {

     [DataMember]

     public string PhoneNumber { get; set; }

     [DataMember]

     public string Others { get; set; }

 }
 
 [ServiceContract]

 public interface IService1

 {

     [OperationContract]

     List<TaxiInfo> GetAllTaxiInfos();

 }

2. Service

[ServiceBehavior(InstanceContextMode=InstanceContextMode.Single, ConcurrencyMode=ConcurrencyMode.Multiple)]

public class Service1 : IService1
{

    private static List<TaxiInfo> _taxis = new List<TaxiInfo>();
 
    static Service1()

    {

        foreach (var i in Enumerable.Range(1, 10000))

        {

            var taxi = new TaxiInfo { PhoneNumber = i.ToString().PadLeft(12, '0') };

            _taxis.Add(taxi);

        }

    }
 
    public List<TaxiInfo> GetAllTaxiInfos()

    {

        return _taxis;

    }
}

3. Winform Host

public partial class Form1 : Form

 {

     public Form1()

     {

         InitializeComponent();

     }
 
     private ServiceHost _host;
 
     private void button1_Click(object sender, EventArgs e)

     {

         NetTcpBinding netTcpBinding = new NetTcpBinding(SecurityMode.None, true)

                                           {

                                               MaxBufferPoolSize = 2147483647,//2g

                                               MaxBufferSize = 2147483647,

                                               MaxReceivedMessageSize = 2147483647,

                                               SendTimeout = new TimeSpan(0, 0, 30),

                                               ReceiveTimeout = new TimeSpan(20, 0, 10),

                                               ReliableSession =

                                                   {

                                                       Enabled = true,

                                                       InactivityTimeout = new TimeSpan(20, 0, 10)

                                                   }

                                           };

         try

         {
 
             _host = new ServiceHost(typeof(WcfServiceLibrary1.Service1));

             ServiceThrottlingBehavior throttlingBehavior =

                 _host.Description.Behaviors.Find<ServiceThrottlingBehavior>();

             if (throttlingBehavior == null)

             {

                 throttlingBehavior = new ServiceThrottlingBehavior { MaxConcurrentCalls = 3000, MaxConcurrentSessions = 3000 };

                 _host.Description.Behaviors.Add(throttlingBehavior);

             }

             else

             {

                 throttlingBehavior.MaxConcurrentCalls = 3000;

                 throttlingBehavior.MaxConcurrentSessions = 3000;

             }

             //_host.Description.Endpoints
 
             string strAddress = "net.tcp://localhost:20000/PositionServices";

             _host.AddServiceEndpoint(typeof(WcfServiceLibrary1.IService1), netTcpBinding, strAddress);

             _host.Open();

             label1.Text = "Service is opened...";

         }

         catch (Exception ex)

         {

             MessageBox.Show(ex.Message);

         }

     }

 }

3. WcfClient

   class Program

    {

        private static WcfServiceLibrary1.IService1 PositionService = null;
 
        static void Main(string[] args)

        {

            try

            {

                InitConnect();

                var sw = new Stopwatch();

                sw.Start();

                var allTaxis = PositionService.GetAllTaxiInfos();

                Console.WriteLine(allTaxis.Count);

                sw.Stop();

                Console.WriteLine("GetAllTaxiInfos Elapsed：{0}ms", sw.ElapsedMilliseconds);

                Console.Read();

            }

            catch (Exception ex)

            {

                Console.WriteLine(ex.Message);

            }

        }
 
        static void InitConnect()

        {

            NetTcpBinding netbinding = new NetTcpBinding(SecurityMode.None, true)

            {

                MaxBufferPoolSize = 2147483647,

                MaxBufferSize = 2147483647,

                MaxReceivedMessageSize = 2147483647,

                SendTimeout = new TimeSpan(0, 0, 30),

                ReceiveTimeout = new TimeSpan(20, 0, 0),

                ReliableSession = { Enabled = true, InactivityTimeout = new TimeSpan(20, 0, 10) },

            };

            PositionService = ChannelFactory<WcfServiceLibrary1.IService1>.CreateChannel

             (netbinding, new EndpointAddress("net.tcp://localhost:20000/PositionServices"));

        }

    }

输出：
10000
GetAllTaxiInfos Elapsed：2183ms

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

f800051235

_HelloWorld123

本版等级：

#34 得分：0回复于： 2011-12-30 15:22:26

引用 33 楼 fangxinggood 的回复:

怀疑还是别的问题。。。我测试10000都没有问题呀。

WcfLibrary:
1. 契约：
C# code
[DataContract]
public class TaxiInfo
{
     [DataMember]
     public string PhoneNumber { get; set; }
     [DataMember]
     public stri……

额，你在弄大一点比如30000
我  TaxiInfo 里面不止PhoneNumber 一个属性，其实还有其他属性，我贴打出来。。
                TaxiInfo taxiInfo = new TaxiInfo
                                              {
                                                  PhoneNumber = i.ToString().PadLeft(12, '0'),
                                                  Longitude = 120 + i / 1000.0f,
                                                  Latitude = 30 + i / 1000.0f,
                                                  TaxiState = 0,
                                                  Ip = IPAddress.Parse("192.168.1.1"),
                                                  TaxiType = "测试测试" + i,
                                                  TaxiNo = "阿A0" + i.ToString().PadLeft(4, '0')
                                              };

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

fangxinggood

机器人

本版等级：

#36 得分：0回复于： 2011-12-30 16:00:30

我的意思，你应该在别的地方在比较一下，有没有没有描述的。

好吧，我上到 100000，11个字段每个字段1000个字符。都没问题。

 static Service1()

 {

     foreach (var i in Enumerable.Range(1, 100000))

     {

         var taxi = new TaxiInfo { 

             PhoneNumber = i.ToString().PadLeft(100, '0'),

             Data1 = i.ToString().PadLeft(100, '0'),

             Data2 = i.ToString().PadLeft(100, '0'),

             Data3 = i.ToString().PadLeft(100, '0'),

             Data4 = i.ToString().PadLeft(100, '0'),

             Data5 = i.ToString().PadLeft(100, '0'),

             Data6 = i.ToString().PadLeft(100, '0'),

             Data7 = i.ToString().PadLeft(100, '0'),

             Data8 = i.ToString().PadLeft(100, '0'),

             Data9 = i.ToString().PadLeft(100, '0'),

             Data10 = i.ToString().PadLeft(100, '0'),

         };

         _taxis.Add(taxi);

     }

 }

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 fangxinggood 机器人本版等级：	#37 得分：0回复于： 2011-12-30 16:01:05 写错了每个字段100个字符。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注

f800051235

_HelloWorld123

本版等级：

#38 得分：0回复于： 2011-12-30 19:18:50

引用 37 楼 fangxinggood 的回复:

写错了每个字段100个字符。

copy 了，你13楼的代码，新建的项目，超过30000就不行了。

运行环境 .NET 4.0 ，测试代码工程 http://115.com/file/bew3ytsu#Test.rar

        public List<TaxiInfo> GetAllTaxiInfos()

        {

            for (int i = 0; i < 30000; i++)

            {

                var taxi = new TaxiInfo { PhoneNumber = i.ToString().PadLeft(12, '0') };

                _taxis.Add(taxi);

            }

            return _taxis;

        }

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

fangxinggood

机器人

本版等级：

#39 得分：0回复于： 2011-12-30 19:36:36

引用 38 楼 f800051235 的回复:

引用 37 楼 fangxinggood 的回复:

写错了每个字段100个字符。

copy 了，你13楼的代码，新建的项目，超过30000就不行了。

运行环境 .NET 4.0 ，测试代码工程 http://115.com/file/bew3ytsu#Test.rar
C# code

public List<TaxiInfo> GetAllTaxiInf……

还是一样，改到 100000 也没错

100000
GetAllTaxiInfos Elapsed：1160ms

没问题啊，你出什么错误？

OutOfMemoryException 就不要试了。。。内存太小了。

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注

f800051235

_HelloWorld123

本版等级：

#40 得分：0回复于： 2011-12-30 20:03:24

引用 39 楼 fangxinggood 的回复:

引用 38 楼 f800051235 的回复:

引用 37 楼 fangxinggood 的回复:

写错了每个字段100个字符。

copy 了，你13楼的代码，新建的项目，超过30000就不行了。

运行环境 .NET 4.0 ，测试代码工程 http://115.com/file/bew3ytsu#Test.rar
C# code

public List<Tax……

没什么错误。。等30S没响应。。然后报超时。

发送到 net.tcp://localhost:20000/PositionServices 的请求操作在配置的超时(00:00:30)内未收到回复。分配给此操作的时间可能已经是更长超时的一部分。这可能由于服务仍在处理操作或服务无法发送回复消息。请考虑增加操作超时(将通道/代理转换为 IContextChannel 并设置 OperationTimeout 属性)并确保服务能够连接到客户端。

         static Service1()
        {
            for (int i = 0; i < 25000; i++)
            {
                var taxi = new TaxiInfo { PhoneNumber = i.ToString().PadLeft(12, '0') };
                _taxis.Add(taxi);
            }
        }

对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理

关注 fangxinggood 机器人本版等级：	#41 得分：0回复于： 2011-12-30 20:08:45 你用 release 编译出 winform.exe 和 console.exe 不要开 vs，再跑一下。如果能过，那么很大可能性是内存不足啊。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 f800051235 _HelloWorld123 本版等级：	#42 得分：0回复于： 2011-12-30 20:24:23 引用 41 楼 fangxinggood 的回复: 你用 release 编译出 winform.exe 和 console.exe 不要开 vs，再跑一下。如果能过，那么很大可能性是内存不足啊。 release 也不行。。4G内存应该不会不足吧？
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 fangxinggood 机器人本版等级：	#43 得分：100回复于： 2011-12-30 20:40:47 这... 不解了。看看有什么东西限速嘛？除了.net 其他看看能关都关了。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 f800051235 _HelloWorld123 本版等级：	#44 得分：0回复于： 2011-12-30 21:04:53 引用 43 楼 fangxinggood 的回复: 这... 不解了。看看有什么东西限速嘛？除了.net 其他看看能关都关了。额。试的没用。。我用上面那位兄弟的public byte[] GetMays()的方法发现获得的数据有8M这么大，不知道有没有影响。。麻烦你帮我看这么长时间了。谢了。。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 qldsrx qldsrx 本版等级：	#45 得分：0回复于： 2011-12-31 12:01:12 楼上贴了那么多代码，不如直接把整个测试项目上传到网盘，然后下载调试，这样更利于发现问题（也许是配置文件问题，也许是代码问题）。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 qldsrx qldsrx 本版等级：	#46 得分：0回复于： 2011-12-31 15:15:49 怎么结贴了？帮你找出问题并解决了，回来一看，帖子结了。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理

关注 siaosa_ding siaosa_ding 本版等级：	#47 得分：0回复于： 2012-01-01 13:26:44 WCF不能一次性传输太大的数据，如果网络流量不好，延时的话数据越小越好，如果传输的时间太长了，也会发生这样的错误。
对我有用[0] 丢个板砖[0] 引用 \| 举报 \| 管理