网络营销数据解读（五）——完善指标

转载声明 ：转载时请以超链接形式标明文章原始出处:
http://www.marsopinion.com/2009/09/09/how-to-interpret-online-marketing-data-2/

建议先阅读本系列其他文章：

• 网络营销数据解读（一）——事情不是你看到的那样
• 网络营销数据解读（二）——事情不是你看到的那样
• 网络营销数据解读（三）——那又怎么样呢？
• 网络营销数据解读（四）——目标和指标

上次（网络营销数据解读（四）——目标和指标 ）说到定义了目标之后，我们需要找到一组Metrics（指标）来衡量目标达成情况 。找合适的Metrics要分三步走：

第一步， 了解我们监控到的数字的意义 ，找到合适的指标来衡量我们目的达成的效果。

第二步，研究数据，将无效和虚假的部分剥离。

第三步，通过测试、辅助指标计算和长期监控来分析隐性和长期效果。

网络营销数据解读（四）——目标和指标 里对第一步进行了简单的介绍，今天我们来讨论第二步和第三步。

首先，我们要研究数据，将无效和虚假的部分剥离 。

因为监控工具的不完美，人工操作的失误，或者合作方有意无意的作*，我们拿到的数据很未必完全是真实的。你拿到10000个click，可能只有1个是真实用户的点击，拿到10万个注册用户，可能全部都是机器生成。——所以，我们必须要有一个筛选过滤的过程。

因为作*方法太多，我也没有想到有什么系统性的方法可以用来解决这个问题。有一个简单的原则就是：找异常。真实的数据看起来就是会比较”真实“，数 据间的比例关系也会比较合理，数据在时间和地域上的曲线和分布都会比较平滑。反过来，作*的流量有可能会考虑不周，从而在某方面做得太过分而显出异常来。

举例来说，如果我监控的是我在www.MarsOpinion.com 上广告投放的click数据，有哪些可能出现“异常”的地方呢？

• 流量在时间上的分布异常：如果平时每天带来1万个click，今天忽然带来10万个，这就很让人怀疑。另一种情况，如果每天还是平均1万个很稳定，但是仔细看发现每天有5千个都是在8点5分到8点10分这五分钟过来的，这也是一种异常。
• 流量在行为上的异常：正常情况下，通过广告带来的大部分的流量应该会直接离开网站（bounce），剩下的那些流量会行为各异，有些人看多几个页 面，有些人看少几个。如果发现流量全部被bounce，这是一种异常，如果流量完全没有bounce这也很异常；如果大部分的流量都表现出了类似的行为这 也很异常——比如90%的流量都是到了landing page点击了页面顶部一个不起眼的链接，在下一个页面停留了0秒，又点击了页面顶部一个不起眼的链接，然后离开站，这看起来也很假。
• 流量在地域上的异常：如果1万个click当中，9800个来自同一个IP（或者相邻的一段IP），这也很奇怪。如果从地域分析上看，一个面向北京免运费的活动，来的流量99%都是山西的，这也很莫名。
• 流量在来源上的异常：本来买的是www.MarsOpinion.com 网 络营销专区的广告，结果最后仔细研究发现流量中90%是从游戏专区点来的，这也很不对劲。（不同地方的流量价值是不一样的，可能他们在卖你广告的时候宣传 的是”我们的受众刚好是你的目标客户，重合度高，效果好“，但是其实他们那个方面流量太少，为了填数字，只好从别的热门频道——例如游戏频道、娱乐频道 ——导入垃圾流量充场面）

如果我们监控的不是click，而是registration呢？类似。

• 时间分布异常：前一个月每天才5个注册，结算前一天来了10000个注册。
• 行为异常：广告链接到landing page，但是所有流量都是直接到注册页面注册，没有经过landing page。
• 地域异常：都来自同一个IP段
• 其他异常：所有注册用户都没有填写具体信息；或者所有注册用户都叫类似名字；或者所有注册用户的注册email都长得很像，比较常见的是[e-mail] , [e-mail] , [e-mail], [e-mail] , [e-mail] , [e-mail] …

上面只是抛砖引玉，并不能涵盖所有作*流量的特点。但是从Marketer的角度，我们判断流量虚假的原则是确定的：流量是否显著异常 。如果他能做到在数据表现上和真实流量没区别，我们确实也很难把他们抓出来。

至少，做好第一步之后，我们已经把那些比较傻的作*数据 给排除掉了。

一般的公司上做到这一步就停下来了——嗯，确切的说，很多公司还没有做到这一步就停了，呵呵。

如果你还要深入想一下的话，可能就会思考这样一个问题：数字大就是好么？ 带来100,000块钱订单就一定比10,000块钱订单好么？难道带来1000个新用户就一定比带来500个好么？难道1000个访客就比900个访客要有价值么？

不一定。

因为我们虽然衡量了campaign达成指标的程度（数量），但是却没有仔细去考评达成指标的质量。就好象说我们派两个人去不同水果摊买50块钱苹 果，心里面想说谁买得多就算谁能干（用“重量”做指标）。最后甲带回来20斤苹果，乙带回来10斤，于是我们认为甲更能干一些。——细细想想，是不是觉得 有点怪？万一甲带回来的苹果很难吃呢（难吃，但是并不是假苹果）？万一乙买回来的是你这辈子吃过的最好吃的苹果呢？

在这个例子里，我们本来想采用”苹果的重量“来衡量两个人的能干程度，后来又加入了”口味“来辅助评判。对于网络营销的指标来说，我们也可以类似的引入一些辅助指标来帮助我们更好的理解那些主要指标的“质量”。

第一类的辅助指标，是当期就能拿到的、可以帮助我们衡量主要指标质量的其他指标。 （好绕@__@）

比如说，我们的目标是“销售”，那么我们除了订单金额之外，还可以综合订单量，平均订单金额，购物顾客数量和利润一起来看。

假设A网站广告带来了10万块钱的销售，B网站广告带来8万块。A网站的订单数量是500，来自500名不同的客户，平均订单金额200；而B网站 的订单数是800，来自800名不同的客户，平均订单金额100——这时候，根据我们策略的不同，我们很可能就做出不同的判断。

如果我们的目标是“扩大客户群”，可能我们会定义Revised Revenue = Revenue*(1-Buyer Weight) + Buyer*Average Order Value*Buyer Weight，如果我们网站的平均订单金额是250，而我们给“购物客户数量”的权重是50%的话，我们就可以计算出A网站广告带来的的Revised Revenue = 100,000*0.5 + 500*250*0.5 = 50,000 + 62,500 = 112,500，而B网站广告带来的Revised Revenue = 80,000*0.5 + 800*250*0.5 = 40,000 + 100,000 = 140,000，两相比较，B网站的广告效果比A网站广告效果更好！

但是反过来，如果我们当前目的是“盈利”（比如我们是做service的，服务每个订单的成本类似——比如100块，单个订单买少了我们亏钱，买的 越多我们越赚），而且订单的利润数据并不能从WA中得到，我们可能就要用Revised Revenue来简单的估算一下，比如说我们可以定义Revised Revenue = Revenue – Order*100，用这个公式来计算的话，我们又会得出结论说A网站广告效果更好一些。总而言之，我们要根据战略目标来调整自己的Metrics中指标 的定义，以便于让他更精准的反映”目标达成情况“。

再举个例子，比如我们要做个Campaign，目的是给网站带流量，那么，网站停留时间，浏览深度，和是否到达特定页面（例如公司介绍页面，产品介 绍页面）也可以成为我们的辅助指标。比如我们可以定义Revised Traffic = Traffic*0.1 + 0.4*(Traffic with more than 3 pageviews）+ 0.5*(pageview of target page)，这样子，那些给我们带来高质量流量（来了之后在我们网站东逛西逛，或者对我们感兴趣看了我们公司介绍产品介绍）的营销渠道会更容易脱颖而出。

比如新浪广告带来了100万visitor，10万浏览超过3个页面，8万（和前面这10万人有重复）人看了产品页面，同时QQ广告带来120万 visitor，5万浏览超过3个页面，6万（和前面这5万有重复）人看了产品页面，乍一看访客数量好像QQ广告更好，但是仔细考虑流量的质量，用我们设 计的revised traffic分析就会发现不是这么一回事。新浪的Revised Traffic = 1,000,000 * 0.1 + 0.4 * 100,000 + 0.5 * 80,000 = 180,000，而QQ的Revised Traffic = 1,200,000 * 0.1 + 0.4 * 50,000 + 0.5 * 60,000 = 150,000，新浪广告的效果更好一些！

从上面的例子可以看到，我们的目标不同，就会导致我们对”质量“理解的不同，也就会需要选用不同的辅助指标来帮助我们更好的解读数据。

除了上面所说的这些之外，还有另一类辅助指标——长期效果。

简单说，就是隔一段时间，再测量一下之前某个campaign带来的流量、客户表现如何。

还是用上面的例子，新浪广告100万Visitor，QQ广告带来120万Visitor。广告投放结束后，过一个月之后我们可以（如果你用的WA 工具有这个功能，很多付费工具可以做到，GA的话看过别人这样用过——但是我自己没有亲手操作过）再看看这些人的表现，例如“多少人在广告投放期过后还来 过我们网站”，“多少人在最近7天来过网站”，“多少人在投放期过后买过东西”……可能我们会发现，新浪的100万Visitor当中有10万在广告停了 以后又来了网站，5万在过去7天内来过（说明访问频率高），1万买了东西；而QQ的120万人当中只有8万又来了网站，4万在过去7天内来过，7千买了东 西。我们可以比较有信心的得出结论说新浪的营销效果更好一些，真的给网站带来了客户，对我们有长期的正面影响。

再举两个非常类似的例子，第一个，假设我们在和一堆论坛搞活动吸引论坛的网站来你网站注册，注册就送论坛积分和小礼品，这样很容易在初期看到很好的 效果——比如每天注册10000个，我们觉得获取每个新用户的价值高于200块钱，所以当论坛问我们要20块钱一个注册的时候我们觉得还蛮公道的。在结算 时看看数据，觉得注册量看起来也没什么异常，应该也是真的，于是挺高兴。但是，当我们在一个月后再查数据的时候，发现只有0.1%的“新用户”在活动结束 后来访问过网站，0.01%的人7天内访问过，0.001%的人有购物行为——而自然增长的“真实新用户”，各方面数据表现应该至少是这个数据的200 倍！这样算起来，论坛那些新用户的价值只有我们平时自然增长新用户的1/200，也就是价值1块钱/个，20块钱一个买来实在是很亏。为什么会这样呢？一 种可能是我们的合作方在作*——做得很高明，我们没有看出来，但是他再怎么做也很难想到说还要在活动结束后继续来作*模拟让这些“新用户”去访问网站，所 以这时候被我们抓到。另一种可能是那些“新用户”完全就是被论坛积分和小礼品吸引来注册的，他们只是根据论坛的指示填了个表格提交而已，根本没有花心思了 解我们网站是干嘛的，自然之后也不会来访问——这就是规则设定的问题了。

另一个例子，假如我们和某非竞争的大网站做用户交换，为了吸引客户，我们可以给出”买100减30“的折扣券，仅供合作方带来的新注册用户使用。因 为我们要求很严格：1. 只有从合作方过来的流量才能通过注册得到折扣券；2. 只有当用户真的买东西之后我们才需要付出折扣券的成本。所以听起来是只赚不赔的生意——如果通过这个合作得到了10万个新用户，5万个买了东西，大家心里 面都会很开心，MKT也可以交一份漂亮的报告给老板来论证自己做得多好。只是，如果很不识相的在一个月后再查一下数据，或许会发现这5万个”购物新用户“ 中只有1%再次访问过网站，而正常数据应该是至少10%。为什么会有这个差距呢？你仔细在网上搜索之后可能会发现所有的网购论坛上都已经贴出了帖子说 ”www.MarsOpinoin.com在送钱，买100送30，通过这里重新注册个帐号就好！”，然后无数的老用户（一般来说，这种帖子最能吸引已经 在marsopinion.com购物过，相信这个网站的用户）点击链接重新注册了个帐号（这次用的是自己不常用的那个email，或者新弄了一个 email来注册）拿了折扣券买了自己本来要买的东西，买完之后就把这个帐号丢了。这个Campaign划不划得来我们可以再讨论，但是它的效果并不如想 象中好是一定的。

我们可以看到，辅助指标不仅仅可以帮助我们更精准的衡量网络营销效果，衡量它在“达成目标”方面的真实作用，而且还能够在一定程度上更全面和精准地过滤作*数据，一举两得。

OK，回顾一下，要找到合适的Metrics，我们需要：

第一步， 了解我们监控到的数字的意义 ，找到合适的指标来衡量我们目的达成的效果。

第二步，研究数据，将无效和虚假的部分剥离。

第三步，通过测试、辅助指标计算和长期监控来分析隐性和长期效果。

经过这些步骤，我们已经建立起来了一套合理的metrics（文中只是给了提示和方向，真的要建一套符合自己公司特点的metrics还是需要很多精力深入分析的，没有通用公式:)）

而且这套体系应该已经比大多数公司目前使用的要更全面一些了。

开香槟庆祝吧。

只是……预告一下，过一阵子（取决于我的勤勉程度@__@）还会有网络营销数据解读（六）和网络营销数据解读（七）……预计会要写到（十）去，呵呵。接着往下看，可能你会发现这篇文章里的结论其实也还大有探讨的余地，呵呵。

I will be back.

PS.

• 为什么要搞这么麻烦？ 嗯……这样才能用更少的钱达到更好的效果，不同水平的Online Marketer去执行类似的Campaign，真实效果差10倍是很正常的事情。哪怕你只投入100万么通过分析数据，积累经验，优化方法就有可能帮你 省90万，看在钱的面子上多看看数据何乐不为？ （之前也写过一篇为什么要深入解析“网站分析”数据？)
• 真的要搞这么麻烦么？ 不一定，看你投放规模，如果本身就没有花多少钱在网络营销方面，其实也没必要太认真分析，简单监控一下就OK了。”优化“这种事情常常是边际效益递减的，只有上规模的公司才有必要做到非常细致深入的研究和优化。