一个linear threshold gate (LTG)可以用来把向量输入映射到二进制输出。
以太泛化的模型或情况来讨论只能掩盖其初始的动机和灵光。Treating a more general case will only obscure the basic ideas.
如果我们考虑这样的一个方程,y(x1, x2, x3) = x1'x2 + x2x3'(这里用‘来表示求反), x1,x2, x3取【0,1】。
那么三个变量就有2的3次方种组合,那么对于n个变量,则存在 m=2的n次方 个组合,
当然这里n都是些二元变量,存在着2的m次方个不同的方式来把这m种组合标记成两种
不同的类别。又是一种排列组合。这个boolean function是线性可分的,例如右面这个
LTG实现,当然这个LTG只是众多可以用来完成划分的LTG中的一个。
一个单独的n维输入LTG只能表达这2的m次方个布尔方程的一个小子集 。能够被LTG表达的布尔方程是线性可分系统。比如说异或问题就不是线性可分的,这样的布尔方程成为non-threshold方程,反之就是threshold方程。当n->无穷时,能被threshold function表示的布尔方程与全体布尔方程的比值的极限等于0.这点我们可以从下面的自由度之比看出来。
有些逻辑门是可以被LTG表示的,比如说NAND (or NOR),这说明LTG也是一个普遍的逻辑门,any Boolean function is realizable using a network of LTG's (only two logic levels are needed)。除了NAND (or NOR), LTG还能实现一些更复杂的逻辑门,因此一个n输入的LTG比n输入的NAND (or NOR)更加powerful 。
考虑到很大的n时,线性可分性比例很小,所以我们应尝试设计一些更加powerful的逻辑门来实现non-threshold function,这可以通过扩展LTG的输入来实现 ,比如我们可以提供输入的积(products)或者与(andings)作为新输入提供给LTG,这显然就已经破坏了线性形式,:)。在这种情况下,我们需要一个固定的预处理与门层来增加输入空间的维度,我们期望这个新boolean function变成一个thershold function, 那么他就可以用一个LTG实现。这样QTG诞生了。
Quadratic Threshold Gates(QTG):
x属于实数域和布尔域的时候,double summation term中index j 的范围不一样,首先他们都把xixj与xjxi(i<>j)看作一项,另外你发现在boolean域,把xixj(i = j)这项在后面也排除掉了,这是因为布尔域里xi *xi = xi, xi项在前面的一阶多项式里已经出现了。
LTG与QTG的自由度(参数数目)对比表格。
Threshold gate |
Number of degrees of freedom/parameters (including threshold -- 就是多项式里的b) |
LTG |
n + 1 |
QTG |
|
上面的QTG自由度就是简单的加加就出来了,贴在那里貌似很突兀。
我们可以看到产生的booleanfunction自由度(parameter)的数目明显增大,我们继而推广到Polynomial Threshold
Gates(PTG),PTG变成了一个很强大的门(gate)。
PTG的自由度:
表示m个点中每个取k时组合的数目,方便的记法而已。
分享到:
相关推荐
关于机器学习、深度学习及计算机视觉入门论文和书籍...统计模式分类 37 感知机 38 支持向量机 39 结构模式识别 39 广义匹配 39 目标匹配 39 动态模式匹配 41 关系匹配 41 图同构匹配 43 时空行为理解 43 场景解释 43
K近邻算法简介 ...1.K近邻算法 根据给定的训练数据集,对新的实例,在训练数据集中找出与该实例最近邻的K个实例,这K个实例的多数属于某类,就把输入实例分为这个类。 2.距离度量 特征空间中两个实例点的距离
支持加密管理以及提供了年月日周等多种查看模式并新增唯美的时光树统计方式,满足不同的记事需求。适合于工作日志记录,个人记事及家庭备忘。当迷恋上了每天记录事件,会发现自己对生活与工作的节奏有更好的把握,...
而针式PKM,则更注重文档的归类、统计分析、辅助学习等, 避免浪费了很多时间收集的资料,实际上只是活在硬盘空间中的垃圾。 并且多数的其它软件以网页以主,但网页的知识载体量约为20%而于; 而针式PKM则以Word...
VS2005 ASP.NET本地化学习笔记&感受 在自定义Server Control中捆绑JS文件 Step by Step 深度解析Asp.Net2.0中的Callback机制 使用 Web 标准生成 ASP.NET 2.0 Web 站点 ASP.NET 2.0基于SQLSERVER 2005的aspnetdb.mdf...
而针式PKM,则更注重文档的归类、统计分析、辅助学习等, 避免浪费了很多时间收集的资料,实际上只是活在硬盘空间中的垃圾。 并且多数的其它软件以网页以主,但网页的知识载体量约为20%而于; 而针式PKM则以Word...
本文是由笔者2012年学习oracle数据库时编写的学习札记,其中的题目 多数为老师留下的思考题目。 我相信本文会对初学者使用oracle有一个初步的使用印象。右图为我所参 考的书籍。 第一讲 Oacle关系数据库 9 一....
1.7 关于 mysql 管理员设置..................................................................................................22资源由 www.eimhe.com 美河学习在线收集分享 1.7.1 为管理员 root 用户设置密码...
支持用户看视频时做学习笔记 支持用户学习课程统计 支持在线问答 支持众多题型(单选、多选、填空、判断、简答、综合题、完形填空题、判断该错题、听力题、视频题、图片题等) 支持单选、多选题的选项中插入...
考试模式选择:学生可以选择不同类型的考试模式,包括章节练习、模拟考试等,根据个人需求进行自主学习和测试。 在线考试与答题:学生可以在微信小程序上进行在线考试,系统支持计时和答题过程监控,学生可以根据...
2019-05-04 学习笔记 学习笔记 ⼤数据特点:数据量、发⽣频率、数据种类 费雪:农业领域的实验设计法 A/B测试(随机对照测验):排除不需要的因素的评价⽅法。为同⼀个优化⽬标制定两个⽅案(⽐如两个页⾯),让⼀...
我所了解的有关人工智能/数据科学/机器学习/统计建模/模式识别/您想要称呼本笔记内容的一切。 所有这些之间的界线都非常模糊,但是它们都试图回答相同的问题:“我们如何从数据中学习?” 机器学习基本上只是花哨的...
⼤数据预处理技术 学习了⽜琨⽼师的课程后整理的学习笔记,⽤于⽇后复习 学习了⽜琨⽼师的课程后整理的学习笔记,⽤于⽇后复习 ⼀、⼤数据预处理的⼏个步骤 ⼀、⼤数据预处理的⼏个步骤 1.数据预处理 2.数据清洗 3....