`
猫耳呀
  • 浏览: 174088 次
社区版块
存档分类
最新评论

MaxCompute访问TableStore(OTS) 数据

阅读更多
摘要: MaxCompute作为阿里云大数据平台的核心计算组件,承担了集团内外大部分的分布式计算需求。

免费开通大数据服务:https://www.aliyun.com/product/odps

前言

MaxCompute作为阿里云大数据平台的核心计算组件,承担了集团内外大部分的分布式计算需求。而MaxCompute SQL作为分布式数据处理的主要入口,为快速方便处理/存储EB级别的离线数据提供了强有力的支持。 随着大数据业务的不断扩展,新的数据使用场景在不断产生,在这样的背景下,MaxCompute计算框架也在不断的演化,原来主要面对内部特殊格式数据的强大计算能力,也正在一步步的开放给不同的外部数据。 之前我们介绍了怎样在MaxCompute上处理存储在OSS上面的非结构化数据,在这里我们将进一步介绍如何将来自TableStore(OTS)的数据纳入MaxCompute上的计算生态,实现多种数据源之间的无缝连接。

对于在线服务等应用场景,NoSQL KV Store(e.g., BigTable, HBase)相比传统数据库,具有schema灵活,易扩展,实时性强等优点。阿里云TableStore(OTS) 是在阿里飞天分布式系统之上实现的大规模的NoSQL数据存储服务,提供海量KV数据的存储和实时访问。 在集团内部各BU以及外部阿里云生态圈中具有广泛的应用。 尤其是TableStore在行级别上的实时更新和可覆盖性写入等特性,相对于MaxCompute内置表append-only批量操作,提供了一个很好的补充。 但是TableStore作为一个偏存储的服务,对于存储在其上的海量数据,在大规模批量并行处理的计算能力有所欠缺。 在这样的背景下,打通MaxCompute的计算和TableStore存储之间的数据链路就显得尤其重要。

1. MaxCompute对TableStore数据进行读取和计算

1.0 使用前提和假设

1.0.1 MaxCompute 2.0计算框架非结构化功能的打开

首先要说明的是MaxCompute新一代的2.0计算框架还在灰度上线的过程中,默认设置下许多功能没有打开,所以要使用新引进的非结构化数据处理框架,需要申请MaxCompute 2.0试用,具体开通使用方法请参见 如何申请试用MaxCompute 2.0, 简单来说就是在开通2.0非结构化功能的前提下,在每个SQL query执行时必须带上如下setting:

set odps.task.major.version=2dot0_demo_flighting;

set odps.sql.planner.mode=lot;

set odps.sql.ddl.odps2=true;

set odps.sql.preparse.odps2=lot;

下面的范例中就不再重复了,但是本文介绍的所有功能均基于以上假设,当然这些特殊设置在2.0计算框架完全上线后就可以省略了。

1.0.2 TabelStore基本概念以及网络连通性

如果对于TableStore不熟悉或者对于整个KV table的概念比较陌生同学,可以通过TableStore的文档来先了解一些基本概念(比如主键,分区键,属性列等),这里的讨论不对这些基本概念做深入的解释和探讨。 同时对于MaxCompute非结构化框架的整体介绍可以参见之前在MaxCompute上处理存储在OSS上面的非结构化数据的介绍文章,包括External Table, StorageHandler的概念以及SERDEPROPERTIES的使用等。

MaxCompute与TableStore是两个独立的大数据计算以及大数据存储服务,所以两者之间的网络必须保证连通性。 对于MaxCompute公共云服务访问TableStore存储,推荐使用TableStore私网地址,也就是host名以ots-internal.aliyuncs.com作为结尾的地址,例如tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com。

1.0.3 TabelStore类型与MaxCompute类型的对应

TableStore与MaxCompute都有其自身的类型系统。 在MaxCompute处理TableStore数据的时候,两者之间的类型对应关系如下:
MaxCompute Type TableStore Type
STRING STRING
BIGINT INT
DOUBLE DOUBLE
BINARY* BLOB

*其中要特别说明的是, 对于MaxCompute而言,BINARY类型是在新的2.0类型系统中引进的,所以如果有需要使用到BINARY类型的时候,除了上文1.0.1 里面提到的设置之外,还需要额外添加一个设置才能生效:

set odps.sql.type.system.odps2=true;

1.1 使用STS/RAM的方式访问TableStore数据

需要首先指出的是,MaxCompute计算服务要访问TableStore数据需要有一个安全的授权通道。 在这个问题上,MaxCompute结合了阿里云的访问控制服务(RAM)和令牌服务(STS)来实现对数据的安全反问:
首先需要在RAM中授权MaxCompute访问OSS的权限。登录RAM控制台,创建角色AliyunODPSDefaultRole,并将策略内容设置为:

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "odps.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

然后编辑该角色的授权策略,将权限AliyunODPSRolePolicy授权给该角色。

如果觉得这些步骤太麻烦,还可以登录阿里云账号点击此处完成一键授权。

1.2 创建External Table 关联MaxCompute与TableStore

与处理OSS数据的使用方法类似,MaxCompute通过EXTERNAL TABLE的方式来对接TableStore的数据:用户通过一个CREATE EXTERNAL TABLE的DDL语句,把对TableStore表数据的描述引入到MaxCompute的meta系统内部后,即可如同使用一个普通TABLE一样来实现对TableStore数据的处理。 这里先提供一个最简单的使用范例,并且通过该范例来讨论ODPS对接TableStore的一些概念和实现。

DROP TABLE IF EXISTS ots_table_external;

CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
odps_orderkey bigint,
odps_orderdate string,
odps_custkey bigint,
odps_orderstatus string,
odps_totalprice double
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler' -- (1)
WITH SERDEPROPERTIES ( -- (2)
'tablestore.columns.mapping'=':o_orderkey,_orderdate, o_custkey, o_orderstatus,o_totalprice', -- (3)
'tablestore.table.name'='ots_tpch_orders' -- (4)
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com'; -- (5)

这个DDL语句将一个TableStore表映射到了MaxCompute的一个External Table上。 在这个基础上,后继对TableStore数据的操作可以直接通过External Table进行。 这里先对上面这个CREATE EXTERNAL TABLE的DDL语句做一些解释:

1.com.aliyun.odps.TableStoreStorageHandler 是MaxCompute内置的处理TableStore数据的StorageHandler, 定义了MaxCompute和TableStore的交互,相关逻辑由MaxCompute实现。

2.SERDEPROPERITES可以理解成提供参数选项的接口,在使用TableStoreStorageHandler时,有两个必须指定的选项,分别是下面介绍的tablestore.columns.mapping和tablestore.table.name。 更多的可选选项将在后面其他例子中提及。

3.tablestore.columns.mapping选项:必需选项,用来描述对需要MaxCompute将访问的TableStore表的列,包括主键和属性列。 这其中以:打头的用来表示TableStore主键,例如这个例子中的:o_orderkey和:o_orderdate。 其他的均为属性列。 TableStore支持最少1个,最多4个主键,主键类型为bigint或string,其中第一个主键为分区键。 在指定映射的时候,用户必须提供指定TableStore表的所有主键,对于属性列则没有必要全部提供,可以只提供需要通过MaxCompute来访问的属性列。

4.tablestore.table.name:需要访问的TableStore表名。 如果指定的TableStore表名错误(不存在),则会报错,MaxCompute不会主动去创建TableStore表。

5.LOCATION clause用来指定TableStore的具体信息,包括instance名字,endpoint等。 值得注意的是这里对TableStore数据的安全访问是建立在前文介绍的RAM/STS授权的前提上的。

1.3 通过External Table访问TableStore数据进行计算

在用上述DDL创建出External Table之后,TableStore的数据就引入到了MaxCompute的生态中,我们现在就可以通过正常的MaxCompute SQL语法来访问TableStore数据了,比如:

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

可以看到,在上面的这个例子,直接使用的就是我们所熟悉的MaxCompute SQL语法,访问TableStore的所有细节由MaxCompute内部处理。 这包括在列名的选择上:可以看到,在这个SQL里面,使用的列名是odps_orderkey,odps_totalprice等,而不是原始TableStore里面的主键名o_orderkey或属性列名o_totalprice了,因为我们在创建External Table的DDL语句里,已经做了对应的mapping。 当然因为具体的mapping是每个用户可以自己控制的,所以如果在创建External Table的时候保留原始的TableStore主键/列名也是可以的。

在底层的实现上,MaxCompute框架针对TableStore数据的存储特点做了各种优化,包括并发读取,SQL语句的filtering操作转义等。 举个例子,有filtering操作(比如上面的WHERE语句)时,MaxCompute会判断filtering key是否为TableStore表格的主键,来决定如何用TableStore的GetRange API来读取最小量数据,而不是无条件读取全量数据读到MaxCompute计算节点再做过滤操作。 当然这些实现的优化用户均无需感知,由MaxCompute计算框架负责来提供高效的实现。

另外如果需要对一份数据做多次计算,相较每次从TableStore去远程读数据,一个更高效的办法是先一次性把需要的数据导入到MaxCompute内部成为一个MaxCompute(内部)表,比如:

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
WHERE odps_orderkey > 5000 ;

现在internal_orders就是一个我们熟悉的MaxCompute表了,也拥有所有MaxCompute内部表的特性:包括高效的压缩列存储数据格式,完整的内部宏数据以及统计信息等。 同时因为存储在MaxCompute内部,访问速度会比访问外部的TableStore更快,尤其适用于需要进行多次计算的热点数据。

2. 数据从MaxCompute写出到TableStore

打通MaxCompute和TableStore的数据生态,除了将TableStore作为批量数据处理的数据来源以外,一个另外的重要场景是将MaxCompute的数据处理结果输出到TableStore,利用TableStore可实时更新和可单行覆盖等特点,迅速的将离线计算的结果反馈给在线应用。 这种对TableStore的数据输出可以使用MaxCompute SQL的INSERT OVERWRITE来实现。

需要再次强调的是,MaxCompute不会主动创建外部的TableStore表,所以在对TableStore表进行数据输出之前,必须保证该表已经在TableStore上创建过(否则将报错)。 这样的设计是因为TableStore建表的过程可能涉及到CU的设置,计费,数据生命周期等一系列选项,这些必须由数据的所有者来决定: MaxCompute不拥有这些外部数据,也无法做出这些选择。

紧接上面的例子,假设我们已经使用上面的DDL语句创建了ots_table_external这个外部表来打通MaxCompute与TableStoreb数据表ots_tpch_orders的链路, 而且我们还有一份存储在在MaxCompute内部有一个名为internal_orders的数据,现在希望对internal_orders中的数据进行一定处理后再写回TableStore上,那么可以直接通过对外部表做INSERT OVERWITE TABLE的操作来实现:

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;

在这里对表中的数据做了一些处理,并且把经过处理过的数据重新写回到了TableStore里。 对于TableStore这种KV数据的NoSQL存储介质,从MaxCompute的输出将只影响相对应主键所在的行:在上面这个例子中也就是只影响所有 odps_orderkey + odps_orderdate 这两个主键值能对应行上的数据。 而且在这些TabeleStore行上面,也只会去更新在创建External Table (ots_table_external)时指定的属性列,而不会去修改未在External Table里面出现的数据列。 关于MaxCompute外部表和TableStore表的对应关系,下文会更系统的介绍。

3. 技术细节以及高级用法

从本质上来看MaxCompute表是严格结构化的数据表,要求所有的行均遵从严格一致的schema,而TableStore的表中存储的是NoSQL的“半结构化”K-V数据。这些基本数据格式上的区别决定了在两个系统的交互过程中,行为会有一些区别。 同时MaxCompute作为一个分布式计算系统,读写TableStore通过并发执行来实现,这就需要对TableStore的数据有一个切割的机制。 在默认情况下,MaxCompute会提供一个系统认为最合适的处理方法,来实现对TableStore数据的访问和计算,而这些实现也能满足绝大部分用户的需求。 但是与此同时,为了满足一些对系统比较熟悉的高级用户的特殊需求,MaxCompute也提供了更多的可配置选项,这里做一些介绍。

3.1 MaxCompute外表与TableStore数据表的对应关系

MaxCompute外表与TableStore数据表是多对一(N:1)的关系。 也就是说可以有多个MaxCompute外表(External Table)来描述一张TableStore表。 这里的N:1是两个维度上的:
不同的MaxCompute外表可以描述一张TableStore表的不同属性列子集,比如如果在TableStore的一个表有3个主键列,(up to)20个属性列,那么通过MaxComptue的外表,主键必须提供完备,但是属性列则不必,比如可以只提供一个属性列,那么通过MaxCompute外表进行的所有操作,都只会基于主键和所提供的属性列上的数据。
不同的MaxCompute外表可以描述一张TableStore表的不同range,在本文的例子里都是一个外表对应一个TableStore表的全range,但实际使用的时候是可以通过额外选项来指定外表对应的range start和range end的, 这可以做到一个外表只映射一个TableStore表的子range。
这个功能这里不展开介绍,有需求的话可以联系MaxCompute技术团队。

3.2 MaxCompute读取TableStore数据时的并发度

TableStore是一个分布式KV数据存储系统,每个数据表都可能存储在多个后端server上,并且根据分区键进行分区,具体存储上的分区策略由TableStore决定。 目前通过MaxCompute读取TableStore数据,默认的并发度将与TableStore后端的分区数目相同。 唯一的例外是,在采用INTEGER64作为分区键,且TableStore后端的分区数目大于1时,MaxCompute会自动对并发度再做调整,在更高的并发度上读取数据。 此外TableStore自身的系统也在不断发展,以后将提供更强大的API接口给MaxCompute来使用,到时候将可以根据后端数据的大小,来准确的做出数据切割。 更准确的控制每个并发MaxCompute worker处理的数据量和计算时间。 这方面将在这些功能实现后再更新来做具体说明。

最后,如果用户对自己存储在TableStore数据有着非常好的了解,比如对于不同key range中的数据量都能做出很好的预估,MaxCompute还提供让用户自己指定并发度的选型:用户的控制甚至可以细化到指定每个worker应该处理哪个range的数据。 有这个需求的用户可以联系MaxCompute技术团队。

3.3 MaxCompute写出TableStore数据时的并发度

在将MaxCompute内部数据写出到TableStore时,并发度由MaxCompute根据数据量自动进行控制。 当然用户也可以手动调节SQL执行过程中的mapper/reducer数目来调整并发度。 但是绝大部分情况下, MaxCompute本身适配的并发度都是比较合理的,一般不建议自己手工设置mapper/reducer数目。 另外,在一些场景上,MaxCompute计算服务与TableStore存储服务之间会存在着需要适配的情况。一般来说MaxCompute可以调度起计算节点都比较充裕,而大量计算节点同时往TableStore写出数据时可能会打满网络。 这种情况下单纯调高MaxCompute计算节点数目来并发写出数据,并不会带来额外的提速。 所以在特别大的规模上,用户最好能提前和TableStore服务沟通,以保证TableStore能提供足够的吞吐量满足需求。

3.4 MaxCompute访问TableStore的网络连通性

因为MaxCompute与TableStore是两个分开的云服务,所以在不同的部署集群上的网络连通性有可能影响MaxCompute访问TableStore的数据的可达性。 关于TableStore的节点,实例,服务地址等概念,可以参见TableStore相关介绍。 如同上文介绍的,在MaxCompute公共云服务访问TableStore存储,推荐使用TableStore私网地址(即以ots-internal.aliyuncs.com结尾的host地址)。

4. 结语:构造大数据生态

随着MaxCompute非结构化数据处理框架的上线,MaxCompute开放了处理外部数据的接口,包括之前介绍的访问OSS数据,以及本文描述的访问TableStore数据。 我们希望借此来实现整个阿里云计算与数据的生态融合: 在不同的项目上,我们已经看到了在MaxCompute上处理OSS上的海量视频,图像等非结构化数据的巨大潜力。 随着TableStore数据支持的加入,期待计算和更多数据的碰撞能打通更多的应用场景,让OSS数据,TableStore数据以及MaxCompute内部存储的数据,能在MaxCompute的核心计算引擎上产生更大的价值。

原文链接:http://click.aliyun.com/m/45010/
分享到:
评论

相关推荐

    datax导数据工具,高性能的数据迁移工具

    DataX作为一个全量数据迁移工具,它提供了丰富的数据源支持,包括但不限于HDFS、MySQL、Oracle、SQLServer、PostgreSQL、HBase、ADS、MaxCompute(ODPS)、TableStore(OTS)、Hive、ADS、Kafka、RocketMQ等。...

    hdfswriter.zip

    DataX是阿里巴巴集团开源的一款跨平台、高性能的数据同步工具,能够实现包括MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等数据源之间的数据迁移。...

    infor:数字化转型助力制造企业蜕变.pdf

    infor:数字化转型助力制造企业蜕变.pdf

    毕业论文-电视TV_新增蓝光-整站商业源码.zip

    毕业论文-电视TV_新增蓝光-整站商业源码.zip

    InTouch触摸式考勤终端介绍.PDF

    InTouch触摸式考勤终端介绍.PDF

    毕业论文-日主题子主题-整站商业源码.zip

    毕业论文-日主题子主题-整站商业源码.zip

    毕业论文-彩虹目录列表程序v1.3源码-整站商业源码.zip

    毕业论文-彩虹目录列表程序v1.3源码-整站商业源码.zip

    灭火器识别数据集,识别率99.5%,分别率640x640,127张训练图,支持pasical voc xml格式的标注框

    灭火器识别数据集,识别率99.5%,分别率640x640,127张训练图,支持pasical voc xml格式的标注框

    【Java毕业设计】勤无忧考勤工具 - 论文、源码、PPT,打造毕业作品.zip

    此压缩包包含了本毕业设计项目的完整内容,具体包括源代码、毕业论文以及演示PPT模板。 开发语言:Java 框架:SSM(Spring、Spring MVC、MyBatis) JDK版本:JDK 1.8 或以上 开发工具:Eclipse 或 IntelliJ IDEA Maven版本:Maven 3.3 或以上 数据库:MySQL 5.7 或以上 项目配置完成后即可运行,若需添加额外功能,可根据需求自行扩展。 运行条件 确保已安装 JDK 1.8 或更高版本,并正确配置 Java 环境变量。 使用 Eclipse 或 IntelliJ IDEA 打开项目,导入 Maven 依赖,确保依赖包下载完成。 配置数据库环境,确保 MySQL 服务正常运行,并导入项目中提供的数据库脚本。 在 IDE 中启动项目,确认所有服务正常运行。 主要功能简述: 请假审批流程:系统支持请假申请的逐级审批,包括班主任审批和院系领导审批(针对超过三天的请假)。学生可以随时查看请假申请的审批进展情况。 请假记录管理:系统记录学生的所有请假记录,包括请假时间、原因、审批状态及审批意见等,供学生和审批人员查询。 学生在线请假:学生可以通过系统在线填写请假申请,包括请假的起止日期和请假原因,并提交给班主任审批。超过三天的请假需经班主任审批后,再由院系领导审批。 出勤信息记录:任课老师可以在线记录学生的上课出勤情况,包括迟到、早退、旷课和请假等状态。 出勤信息查询:学生、任课老师、班主任、院系领导和学校领导均可根据权限查看不同范围的学生上课出勤信息。学生可以查看自己所有学年的出勤信息,任课老师可以查看所教班级的出勤信息,班主任和院系领导可以查看本班或本院系的出勤信息,学校领导可以查看全校的出勤信息。 出勤统计与分析:系统提供出勤统计功能,可以按班级、学期等条件统计学生的出勤情况,帮助管理人员了解学生的出勤状况。 用户管理:系统管理员负责管理所有用户信息,包括学生、任课老师、班主任、院系领导和学校领导的账号创建、权限分配等。 数据维护:管理员可以动态更新和维护系统所需的数据,如学生信息、课程安排、学年安排等,确保系统的正常运行。 系统配置:管理员可以对系统进行配置,如设置数据库连接参数、调整系统参数等,以满足不同的使用需求。 身份验证:系统采用用户名和密码进行身份验证,确保只有授权用户才能访问系统。不同用户类型(学生、任课老师、班主任、院系领导、学校领导、系统管理员)具有不同的操作权限。 权限控制:系统根据用户类型分配不同的操作权限,确保用户只能访问和操作其权限范围内的功能和数据。 数据安全:系统采取多种措施保障数据安全,如数据库加密、访问控制等,防止数据泄露和非法访问。

    【电子设计竞赛】具有发电功能的储能小车设计与制作:高职高专组比赛任务及要求详解

    内容概要:本文档为2021年全国大学生电子设计竞赛的试题,针对“具有发电功能的储能小车”这一主题进行了详细的任务描述、要求说明及评分标准设定。任务要求设计并制作一款以超级电容为储能元件的手动发电智能小车,通过在特定区域内往复运动完成充电,之后按照规定执行直线行驶或沿圆形轨迹行驶的动作,并具备LED指示、液晶显示行驶距离等功能。基本要求涵盖小车的充电、启动控制、行驶距离等;发挥部分则增加了循迹行驶、硬币探测等挑战性任务。文档还对竞赛规则、测试条件等做了明确说明; 适合人群:参加全国大学生电子设计竞赛的高职高专组学生; 使用场景及目标:①为参赛队伍提供具体的设计与制作指导;②确保各参赛队伍理解竞赛规则、评分标准,以便准备比赛; 阅读建议:仔细研读任务要求和评分细则,确保设计方案符合所有规定,同时关注发挥部分以争取更高分数。

    汽车BCM程序源代码解析:灯光控制、雨刮洗涤、遥控及通讯功能的实现

    内容概要:本文详细介绍了汽车BCM(车身控制模块)程序源代码的关键功能和技术细节。首先探讨了BCM对外部灯光(如前照灯、转向灯、雾灯等)和内部灯光(如顶灯、门灯等)的精确控制机制,确保驾驶员和乘客的安全与舒适。其次,阐述了BCM对前后雨刮和洗涤系统的智能控制,提升车辆在恶劣天气条件下的能见度。接着,讲解了遥控钥匙(RKE)和门锁系统的运作方式,使车主能够远程操控车辆。最后,深入分析了CAN/LIN通讯和ISO15765诊断协议的应用,确保车辆各模块之间的高效协同和故障诊断。文中还展示了部分伪代码示例,帮助读者更好地理解BCM的具体实现。 适用人群:汽车电子工程师、嵌入式软件开发者、汽车爱好者。 使用场景及目标:适用于希望深入了解汽车BCM工作原理的技术人员,旨在掌握BCM在灯光控制、雨刮洗涤、遥控及通讯等方面的具体实现方法,从而应用于实际项目开发或故障排查。 其他说明:本文不仅提供了理论知识,还附有简单代码示例,便于读者理解和实践。

    毕业论文-深蓝AI智能名片小程序1.7.1-整站商业源码.zip

    毕业论文-深蓝AI智能名片小程序1.7.1-整站商业源码.zip

    基于springboot的“考研资讯平台”的设计与实现(源码+数据库+文档+PPT).zip

    # 基于springboot的“考研资讯平台”的设计与实现(源码+数据库+文档+PPT) - 开发语言:Java - 数据库:MySQL - 技术:springboot - 工具:IDEA/Ecilpse、Navicat、Maven

    VMware 17最新安装包

    VMware 17最新安装包

    电动汽车电机控制器:基于英飞凌TC27xC平台的详细设计方案及其实现

    内容概要:本文详细介绍了一种基于英飞凌TC27xC平台的电动汽车电机控制器设计方案。该方案涵盖了原理图、Bom清单、代码及其分析。文中首先概述了方案的整体架构,接着深入解析了原理图中的关键组件,如PWM信号用于控制电机速度和方向,以及ADC用于实时监控电流和电压。随后,提供了详细的Bom清单,列出了所有必要的电子元件。代码部分则分为初始化代码、电机控制代码和代码分析,展示了模块化的编程思路,确保系统的稳定性和易维护性。最后,介绍了该方案在实际电动汽车中的成功应用,强调了其对提升驾驶体验和安全性的贡献。 适合人群:从事电动汽车研发的技术人员、硬件工程师、嵌入式软件开发人员。 使用场景及目标:适用于正在研究或开发电动汽车电机控制系统的人群,旨在帮助他们理解和实现高效的电机控制解决方案。 其他说明:本文不仅提供了理论和技术细节,还分享了实践经验,有助于读者更好地掌握相关技术和应用场景。

    java必读之代码大全笔记

    java必读之代码大全笔记

    20张人脸面部不同区域分割、有标签

    20张人脸面部不同区域分割、有标签

    Java设计成品】学生考勤监控 - 论文、源码、PPT打包.zip

    此压缩包包含了本毕业设计项目的完整内容,具体包括源代码、毕业论文以及演示PPT模板。 开发语言:Java 框架:SSM(Spring、Spring MVC、MyBatis) JDK版本:JDK 1.8 或以上 开发工具:Eclipse 或 IntelliJ IDEA Maven版本:Maven 3.3 或以上 数据库:MySQL 5.7 或以上 项目配置完成后即可运行,若需添加额外功能,可根据需求自行扩展。 运行条件 确保已安装 JDK 1.8 或更高版本,并正确配置 Java 环境变量。 使用 Eclipse 或 IntelliJ IDEA 打开项目,导入 Maven 依赖,确保依赖包下载完成。 配置数据库环境,确保 MySQL 服务正常运行,并导入项目中提供的数据库脚本。 在 IDE 中启动项目,确认所有服务正常运行。 主要功能简述: 请假审批流程:系统支持请假申请的逐级审批,包括班主任审批和院系领导审批(针对超过三天的请假)。学生可以随时查看请假申请的审批进展情况。 请假记录管理:系统记录学生的所有请假记录,包括请假时间、原因、审批状态及审批意见等,供学生和审批人员查询。 学生在线请假:学生可以通过系统在线填写请假申请,包括请假的起止日期和请假原因,并提交给班主任审批。超过三天的请假需经班主任审批后,再由院系领导审批。 出勤信息记录:任课老师可以在线记录学生的上课出勤情况,包括迟到、早退、旷课和请假等状态。 出勤信息查询:学生、任课老师、班主任、院系领导和学校领导均可根据权限查看不同范围的学生上课出勤信息。学生可以查看自己所有学年的出勤信息,任课老师可以查看所教班级的出勤信息,班主任和院系领导可以查看本班或本院系的出勤信息,学校领导可以查看全校的出勤信息。 出勤统计与分析:系统提供出勤统计功能,可以按班级、学期等条件统计学生的出勤情况,帮助管理人员了解学生的出勤状况。 用户管理:系统管理员负责管理所有用户信息,包括学生、任课老师、班主任、院系领导和学校领导的账号创建、权限分配等。 数据维护:管理员可以动态更新和维护系统所需的数据,如学生信息、课程安排、学年安排等,确保系统的正常运行。 系统配置:管理员可以对系统进行配置,如设置数据库连接参数、调整系统参数等,以满足不同的使用需求。 身份验证:系统采用用户名和密码进行身份验证,确保只有授权用户才能访问系统。不同用户类型(学生、任课老师、班主任、院系领导、学校领导、系统管理员)具有不同的操作权限。 权限控制:系统根据用户类型分配不同的操作权限,确保用户只能访问和操作其权限范围内的功能和数据。 数据安全:系统采取多种措施保障数据安全,如数据库加密、访问控制等,防止数据泄露和非法访问。

    commons-csv-1.8.jar中文文档.zip

    # 压缩文件中包含: 中文文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字: jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法: 解压最外层zip,再解压其中的zip包,双击 【index.html】 文件,即可用浏览器打开、进行查看。 # 特殊说明: ·本文档为人性化翻译,精心制作,请放心使用。 ·只翻译了该翻译的内容,如:注释、说明、描述、用法讲解 等; ·不该翻译的内容保持原样,如:类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示: (1)为了防止解压后路径太长导致浏览器无法打开,推荐在解压时选择“解压到当前文件夹”(放心,自带文件夹,文件不会散落一地); (2)有时,一套Java组件会有多个jar,所以在下载前,请仔细阅读本篇描述,以确保这就是你需要的文件;

    毕业论文- 灵石人才招聘plus商用V1.4.2-整站商业源码.zip

    毕业论文- 灵石人才招聘plus商用V1.4.2-整站商业源码.zip

Global site tag (gtag.js) - Google Analytics