程序介绍
目前操作还是基于cli命令方式,后期我会考虑集成到Dsso中,以web方式来操作。
本程序能满足你日常的项目上线更加的流程化、自动化。
本程序是由python所编写。
需要安装的模块如下表:
软件/模块
|
版本 |
备注 |
python |
2.7.10 |
|
paramiko |
1.16.0 |
用于ssh链接服务器 |
progressbar |
2.3-py2.7 |
google的一个进度条python模块 |
由于考虑到有些人不愿意安装python、这边也提供了使用exe执行实现自动化上线。
本人的计算机是win7 64bit 运行没问题。
程序结构
本程序由4-5个目录构成(bin、conf、log、script、dist、build):
-
bin:存放了主程序文件。
-
conf:存放了配置文件。
-
log:存放了运行过程中的日志文件。有两种日志文件一个是自己记录的log,还有一个是paramiko模块记录的exec_cmd_xx.log)。
-
script:存放了执行远程服务器shell的命令文件(有两个一个是为了停止服务cmd,另一个是启动服务stop_server.cmd)。
-
dist:如果是使用exe版就存在此目录 -> 存放执行主程序。
-
build:如果是使用exe版就存在此目录 -> 存放python编译后的文件。
程序流程图
python上传流程图
如何使用
- 进入conf文件夹,打开配置文件,配置相关的设置如(主机名、端口、用户名、密码等等)
- 进入script文件夹,分别打开停止和开启服务的命令文件,填写你需要执行的shell命令。一个命令需要写在一行里面,可以使用“#”注释。当然如果你不需要执行命令也可以不写。
- 进入bin文件夹,双击py。
注意:如果你是在dos窗口下执行需要 cd 到bin文件夹下运行 python upload_distribute.py。
- 进入conf文件夹,打开配置文件,配置相关的设置如(主机名、端口、用户名、密码等等)
- 进入script文件夹,分别打开停止和开启服务的命令文件,填写你需要执行的shell命令。一个命令需要写在一行里面,可以使用“#”注释。当然如果你不需要执行命令也可以不写。
- 进入dist文件夹,双击exe执行主程序。
执行过程展示
python上传执行过程图
相关文件展示
这里展示了配置两个模块:easy、bee。其中easy是完整的,而bee有一部分被注释所以在运行程序,检测的时候会报错。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
[easy]
host=192.168.137.12
port=22
username=root
password=oracle
# 需要上传的文件
local_file=C:\Users\Administrator\Desktop\index.html
# 你需要上传的文件名和目录
remote_file=/usr/local/apache-tomcat-8.0.30/webapps/examples/index.html
# 远程永久备份目录,文件上传后会创建一份备份
remote_backup_dir=/tmp/backup/new
# 远程临时备份目录,备份原来存在的文件。用于失败自动恢复
remote_ori_backup_dir=/tmp/backup/ori
# 启动服务命令文件
start_cmd_file=./../script/start_server.cmd
stop_cmd_file=./../script/stop_server.cmd
[bee]
#host = 192.168.137.11
#port = 22
#username = root
#password = oracle
# 需要上传的文件
local_file=C:\Users\Administrator\Desktop\a.txt
# 你需要上传的文件名和目录
remote_file=/tmp/a.txt
# 远程永久备份目录,文件上传后会创建一份备份
remote_backup_dir=/tmp/backup/
# 远程临时备份目录,备份原来存在的文件。用于失败自动恢复
remote_tmp_backup_dir=/tmp/tmp_backup/
# 启动服务命令文件
stop_cmd_file=./../script/start_server.cmd
start_cmd_file=./../script/stop_server.cmd
|
1. stop_server.cmd
|
# ip addr del 192.168.137.22/24 dev eth0
source/root/.bash_profile&&/bin/bash/usr/local/apache-tomcat-8.0.30/bin/shutdown.sh
|
2. start_server.cmd
|
# ip addr add 192.168.137.22/24 dev eth0
# rm -rf /www/sample
# cd /www && tar -zxf /www/sample.tar.gz
source/root/.bash_profile&&/bin/bash/usr/local/apache-tomcat-8.0.30/bin/startup.sh
|
细心的人注意到以上的shell脚本尽然 添加了 source /root/.bash_profile &&,我这样使用的原因是。使用python ssh登陆linux执行shell的时候,感觉他不会执行用户家目录下的.bash_profile程序。因此有些程序执行的路径就会不对。例如,我的系统中自带的jdk版本是:OpenJDK 1.6.0_24,而我自己的环境变量中设置的是使用 java 1.7.0_79。所以他会只用 系统自带的jdk,这样不是我所希望的。
动脑筋的人可能会说那我在命令文件中的最开始就执行一次 source /root/.bash_profile 在后面每行命令前就不需要添加 source /root/.bash_profile && 了?很不行的告诉你,刚开始我也是这样想的,可惜在开发试验的过程中这样是不行的。所以个人感觉,他每次执行就好像是另外开启了一个session一样。
这里只展示程序的主过程:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
if__name__=='__main__':
try:
# 设置日志文件
time_str=str(time.time())
log_file='../log/upload_distribution_'+time_str+'.log'
logging.basicConfig(level=logging.INFO,
format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',
filename=log_file,
filemode='w',
datefmt='%Y-%m-%d %X')
# 定义配置文件路径
conf_file_name='../conf/upload_distribute.conf'
# 选择配置文件section
conf,section=select_section(conf_file_name)
# 检测配置文件正确性
check_config(conf,section)
# 执行停止命令
stop_cmd_file=conf.get(section,'stop_cmd_file')
exec_file_cmd(conf,section,stop_cmd_file)
# 备份原文件
backup_ori(conf,section)
# 上传文件
upload(conf,section)
# 备份新上传的文件
backup_new(conf,section)
# 执行启动命令
start_cmd_file=conf.get(section,'start_cmd_file')
exec_file_cmd(conf,section,start_cmd_file)
# 监听服务是否启动成功
# 实行完毕暂停
os.system('pause')
except Exception ase:
print traceback.format_exc()
__err_exit_show_msg(str(e))
|
小技巧
在上面我展示的执行过程是模拟发布tomcat项目上传单文件的,应为java web项目可以打包成一个war包用户上传和部署。但是如果是使用 nginx/apache 项目的总不肯能一个个文件的上传发布吧。
这里我们以你的 nginx/apache 项目是在 /www 目录下为例来说明一下(这里说明的是全量发布):
- 你可以将你要发布项目打包,如:tar.gz
- 配置好配置文件。
- 可以在cmd 文件中,在启动服务前执行移除之前项目和解包命令如:
|
rm-rf/www/sample
cd/www&&tar-zxf/www/sample.tar.gz
# 执行启动服务的命令.....
|
当然这样在你的/www目录下应该留下一个sample.tar.gz项目文件,对于本人来说是不影响的。
在这里多啰嗦一句,如果你的项目是做了负载,当你上项目的时候可以先 down 掉一个服务器中的虚拟IP(也有可能是不虚拟IP)不让外界访问。down 掉IP的命令可以写在 stop_server.cmd 文件中,如果发布并启动服务成功你需要UP IP,UP IP的命令可以写在start_server.cmd文件中。
Python源代码
python源码:distribute_project_py.tar.bz2
EXE可执行文件:distribute_project_exe.tar.bz2
- 大小: 71.9 KB
分享到:
相关推荐
2019年python自动化运维进阶篇20期视频教程,百度网盘下载视频。 课程目录: ├─01第一天 │ 01.drf vue分享.mp4 │ 02.课程简单介绍.mp4 │ 03 helloworld.mp4 │ 04 httpRequest对象与httpResponse对象.mp4 │ ...
> * 魔鬼部署系统采用Python+Django+Vue+Element开发,有效提升运维效率。 > * 漂亮的操作界面、项目管理、快速上线、一键回滚。 > * 目前仅支持git项目部署、在上线过程中会放弃git当前所有的修改和创建,` 需要...
查询的结果采用的分页下载,下拉到浏览器底部会自动显示下一页,查询的结果可以按照最新上线,入住最多,价格升序或降序进行排序展示。用户查询到自己满意的房源后可以下单,用户下单后房东登录可以选择接单或者拒单...
【课程内容列表】 .gitignore PEP8风格指南.md Python编程惯例.md Python参考书籍.md Python之禅.md ...软件测试和自动化测试.md Day91-100\97.电商网站技术要点剖析.md Day91-100\98.项目部署上线和性能调优.md
python 环境: 3.9 程序运行结束 既可以直接拖入您的云服务器中。 通过在线链接的方式访问 解决常见的报错: download failed: assets/main/import/09/09f53264-cd95-4751-99ad-d516c164dd80._cconb.dbbin, status: ...
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化,智能问答交互体验好;无缝嵌入:支持零编码快速嵌入到第三方业务系统;多模型支持:支持对接主流的大模型,包括本地私有大模型(如 Llama...
目前数据集和代码的委托管理,和服务器对计算节点的调度和节点管理已经基本正常工作了,负载均衡的部分还在开发中,目前程序的运行环境和支持的代码类型都是python,系统完全体上线后可以支持matlab、C++、python等...
25. 脚本任务:支持以GLUE分布式平台开发和运行脚本任务,包括Shell、Python、NodeJS等类型脚本; 26. 多线并发:系统支持多线程触发调度运行,确保调度精确执行,不被堵塞; 27. 降级隔离:调度线程池进行隔离拆分,...