工作之余抽点时间出来写写博文,希望对新接触的朋友有帮助。今天在这里和大家一起学习一下元素图片
用python量批下载一个网页中的图片,要需用到扩展库来析解html代码。有三种法方,一是用微软供给的扩展库win32com来操纵IE,二是用selenium的webdriver,三是用python自带的HTMLParser析解。win32com可以获得相似js面里的document对象,不过是只读的(文档都没找到)。selenium则供给了Chrome,IE,FireFox等的支撑,每种浏览器都有execute_script和find_element_by_xx法方,可以便方的执行js本脚(括包修改元素)和取读html面里的元素。缺乏是selenium只供给对python2.6和2.7的支撑。HTMLParser则是要需自己写个类继承基类,重写析解元素的法方。个人感觉selenium用起来更便方,很轻易操纵html里的元素。
代码如下:
win32com:
View Code
#将滚动条滑到底,最多滑动20000像素 #模拟盘键键右,查看多张图片 import sys import win32com.client,win32api import urllib.request import time import os def main(): #获得参数 url=sys.argv[1] #操纵IE ie=win32com.client.Dispatch("InternetExplorer.Application") ie.Navigate(url) ie.Visible=True last_url='' dir_name='' while last_url!=url: print('\nThe URL is:',url,'\n') while ie.ReadyState != 4: time.sleep(1) while ie.Document.readyState != "complete": time.sleep(1) #滑动滚动条 win=ie.Document.parentWindow lastY=-1; for i in range(40): win.scrollTo(0,500*i) nowY=win.pageYOffset if(nowY==lastY): break lastY=nowY time.sleep(0.4) print('Document load state:',ie.Document.readyState) doc=ie.Document #第一次要需创建目录 if(dir_name==''): root_dir='E:\\img' dir_name=root_dir+'\\'+doc.title dir_name=dir_name.replace('|','-') if(os.path.exists(root_dir)!=True): os.mkdir(root_dir) if(os.path.exists(dir_name)!=True): os.mkdir(dir_name) all_image=doc.images print('共有',all_image.length,'张图片') count=0; for img in all_image: if(img.id=='b_img'): count=count+1 print(count,img.src) time.sleep(1) img_file=urllib.request.urlopen(img.src) byte=img_file.read() print(count,'donwload complete!','-'*10,'size:','{:.3}'.format(byte.__len__()/1024),'KB') if(byte.__len__()>7000): file_name=img.src.replace('/','_') file_name=file_name.replace(':','_') end=file_name.__len__() if(file_name.rfind('!')!=-1): end=file_name.rfind('!') if(file_name.rfind('?')!=-1): end=file_name.rfind('?') file_name=file_name[:end] write_file=open(dir_name+'\\'+file_name,'wb') write_file.write(byte) write_file.close() print(count,file_name,'complete!') #下一张 last_url=url win32api.keybd_event(39,0) time.sleep(1) url=ie.Document.url print(last_url,url) #ie.Quit() if __name__ == '__main__': main()
selenium:
每日一道理
成熟是一种明亮而不刺眼的光辉,一种圆润而不腻耳的音响,一种不要需对别人察颜观色的从容,一种终于停止了向周围申诉求告的大气,一种不理会哄闹的微笑,一种洗刷了偏激的淡漠,一种无须声张的厚实,一种并不陡峭的高度。
成熟是一种明亮而不刺眼的光辉,一种圆润而不腻耳的音响,一种不要需对别人察颜观色的从容,一种终于停止了向周围申诉求告的大气,一种不理会哄闹的微笑,一种洗刷了偏激的淡漠,一种无须声张的厚实,一种并不陡峭的高度。
View Code
# -*- coding: cp936 -*- import sys import urllib import time import os from selenium import webdriver def main(): #获得参数 url=sys.argv[1] #操纵IE driver=webdriver.Chrome() driver.get(url) driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") #创建目录 dir_name=driver.find_element_by_tag_name('title').text print dir_name root_dir='E:\\img' dir_name=root_dir+'\\'+dir_name dir_name=dir_name.replace('|','-') if(os.path.exists(root_dir)!=True): os.mkdir(root_dir) if(os.path.exists(dir_name)!=True): os.mkdir(dir_name) images=driver.find_elements_by_tag_name('img') count=0 for image in images: count=count+1 image_url=str(image.get_attribute('src')) img_file=urllib.urlopen(image_url) byte=img_file.read() print count,'donwload complete!','-'*10,'size:',byte.__len__()/1024,'KB' if(byte.__len__()>7000): file_name=image_url.replace('/','_') file_name=file_name.replace(':','_') end=file_name.__len__() if(file_name.rfind('!')!=-1): end=file_name.rfind('!') if(file_name.rfind('?')!=-1): end=file_name.rfind('?') file_name=file_name[:end] write_file=open(dir_name+'\\'+file_name,'wb') write_file.write(byte) write_file.close() print count,file_name,'complete!' driver.quit() if __name__ == '__main__': main()
HTMLParser:
View Code
# import modules used here -- sys is a very standard one import sys import urllib.request # Gather our code in a main() function from html.parser import HTMLParser class MyHTMLParser(HTMLParser): def handle_starttag(self,tag,attrs): if(tag=='img'): for attr in attrs: if(attr[0]=='src'): img_file=urllib.request.urlopen(attr[1]) byte=img_file.read() #件文大于1000b则成生件文,加添数计,下载多少图片,示显html代码 if(byte.__len__()>1000): file_name=attr[1].replace('/','_') file_name=file_name.replace(':','_') end=file_name.__len__() if(file_name.rfind('!')!=-1): end=file_name.rfind('!') if(file_name.rfind('?')!=-1): end=file_name.rfind('?') file_name=file_name[:end] ## print(file_name) write_file=open('E:\\img\\'+file_name,'wb') write_file.write(byte) write_file.close() def main(): #获得参数 url=sys.argv[1] print('\nThe URL is:',url,'\n') #取读url所指向的资源 html_file=urllib.request.urlopen(url) byte_content=html_file.read() #将html网页保存起来 url_file=open('E:\\img\\html\\result.htm','wb') url_file.write(byte_content) url_file.close() #从字节转换为字符串 s=str(byte_content, encoding = "utf-8") #print(s) #bytes.decode(html_file.read()) parser=MyHTMLParser(strict=False) parser.feed(s) # Standard boilerplate to call the main() function to begin # the program. if __name__ == '__main__': main()
文章结束给大家分享下程序员的一些笑话语录: 联想——对内高价,补贴对外倾销的伟大“民族”企业。
相关推荐
有三种方法,一是用微软提供的扩展库win32com来操作IE,二是用selenium的webdriver,三是用python自带的HTMLParser解析。win32com可以获得类似js里面的document对象,但貌似是只读的(文档都没找到)。selenium则...
环境:python3, 要安装bs4这个第...介绍:这个程序是用来批量获取网页的图片,用于新手入门 注意:由于是入门的程序在获取某些网页的图片时会出问题!!!!! import os import urllib.request from bs4 import Bea
本文主要给大家介绍的关于Python批量压缩png的相关资料,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 1.需求 为什么会有这个需求?是因为游戏的资源大多是png图片,需要压缩,但是有些图片和...
用户可以通过调用这些函数来创建幻灯片、添加文本框、插入图片和图表等元素,以及设置幻灯片的布局和样式。此外,还可以使用提供的函数来设置动画效果和过渡效果,使演示文稿更加生动和吸引人。其次,ppt.zip还提供...
用户可以通过程序轻松插入文本、图片、表格等元素,并调整文档样式和布局。 文档批量处理:程序提供了批量处理功能,用户可以选择多个Word文档进行统一操作,如批量替换文本、调整格式、添加水印等。这大大提高了...
/usr/bin/python //脚本语言的第一行,只对 Linux/Unix 用户适用,用来指定本脚本用什么解释器来执行,即:调用 /usr/bin 下的 python 解释器,推荐使用#!/usr/bin/env python 会去环境设置寻找 python 目录,可以...
然后使用浏览器F12进入开发者模式,或者右键检查元素 注意看xhr,点开观察有什么不一样的(如果没有xhr就在网页下滑) 第一个是这样的 第二个是这样的 注意看,pn是不是是30的倍数,而此时网页图片的数量也在增多,...
内容提取:能够从Word文档中提取文本、表格、图片等元素,便于进一步处理和分析。 批量处理:一键批量处理多个文档,如批量修改、格式统一、内容替换等。 智能排版:根据预设规则自动调整文档排版,包括字体、样式、...
支持机器视觉定位,可通过图片定位元素并操作 windows版支持自动跳过UAC权限 支持多线程批量执行脚本 支持https请求、支持下载文件、支持windows共享文件的下载及上传操作 支持远程文件传输 支持远程调用
2.[纠正]纠正后台如果是用chrome核心浏览器,会造成底部一大截空白的BUG 3.[纠正]纠正部分浏览器后台导航菜单间间隔背景图会重复显示多次BUG 4.[纠正]纠正前台导航下拉二级菜单多次经过会出现重复伸缩问题 5.[纠正]...
jQuery File Upload 是一个 jQuery 图片上传组件,支持多文件上传、取消、删除,上传前缩略图预览、列表显示图片大小,支持上传进度条显示;支持各种动态语言开发的服务器端。 特征: 1、多文件上传: 允许一次选择...
很多系统界面上仍然保持着老式风格,远远没有跟上时代发展的脚步,它们没有创新、好玩的特性,缺少现代化的交互元素和用户体验 大部分系统是从程序员的角度进行设计的,没有考虑实际的产品、运营需求,这类系统...