- 浏览: 2151178 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (682)
- 软件思想 (7)
- Lucene(修真篇) (17)
- Lucene(仙界篇) (20)
- Lucene(神界篇) (11)
- Solr (48)
- Hadoop (77)
- Spark (38)
- Hbase (26)
- Hive (19)
- Pig (25)
- ELK (64)
- Zookeeper (12)
- JAVA (119)
- Linux (59)
- 多线程 (8)
- Nutch (5)
- JAVA EE (21)
- Oracle (7)
- Python (32)
- Xml (5)
- Gson (1)
- Cygwin (1)
- JavaScript (4)
- MySQL (9)
- Lucene/Solr(转) (5)
- 缓存 (2)
- Github/Git (1)
- 开源爬虫 (1)
- Hadoop运维 (7)
- shell命令 (9)
- 生活感悟 (42)
- shell编程 (23)
- Scala (11)
- MongoDB (3)
- docker (2)
- Nodejs (3)
- Neo4j (5)
- storm (3)
- opencv (1)
最新评论
-
qindongliang1922:
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu:
不太理解“分词字段存储docvalue是没有意义的”,这句话, ...
浅谈Lucene中的DocValues -
yin_bp:
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的? -
hackWang:
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana:
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
在使用Python多年以后,我偶然发现了一些我们过去不知道的功能和特性。一些可以说是非常有用,但却没有充分利用。考虑到这一点,我编辑了一些的你应该了解的Pyghon功能特色。
带任意数量参数的函数
你可能已经知道了Python允许你定义可选参数。但还有一个方法,可以定义函数任意数量的参数。
首先,看下面是一个只定义可选参数的例子
01 def function(arg1="",arg2=""): 02 print "arg1: {0}".format(arg1) 03 print "arg2: {0}".format(arg2) 04 05 function("Hello", "World") 06 # prints args1: Hello 07 # prints args2: World 08 09 function() 10 # prints args1: 11 # prints args2:
现在,让我们看看怎么定义一个可以接受任意参数的函数。我们利用元组来实现。
01 def foo(*args): # just use "*" to collect all remaining arguments into a tuple 02 numargs = len(args) 03 print "Number of arguments: {0}".format(numargs) 04 for i, x in enumerate(args): 05 print "Argument {0} is: {1}".format(i,x) 06 07 foo() 08 # Number of arguments: 0 09 10 foo("hello") 11 # Number of arguments: 1 12 # Argument 0 is: hello 13 14 foo("hello","World","Again") 15 # Number of arguments: 3 16 # Argument 0 is: hello 17 # Argument 1 is: World 18 # Argument 2 is: Again
使用Glob()查找文件
大多Python函数有着长且具有描述性的名字。但是命名为glob()的函数你可能不知道它是干什么的除非你从别处已经熟悉它了。
它像是一个更强大版本的listdir()函数。它可以让你通过使用模式匹配来搜索文件。
1 import glob 2 3 # get all py files 4 files = glob.glob('*.py') 5 print files 6 7 # Output 8 # ['arg.py', 'g.py', 'shut.py', 'test.py']
你可以像下面这样查找多个文件类型:
01 import itertools as it, glob 02 03 def multiple_file_types(*patterns): 04 return it.chain.from_iterable(glob.glob(pattern) for pattern in patterns) 05 06 for filename in multiple_file_types("*.txt", "*.py"): # add as many filetype arguements 07 print filename 08 09 # output 10 #=========# 11 # test.txt 12 # arg.py 13 # g.py 14 # shut.py 15 # test.py
如果你想得到每个文件的绝对路径,你可以在返回值上调用realpath()函数:
01 import itertools as it, glob, os 02 03 def multiple_file_types(*patterns): 04 return it.chain.from_iterable(glob.glob(pattern) for pattern in patterns) 05 06 for filename in multiple_file_types("*.txt", "*.py"): # add as many filetype arguements 07 realpath = os.path.realpath(filename) 08 print realpath 09 10 # output 11 #=========# 12 # C:\xxx\pyfunc\test.txt 13 # C:\xxx\pyfunc\arg.py 14 # C:\xxx\pyfunc\g.py 15 # C:\xxx\pyfunc\shut.py 16 # C:\xxx\pyfunc\test.py
调试
下面的例子使用inspect模块。该模块用于调试目的时是非常有用的,它的功能远比这里描述的要多。
这篇文章不会覆盖这个模块的每个细节,但会展示给你一些用例。
01 import logging, inspect 02 03 logging.basicConfig(level=logging.INFO, 04 format='%(asctime)s %(levelname)-8s %(filename)s:%(lineno)-4d: %(message)s', 05 datefmt='%m-%d %H:%M', 06 ) 07 logging.debug('A debug message') 08 logging.info('Some information') 09 logging.warning('A shot across the bow') 10 11 def test(): 12 frame,filename,line_number,function_name,lines,index=\ 13 inspect.getouterframes(inspect.currentframe())[1] 14 print(frame,filename,line_number,function_name,lines,index) 15 16 test() 17 18 # Should print the following (with current date/time of course) 19 #10-19 19:57 INFO test.py:9 : Some information 20 #10-19 19:57 WARNING test.py:10 : A shot across the bow 21 #(, 'C:/xxx/pyfunc/magic.py', 16, '', ['test()\n'], 0)
生成唯一ID
在有些情况下你需要生成一个唯一的字符串。我看到很多人使用md5()函数来达到此目的,但它确实不是以此为目的。
其实有一个名为uuid()的Python函数是用于这个目的的。
1 import uuid 2 result = uuid.uuid1() 3 print result 4 5 # output => various attempts 6 # 9e177ec0-65b6-11e3-b2d0-e4d53dfcf61b 7 # be57b880-65b6-11e3-a04d-e4d53dfcf61b 8 # c3b2b90f-65b6-11e3-8c86-e4d53dfcf61b
你可能会注意到,即使字符串是唯一的,但它们后边的几个字符看起来很相似。这是因为生成的字符串与电脑的MAC地址是相联系的。
为了减少重复的情况,你可以使用这两个函数。
01 import hmac,hashlib 02 key='1' 03 data='a' 04 print hmac.new(key, data, hashlib.sha256).hexdigest() 05 06 m = hashlib.sha1() 07 m.update("The quick brown fox jumps over the lazy dog") 08 print m.hexdigest() 09 10 # c6e693d0b35805080632bc2469e1154a8d1072a86557778c27a01329630f8917 11 # 2fd4e1c67a2d28fced849ee1bb76e7391b93eb12
序列化
你曾经需要将一个复杂的变量存储在数据库或文本文件中吧?你不需要想一个奇特的方法将数组或对象格转化为式化字符串,因为Python已经提供了此功能。
01 import pickle 02 03 variable = ['hello', 42, [1,'two'],'apple'] 04 05 # serialize content 06 file = open('serial.txt','w') 07 serialized_obj = pickle.dumps(variable) 08 file.write(serialized_obj) 09 file.close() 10 11 # unserialize to produce original content 12 target = open('serial.txt','r') 13 myObj = pickle.load(target) 14 15 print serialized_obj 16 print myObj 17 18 #output 19 # (lp0 20 # S'hello' 21 # p1 22 # aI42 23 # a(lp2 24 # I1 25 # aS'two' 26 # p3 27 # aaS'apple' 28 # p4 29 # a. 30 # ['hello', 42, [1, 'two'], 'apple']
这是一个原生的Python序列化方法。然而近几年来JSON变得流行起来,Python添加了对它的支持。现在你可以使用JSON来编解码。
01 import json 02 03 variable = ['hello', 42, [1,'two'],'apple'] 04 print "Original {0} - {1}".format(variable,type(variable)) 05 06 # encoding 07 encode = json.dumps(variable) 08 print "Encoded {0} - {1}".format(encode,type(encode)) 09 10 #deccoding 11 decoded = json.loads(encode) 12 print "Decoded {0} - {1}".format(decoded,type(decoded)) 13 14 # output 15 16 # Original ['hello', 42, [1, 'two'], 'apple'] - <type 'list'="" style="word-wrap: break-word;"> 17 # Encoded ["hello", 42, [1, "two"], "apple"] - <type 'str'="" style="word-wrap: break-word;"> 18 # Decoded [u'hello', 42, [1, u'two'], u'apple'] - <type 'list'="" style="word-wrap: break-word;">
这样更紧凑,而且最重要的是这样与JavaScript和许多其他语言兼容。然而对于复杂的对象,其中的一些信息可能丢失。
压缩字符
当谈起压缩时我们通常想到文件,比如ZIP结构。在Python中可以压缩长字符,不涉及任何档案文件。
01 import zlib 02 03 string = """ Lorem ipsum dolor sit amet, consectetur 04 adipiscing elit. Nunc ut elit id mi ultricies 05 adipiscing. Nulla facilisi. Praesent pulvinar, 06 sapien vel feugiat vestibulum, nulla dui pretium orci, 07 non ultricies elit lacus quis ante. Lorem ipsum dolor 08 sit amet, consectetur adipiscing elit. Aliquam 09 pretium ullamcorper urna quis iaculis. Etiam ac massa 10 sed turpis tempor luctus. Curabitur sed nibh eu elit 11 mollis congue. Praesent ipsum diam, consectetur vitae 12 ornare a, aliquam a nunc. In id magna pellentesque 13 tellus posuere adipiscing. Sed non mi metus, at lacinia 14 augue. Sed magna nisi, ornare in mollis in, mollis 15 sed nunc. Etiam at justo in leo congue mollis. 16 Nullam in neque eget metus hendrerit scelerisque 17 eu non enim. Ut malesuada lacus eu nulla bibendum 18 id euismod urna sodales. """ 19 20 print "Original Size: {0}".format(len(string)) 21 22 compressed = zlib.compress(string) 23 print "Compressed Size: {0}".format(len(compressed)) 24 25 decompressed = zlib.decompress(compressed) 26 print "Decompressed Size: {0}".format(len(decompressed)) 27 28 # output 29 30 # Original Size: 1022 31 # Compressed Size: 423 32 # Decompressed Size: 1022
注册Shutdown函数
有可模块叫atexit,它可以让你在脚本运行完后立马执行一些代码。
假如你想在脚本执行结束时测量一些基准数据,比如运行了多长时间:
01 import atexit 02 import time 03 import math 04 05 def microtime(get_as_float = False) : 06 if get_as_float: 07 return time.time() 08 else: 09 return '%f %d' % math.modf(time.time()) 10 start_time = microtime(False) 11 atexit.register(start_time) 12 13 def shutdown(): 14 global start_time 15 print "Execution took: {0} seconds".format(start_time) 16 17 atexit.register(shutdown) 18 19 # Execution took: 0.297000 1387135607 seconds 20 # Error in atexit._run_exitfuncs: 21 # Traceback (most recent call last): 22 # File "C:\Python27\lib\atexit.py", line 24, in _run_exitfuncs 23 # func(*targs, **kargs) 24 # TypeError: 'str' object is not callable 25 # Error in sys.exitfunc: 26 # Traceback (most recent call last): 27 # File "C:\Python27\lib\atexit.py", line 24, in _run_exitfuncs 28 # func(*targs, **kargs) 29 # TypeError: 'str' object is not callable
打眼看来很简单。只需要将代码添加到脚本的最底层,它将在脚本结束前运行。但如果脚本中有一个致命错误或者脚本被用户终止,它可能就不运行了。
当你使用atexit.register()时,你的代码都将执行,不论脚本因为什么原因停止运行。
发表评论
-
如何扩展python的logging组件支持json日志输出
2019-01-10 21:57 2205这两天在优化公司一个python的项目,顺便研究了一下如何将 ... -
Java开发者如何正确的使用String,StringBuffer,StringBuilder类
2018-05-30 20:21 1041https://blog.csdn.net/u01045403 ... -
Windows 10环境下安装Python科学计算工具之Anaconda
2018-04-28 18:51 793https://blog.csdn.net/u01045403 ... -
干货来袭之Python3.4如何读写Excel?
2014-12-05 20:17 9589我们都知道在JAVA里,我们可以使用POI来操作Excel文件 ... -
Python处理数据一个小例子
2014-12-01 19:29 2187最近用python(3.2的版本)写了根据特定规则,处理数据 ... -
Django1.7+JQuery+Ajax集成小例子
2014-10-23 20:15 5014Ajax的出现让Web展现了更新的活力,基本所有的语言,都动态 ... -
如何Python3.4使用pexpect来实现SSH登陆
2014-10-22 18:51 6645Pexpect 是 Don Libes 的 Expect 语 ... -
Django1.7如何配置静态资源访问
2014-10-21 16:35 4167Django是非常轻量级的Web框架,今天散仙来看下如何在Dj ... -
Python3.4+Django1.7+SQLite3实现增删改查
2014-10-20 20:01 9496前2篇文章,散仙写了关 ... -
Python3.4+Django1.7简单动态模板例子
2014-10-17 19:15 1655继上篇散仙写的Django入门,这次我们来看看如何在Djang ... -
如何使用Python3.4与Linux shell交互
2014-10-17 17:10 3383使用python来运维linux是 ... -
Python3.4+Django1.7入门
2014-10-16 19:56 3804Django是python里面开源的一个Web框架,下面借用百 ... -
Python3.4网页解析之HTMLParse
2014-10-15 19:31 3972使用python将网页抓取下 ... -
Python3.4网页抓取之编码异常
2014-10-15 18:00 2265使用Python抓取网页的时候,有时候我们会解析出现异常,这时 ... -
Python3.4模拟登陆例子
2014-10-15 14:53 3638有时候我们的抓取项目时需要登陆到某个网站上,才能看见某些内容的 ... -
python桌面整理小助手
2014-10-09 20:04 1888每到月末,桌面上基本 ... -
Python3.4操作文件目录
2014-09-24 19:38 2469编程语言对文件系统的 ... -
如何在cenots6.5中安装Python3.4
2014-09-23 18:10 2889linux系统(散仙的是centos6.5)自带的python ... -
Python3.4模拟实现生产者消费者模式
2014-09-12 19:52 1445散仙使用python3.4模拟实现的一个生产者与消费者的例子, ... -
Python3.4线程入门
2014-09-12 19:35 4632比较成熟的编程语言,基本上都有对线程的支持,而python也不 ...
相关推荐
小小知识点敬请欣赏,谢谢大家,不喜欢不要喷我,我就是来混一下的
python小程序7 python小程序7 python小程序7 python小程序7
自己总结的一些python知识
Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点
Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的...
python基础知识 python基础知识 微信公众号-IT赶路⼈,专注分享与IT相关的知识,关注我,⼀起升职加薪! Python,您⼀定听说过它,并且想知道这门语⾔有什么特别之处。 随着机器学习和⼈⼯智能的兴起,摆脱它成为...
【python入门必背】python入门基础知识点合集、python基础知识背记手册 主要内容概要: 第1章 走进 Python. 第2章 Python语言基础 第3章 运算符与表达式 第4章 流程控制语句 第5章 列表与元组 第6章 字典与集合 第...
Python从入门到进阶知识手册1885页Python从入门到进阶知识手册1885页Python从入门到进阶知识手册1885页Python从入门到进阶知识手册1885页Python从入门到进阶知识手册1885页Python从入门到进阶知识手册1885页Python从...
PYTHON密集知识点
python基础知识教学用的PPT,适用于做python基础教学。
python基础知识,python基础知识PPT,python基础知识课件
超完整 Python基础入门知识教程 Python从入门到进阶知识大全 Python开发基础知识能力集全部课件 1885页
基于python与知识图谱的推荐系统设计与实现
Python知识点背诵手册(免积分下载),适合初学者知识点梳理,详细情况请看我的文章介绍:http://t.csdn.cn/ncRdk
最全Python基础的知识点复习完整版
Python基本概念 海龟编辑器 绘图准备 课程知识点 使用画笔 少儿编程python教案——初识Python全文共24页,当前为第2页。 Python基本概念 少儿编程python教案——初识Python全文共24页,当前为第3页。 1.Python是...
python知识点整理.pdf
个人整理电子学会Python一级考试知识点总结 一级易错题,需要的留言。 考试标准条目: 一、了解Python有多种开发环境,熟练使用Python自带的IDLE开发 环境,能够进行程序编写、调试和分析,具备使用Python开发环 境...
python期末知识点
Python 诞生于 1989 年的圣诞期间,由 Guido van Rossum 开发而成,目前 Guido 仍然是Python 的主要开发者,主导着 Python 的发展方向,Python 社区经常称呼他为『仁慈的独裁者』。 Python 是一门面向对象,解释型的...