`
ryan.liu
  • 浏览: 133928 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Python在URL中加入新参数

阅读更多
import urllib
import urlparse

def url_add_params(url, **params):
    """ 在网址中加入新参数 """
    pr = urlparse.urlparse(url)
    query = dict(urlparse.parse_qsl(pr.query))
    query.update(params)
    prlist = list(pr)
    prlist[4] = urllib.urlencode(query)
    return urlparse.ParseResult(*prlist).geturl()



if __name__ == "__main__":
    url = 'http://bbs.163.com/viewthread.php?tid=1660&rpid=5798&ordertype=0&page=1#pid5798'
    print url_add_params(url, token=123, site="bbs") 
分享到:
评论

相关推荐

    基于Python的Post请求数据爬取的方法详解

    该网站的post请求参数有两种类型:(1)参数体放在了query中,即url拼接参数(2)body中要加入一个空的json对象,关于为什么要加入空的json对象,猜测原因为反爬虫。既有query参数又有空对象体的body参数是一件脑洞...

    Python 蓝图

    #细心的伙伴还可以发现,在views.py中在使用默认endpoint的前提下,我们是没有办法使用同一个视图方法名的(当然我们也不建议在同一个文件中有两个视图方法名相同, #尽管指向他们的request.url不同),但是使用了蓝图...

    基于Python Django实现的图书管理系统含全部源代码和设计报告.rar

    在参数传递上只使用了标准的POST和GET的方式传参,而没有使用url地址中提取参数的办法。该项目中主要涉及到的Django框架相关的内容有: * Models模型字段用法,外键关系用法。 [文档]...

    python爬虫请求头的使用

    爬虫请求头 网页获取: 通过urlopen来进行获取 ...第一个参数URL是必须要加入的,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面 from urllib.request import urlopen url = https://ww

    Python爬取煎蛋网图片

    以get方式请求,加入headers参数传递头信息;抓取其二进制码并以“utf-8”形式编码,并返回; 2.解析网页,提取图片链接 def parsel_url(html): etree_html=etree.HTML(html) img_urls=etree_html.xpath("//div[@...

    Python的Flask框架中@app.route的用法教程

    在这篇文章中,我们打算稍微调高点难度,为我们的URL加入可变参数的能力,在本文的最后,我们将支持下述代码段所期望达到的行为。 app = Flask(__name__) @app.route(/hello/) def hello_user(username): return ...

    racpider:基于python的Spider框架

    新的url将会push到服务器端,此时服务器端使用bloomfilter来进行重复url过滤,将不重复的url加入到redis队列中,重复此过程直至redis队列为空。 后续分析时,从slaver中逐个读取mongodb中相应数据库的collection进行...

    python中urllib.request和requests的使用及区别详解

    我们都知道,urlopen()方法能发起最基本对的请求发起,但仅仅这些在我们的实际应用中一般都是不够的,可能我们需要加入headers之类的参数,那需要用功能更为强大的Request类来构建了 在不需要任何其他参数配置的时候...

    多线程批量下载工具zhuaxia.zip

     : 多个URL在一个文件中,每个URL一行。 URLs可以是混合[虾]和[易]的不同类型音乐资源。例子:  $ cat /tmp/foo.txt  http://music.163.com/artist?id=5345  http://www.xiami.com/song/1772130322  ...

    http_job_queue:允许您对 HTTP 请求进行排队的 API。 结果存储在Redis中供以后检索

    端点###使用以下路线创建新工作#### GET /jobs 此端点使用查询参数进行控制: url :向(必需)发出请求的 url method :用于发出请求的 HTTP 方法(默认为 GET) p :添加额外参数作为请求的一部分。 如果使用p添加...

    cgi模式web服务器LiuGinx.zip

    看.phps的解析 , 就是再 php-cgi 基础上加入了一个 -s 参数, 同时, 可以查看php-cgi的其他命令参数, 加入到argv中。 env 用于扩展其他命令集参数。 如果我的使用的是thinkphp cakephp等, 怎么隐藏index....

    百度Ueditor for Django

    5、在表单中使用非常简单,与常规的form字段没什么差别,如下: class TestUeditorModelForm(forms.ModelForm): class Meta: model=Blog *********************************** 如果不是用ModelForm,可以有两...

    struts in Action

    1. 介绍.........................................................................................................18 1.1. 关于本书...........................................................................

    cqu_jwc:重庆大学教务处登录模块

    所有请求均加入了失败重试机制 获取当前登录用户姓名 安装 pip install cqujwc 使用 from cqujwc import Student student = Student('学号', '密码') 说明 实例化Student对象时可选参数server(默认为0): 0: jxgl.cqu...

    Hadoop权威指南(中文版)2015上传.rar

    从Hadoop URL中读取数据 通过FileSystem API读取数据 写入数据 目录 查询文件系统 删除数据 数据流 文件读取剖析 文件写入剖析 一致模型 通过 distcp并行拷贝 保持 HDFS 集群的均衡 Hadoop的归档文件 使用Hadoop归档...

    Hadoop权威指南 第二版(中文版)

     从Hadoop URL中读取数据  通过FileSystem API读取数据  写入数据  目录  查询文件系统  删除数据  数据流  文件读取剖析  文件写入剖析  一致模型  通过 distcp并行拷贝  保持 HDFS 集群的均衡  ...

    PHP基础教程 是一个比较有价值的PHP新手教程!

    在许多人的无私奉献下以及这种语言本身的源代码自由性质,它演变成为一种特点丰富的语言,而且现在还在成长中。 PHP虽然很容易学习,但是速度上比mod_perl(植入web服务器的perl模块)慢。现在有了可以与mod_perl...

    XML轻松学习手册--XML肯定是未来的发展趋势,不论是网页设计师还是网络程序员,都应该及时学习和了解

    你不需要自己重新创建,只要在他们的基础上加入你需要的新标识。 当然,如果愿意,你可以创建自己的DTD,它可能和你的文档配合的更加完美。建立自己的DTD也是很简单的一件事,一般只需要定义4-5个元素就可以了。 ...

    疯狂JAVA讲义

    学生提问:既然内部类是外部类的成员,是否可以为外部类定义子类,在子类中再定义一个内部类来重写其父类中的内部类? 211 6.7.4 局部内部类 211 6.7.5 匿名内部类 212 6.7.6 闭包(Closure)和回调 215 6.8 ...

Global site tag (gtag.js) - Google Analytics