`
joy2everyone
  • 浏览: 134785 次
  • 性别: Icon_minigender_1
  • 来自: ...
社区版块
存档分类
最新评论

python处理浏览器URL参数编码

阅读更多
为了方便记录、收藏,一般情况下,搜索功能会采用http GET方式提供,类似的URL:

/search?keyword=测试


整个webapp统一采用UTF-8格式编码(包括页面Content-Type)

<meta http-equiv="Content-Type" content="text/html;charset=utf-8"/>


在获取keyword参数的时候,页面表单的提交的参数将会是预期的编码格式,但是如果是直接用“/search?keyword=测试”通过浏览器地址栏访问,浏览器将会根据系统环境(设置)对参数进行编码(windows下,FF,Opera一般为GBK;linux下,一般为UTF-8),GBK/GB2312的编码格式,在代码中将会导致一些错误,如: 字符串乱码问题、MongoDB统一使用UTF-8做为存储编码。

开始想尝试python中如何查看字符串的编码格式,但是没有找到适合的方法,现采取如下方式,对参数进行编码(针对大多数的中文用户)

  def _process_keyword_coding(self, keyword):
    try:
        keyword = unicode(keyword, "utf-8")
    except:
        keyword = keyword.decode("gbk").encode("utf-8")
    return keyword


页面的流程下,是可以通过utf-8编码的,否则将采取GBK方式进行解码,然后再转换成统一的UTF-8格式,(当前使用的是python 2.6, python3.0 str默认情况下将会统一采取unicode)

这里笔记下,如果有更好的方法,请大家分享
分享到:
评论

相关推荐

    python-web-browser:python中的基本Web浏览器

    Python Web浏览器这是一个用Python编写的简单的Web浏览器,它遵循电子书。指示从命令行运行python3 src/browser.py &lt;url&gt; ,其中&lt;url&gt;是完整的&lt;scheme&gt;://&lt;host&gt;/&lt;path&gt; URL,即https://example.org/index.html 。 ...

    Python3 requests模块如何模仿浏览器及代理

    在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求时,变得人性化,使用Requests可以轻而易举的完成浏览器可有的任何操作。 代码如下 import requests def xiaodai(): url = '...

    python妙用之编码的转换详解

    前言 记得刚入门那个时候,自己处理编码转换问题往往是“百度:url解码、base64加密...url编码是一种浏览器用来打包表单输入的格式.可谓是一名作为web人员最熟悉的一种编码方式了。 &gt;&gt;&gt; from urllib import * &gt;&gt;&gt; qu

    python库-列举了所有python库

    ▪ Chardet 字符编码探测器,可以自动检测文本、网页、 xml 的编码。 ▪ shortuuid ,一组简洁 URL/UUID 函数库。 ▪ ftfy , Unicode 文本工具 ▪ unidecode , ascii 和 Unicode 文本转换函数。 ▪ xpinyin ,将...

    Python入门网络爬虫之精华版

    当我们在浏览器中输入一个url后回车,后台会发生什么?比如说你输入http://www.lining0806.com/,你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤: 查找域名对应的IP地址。 向IP对应的服务器...

    基于Python+HTML+MySQL的图书借阅管理系统.zip

    URL解析库:Urllib 时间库:Time 时间库:Datetime 操作系统库:os 5.3编码方式 前端网页:GBK 服务器端:GBK 数据库:UTF-8 5.4运行环境 服务器:Windows7 SP1旗舰版 + Python2.7 前端:Opera...

    BrowserServices:提供下载到Python程序等浏览器服务。-开源

    提供浏览器服务,例如使用Python Webbrowser库和特殊构造的URL下载文件。 来自Web Extensions的webRequest api用于在后台脚本中生成onErrorOccurred事件。 然后,脚本读取URL,并提取URL中编码的一个或多个下载请求...

    requests-2.22.0.tar.gz

    Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。 在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求...

    python爬取微博一二级评论数据代码(需设置cookie)

    获取网页源码:get_html 函数通过HTTP请求获取给定URL的网页源码,并设置了User-Agent和Referer头,以模拟浏览器访问。它还包含了一个时间延迟,以避免因频繁请求而被服务器限制访问。 清理HTML标签:get_string ...

    pi-h264-to-browser:一个Python应用程序,旨在将Raspberry Pi的硬件​​编码h.264直接流式传输到浏览器

    Pi H264 To Browser是一个简单的Python应用程序,旨在将装有V1,V2或HQ摄像头模块的Raspberry Pi的硬件​​编码h.264直接流式传输到浏览器。 能力 同时流式传输到多个客户端(通常仅受您的网络连接限制) 支持相机...

    urlreq:对 URL 中定义的 HTTP 请求进行解码并发出该请求的 HTTP 代理

    概述URL Req 是一种 HTTP 代理服务,它根据接收到的请求的 URL 中定义的参数发出 HTTP 请求,并返回响应。 服务需要在对服务的请求的 URL ... HTTP 请求的元素被编码为 URL 查询参数: (强制) HTTP 方法 - method查询

    matlab查看qr分解函数源码-all-python-library:所有python库

    Chardet字符编码探测器,可以自动检测文本、网页、xml的编码。 colorama主要用来给文本添加各种颜色,并且非常简单易用。 Prettytable主要用于在终端或浏览器端构建格式化的输出。 difflib,[Python]标准库,计算...

    深入理解Python分布式爬虫原理

    (1)打开浏览器,输入URL,打开源网页 (2)选取我们想要的内容,包括标题,作者,摘要,正文等信息 (3)存储到硬盘中 上面的三个过程,映射到技术层面上,其实就是:网络请求,抓取结构化数据,数据存储。 我们使用...

    教你用python3根据关键词爬取百度百科的内容

    关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是...

    python 请求服务器的实现代码(http请求和https请求)

    get一般用于获取/查询资源信息,在浏览器中直接输入url+请求参数点击enter之后连接成功服务器就能获取到的内容,post请求一般用于更新资源,通过form表单或者json、xml等其他形式提交给服务器端,然后等待服务器端给...

    Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网页源码)实例详解

    Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。 在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求...

    BitcasaFileLister:通过 api 列出并下载您的 bitcasa 驱动器中的文件

    BitcasaFileLister 是一个 Python 服务器,它允许您通过 OAuth 登录、存储访问令牌、获取 Bitcasa 驱动器中所有文件及其 base64 编码路径的列表,并通过 Bitcasa API 下载单个文件。 要运行它,请使用以下命令: ...

    h4ck3r:Chromefirefox浏览器的浏览器扩展。 开发人员和测试人员的小工具

    特征编码/解码(base64,url,hex)。 加密(md5,sha256,sha512,sha3)。 密码(AES加密/解密)。 工具(json beautifier)。 Wiki( SQL注入, Python , Linux ,网络等有用的文档)。 自动表格填充器(不支持...

    基于树莓派和DHT11的温湿度远程监控系统+源代码+文档说明

    修改src/python/main.py第5行的SERVER_URL中的ip地址为服务器的ip地址 使用FTP工具,将src/python/main.py下载到树莓派中 在树莓派终端运行行python test.py 终端打印此时的温湿度,同时发送到上位机数据库,并且在...

Global site tag (gtag.js) - Google Analytics