论坛首页 编程语言技术论坛

用Python分析了《扫黑风暴》,才知道它为什么这么火

浏览 376 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2021-08-30  
最近热播的电视剧《扫黑风暴》,真就如它的名字一样,风暴般,掀起了久违的全民追剧热潮。
虽然是严肃的扫黑题材,但丝丝入扣的情节、扑朔迷离的线索、善恶莫辨的人物关系,俨然一部悬疑感满满的刑侦大剧,调动着观众们的紧张情绪。随着剧情的不断推进,更是话题度拉满,全民都在讨论,小编在追的时候完全都是不能错过一点的细节的,不然就感觉跟不节制。
本期我们来分享下这部电视剧,进行了爬虫与数据分析,小编耗费了几个小时,爬取了几万条评论,从分析的数据来看,大家对这部电视剧的好评是很高的。
爬虫阻碍,像腾讯这样的大网站是不会乖乖让人爬的,所以小编遇到的第一个阻碍就是封ip,况且小编想要获取的数据也不少,所以是加了代理是必须的。
爬取评论数据信息如下:
#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://v.qq.com/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://v.qq.com/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text
从获取的评论中看到有些人评论说,这部剧集合了《破冰行动》的刺激感,《人民的名义》的内容丰富度,所以这也就是为什么观众们一旦看起来就一发不可收拾了!而最让大家欲罢不能的,是对剧中细节的反复琢磨,研究。剧中很多细致入微的隐喻和铺垫,每个情节、每个场景、每个道具,都有存在的意义和作用。
论坛首页 编程语言技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics