louo

我用爬虫爬下来91P**N七万多条视频,发现...
原文来自掘金网Rickon的文章今天开个车,带大家通过数据认识下91Pxxn(以下简称91)这个网站。之前一个假期...
扫描右侧二维码阅读全文
19
2019/03

我用爬虫爬下来91P**N七万多条视频,发现...

原文来自掘金网Rickon的文章

今天开个车,带大家通过数据认识下91Pxxn(以下简称91)这个网站。

之前一个假期学习了Python爬虫,于是拿91试试手,发现91非常容易爬取,获取页面时只要使用cookies即可,于是果断按照“收藏最多”排行榜爬下来全站77000条视频,注意到网站上的视频每天都是增长的,现在已经78000+了,我们忽略不计其中的最后的一千多,姑且当做我们爬去下来的77000条视频就是全站数据。我爬取了七个维度的数据(视频链接,视频名称,视频时长,上传时间,视频作者,作者链接,视频浏览数,视频收藏数,视频留言数),当然有意义的主要是其中的五条,链接的分析意义不大,主要是我用来再次观察的(?)。

一共有20929位上传者为这77000个视频做出了自己的贡献,嗯,感谢他们。

首先上一张全站视频名称的的词云图吧,因为种种原因从网站爬取下来的视频名称是英文的,懒得再改了。

视频名称中出现次数最高的当然是我们的脍炙人口的“fuck”啦,除去一些和视频内容本身和相关描述的相关词,发现很有意思的是wechat(微信)出现的频率也是相当高,看来微信的国民首席yp软件地位保持得非常稳,秒杀所谓陌陌,探探之流。
值得注意的是出现频率最高的两个地名是北京和上海,这个大家都可以理解,毕竟“城会玩”嘛。
另外还有verification(认证)这个词频率很高,因为91的视频讲究在拍摄时证明是自己拍的,而不是盗来的视频说是自己拍的。证明的过程大概就是用手分别表示出“9”和“1”,或者直接写在纸上,所以这个词上榜也不奇怪了。

浏览次数排行榜Top20


浏览次数最高的视频竟然有接近1000万浏览量,可以说是非常的有人气了,也足以说明91有着庞大的用户量。所以每次门事件在此发酵起来也就不奇怪了。

作者上传数目排行榜Top20:


上传数目最多的作者足足上传了558个视频,上传数目是第二的二倍还要多,可以说是非常勤快了。可以看到上传视频数量超过100的作者有18位,应该说大部分都是靠网站打广告盈利的。他们多是会通过卖片的方式挣钱,注意到还会在介绍部分给各种“药”打广告,以及各种奇奇怪怪的微信。

顺手也做了个作者id的词云,上传数目越多,字体越大。相信你们就知道应该关注谁了吧。

收藏数排行榜Top20:

​​‌‌​​​‌‌​‌​​‌‌‍​‌​‌‌‌​​‌‌‌‌​‌​‍​‌​​‌​​​‌​​​‌‌​‍​‌​‌‌​​​‌‌​​​​​‍​​‌​‌‌‌‌‌‌‌‌​​​‍​‌‌​​‌‌‌​‌‌​​‌‌‌‍​‌‌​​​‌‌‌​​​‌​‌‍​​‌‌‌‌‌‌‌‌​​‌‌‍​​‌‌‌​‌‌‌‌​‌‌‌​‍​​​‌​‌​‌‌​‌​‌‌‌‍​​​‌‌​‌‌‌​‌​​‌‌‍​‌‌‌‌​​‌‌​​‌​‌​​‍​​​‌‌​‌‌‌​‌​​‌‌‍​‌‌​​​‌‌‌‌‌​‌​​‍​​‌‌​​​‌​​‌‌​‌​‍‌‌​​​‌‌​‍‌‌​​‌‌‌​‍‌​‌​‌‌‌‌‍‌‌​‌​‌​‌‍‌‌​‌​‌​‌‍‌​‌‌​​​‌‍​‌‌​​​‌‌‌‌‌‌‌​​‍​‌‌​​​‌‌‌‌‌‌​​​‍​‌​​‌‌​‌‌‌​​‌​‌‍​​‌‌​​​‌​​‌‌‌‌​‍​‌‌‌​‌‌​​​‌‌‌​​‌‍​‌‌​​‌‌‌​‌‌​‌‌‌​‍​​​​​​​​‌‌‌‌​​‌‌‍​‌​‌‌​​​​‌​‌‌‌​‍​​​‌‌​​​‌​​‌‌‌‌‍‌‌​‌​​​‌‍‌‌​‌​​​‌‍‌‌​‌​​​‌‍​​‌‌‌‌‌‌‌‌​​‌​‍​​​​​​​​‌‌‌‌​​‌‌‍​​​‌​‌​‌‌​​‌‌‌​‍‌​​‌‌‌‌​‍‌​​‌‌​‌‌‍‌​​‌​​‌​‍‌​​‌​‌‌​‍‌​​‌​​​‌‍​‌‌​​​‌​‌‌‌​​​‌‍‌‌​​‌‌​‌‍‌‌​​‌‌‌‌‍‌‌​​‌‌‌​‍‌‌​​​‌‌​‍‌‌​‌​​‌​‍‌‌​​‌‌‌‌‍‌‌​​‌‌​​‍‌‌​‌​​‌​‍‌‌​​‌‌‌​‍‌‌​​​‌‌​‍​‌​‌‌​‌‌‌‌​​‌​​‍​‌‌​​​​‌​‌​​​‌‌‍​​​​​​​​‌‌‌‌​​‌‌‍​‌​‌‌​​​‌‌​​​​​‍​​‌‌​‌​​‌‌‌‌​​​‍​‌​‌​​​‌‌​​‌‌‌‌‍​‌​‌​​​‌​‌‌‌‌‌‌‍​​​​​​​​‌‌‌​​‌​‌‍‌​​‌​‌‌‌‍‌​​​‌​‌‌‍‌​​​‌​‌‌‍‌​​​‌‌‌‌‍‌​​​‌‌​​‍‌‌​​​‌​‌‍‌​‌​​​‌‌‍‌​‌​​​‌‌‍‌​​​‌​​​‍‌​​​‌​​​‍‌​​​‌​​​‍‌‌​‌​​​‌‍‌​​‌​​‌‌‍‌​​‌​​​​‍‌​​​‌​‌​‍‌​​‌​​​​‍‌‌​‌​​​‌‍‌​​‌​​​‌‍‌​​‌‌​‌​‍‌​​​‌​‌‌‍‌​‌​​​‌‌‍‌​​‌​‌‌​‍‌​​‌​​​‌‍‌​​‌‌​‌‌‍‌​​‌‌​‌​‍‌​​​​‌‌‌‍‌‌​‌​​​‌‍‌​​​‌‌‌‌‍‌​​‌​‌‌‌‍‌​​​‌‌‌‌‍‌​‌​​​‌‌‍‌​​‌‌‌‌​‍‌​​​‌‌​‌‍‌​​‌‌‌​​‍‌​​‌​‌‌‌‍‌​​‌​‌‌​‍‌​​​‌​​‌‍‌​​‌‌​‌​‍‌​​​‌‌​​‍‌​‌​​​‌‌‍‌‌​​‌‌​‌‍‌‌​​‌​‌​‍‌‌​​‌​​‌‍‌​‌​​​‌‌


收藏数这个应该是最能说明一个视频精彩程度的,毕竟收藏了大概都是看了还想看???可以看到视频收藏量最高的达到了40000,留言数也达到了1048。

视频留言数目排行榜(Top20)


虽然很多留言内容都是求约,但是更多的还是谢谢楼主,江湖传言,此网站氛围是世上最和谐的网站氛围之一。一般来说,视频精彩才会有更多的留言,因此我认为留言数也可以在某种程度上代表单个视频精彩程度。可以看到留言数目最高的达到了3431,至于为何呢,只有看了视频才能明白吧(逃)。

通过视频时长,上传时间以及各个数据的综合分析还可以挖掘更多人民群众对视频的喜好信息,今天先写到这,后面发现了有意思的事情再继续写吧。爬虫源码已上传GitHub。千万别问我要网站,我啥都不知道。

作者:Rickon
链接:https://juejin.im/post/5c0e061ff265da612c5db7e1
来源:掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

最后修改:2019 年 08 月 21 日 11 : 38 PM
如果觉得我的文章对你有用,请随意赞赏
本站采用 CC BY-NC-SA 4.0 许可
非商业转载请注明出处,商业转载请联系作者

发表评论

2 条评论

  1. zhensjoke Firefox Windows 10

    嗯。。什么时候爬一下Po**Hub看看全球来讲口味是怎样的。

    1. louo Opera Mi Note 3
      @zhensjoke

      这光荣而艰巨的任务就交给你啦