抖音APP的视频数据采集方法(简书首发)

佚名 次浏览

摘要:一、前言从现在开始会偶尔写一些付费的内容,之所以要写付费内容,主要基于以下几点,占比权重依次降低。1、我喜欢钱。2、建立有用知识的门槛,把有用的东西给予真正需要的人。3、通过付费倒逼我写出更好的文章,如果文章不好你可以尽情吐槽,前提是你花了钱。二、抖音介绍抖音现在真的是越来越火,我们公司的

一、前言

从现在开始会偶尔写一些付费的内容,之所以要写付费内容,主要基于以下几点,占比权重依次降低。 1、我喜欢钱。 2、建立有用知识的门槛,把有用的东西给予真正需要的人。 3、通过付费倒逼我写出更好的文章,如果文章不好你可以尽情吐槽,前提是你花了钱。

二、抖音介绍

抖音现在真的是越来越火,我们公司的“一面APP”也想做对抖音APP的数据抓取。基于此,我下载抖音,开始研究它的HTTP请求内容,后来我发现它有毒,越刷越上瘾,总感觉下一个视频一定会更精彩,根本停不下来,似乎早已忘记当初为什么下载抖音... 当然,最后我还是控制着了。

三、获取抖音中某个“挑战”下热门视频及单个视频的URL

关于对APP进行抓包的方法,在这我不做讲解,这个方法在网上可以找到很多相关资料(收费价值不大)。

如果我们要获取抖音中某个“挑战”下热门视频,大概的步骤如下: 1)配置好Fiddler或Charles(我这边是使用Charles),通过Charles可以对手机APP进行抓包,如下图1所示;

图1

2)在抖音APP上进行挑战的内容搜索,例如搜索“绝地求生”,如下图2所示;

图2

3)点击“绝地求生”挑战,查看Charles中的HTTP请求数据,找出获取挑战下视频的API,如下图3所示;

图3

我们发现在我们点击“绝地求生”进入这个挑战的详情页面时,抖音APP向服务端申请了两个接口请求。 一个是detail,它里面包含的是这个挑战的一些具体信息,因为我需要的是视频信息,所以这个我们先不管。 另一个是aweme,它的接口内容如下:

同时通过查看这个接口返回的JSON数据,也确定这个是获取视频的API,如下是返回的JSON视频数据(只保留aweme_list中的第一条数据,用于分析):

4)对这个API进行分析(破解或者绕过API的加密),找出可以直接获取JSON数据的纯种API; API的内容为: 。 为了便于分析,我们先把一些无关的手机设备和版本信息除掉: 它现在只剩下ch_id、count、cursor、pull_type、query_type、type、as以及ts几个参数,其中pull_type、query_type和type三个是固定的,不用管。cursor和count是获取的数据的开始和数量,ch_id应该是挑战的唯一标示。接下来就是as和ts两个参数,通过多次实验,我们发现这个API使用了as和cp参数进行了加密处理,也就是说我们无法使用这个API直接获取到API的数据,需要对as、ts的加密算法进行破解。当然,上面我也提过,面对这个情况,要么破解算法要么绕过加密,原则上是能够绕过的就不要选择破解,因为破解的难度很大,需要逆向,这个以后再讲(我也没做过)。 APP或PC上破解不了的接口,可以尝试使用m站。这个是我们的一贯原则。 我们发现抖音中的挑战有一个分享按钮,我们试着分享出这个H5页面来进行分析,分享之后的URL为: 在浏览器上打开这个URL,通过分析它的请求,只看XHR,见下图4:

随机内容

平台注册入口