2015年，谷歌开端对外部App的内部链接和内容进行抓取，现在现已累计抓取了300多亿个。
查找引擎是内容门户之后的互联网第2次严重技能革命。但是伴随着智能手机的遍及，运用软件（APP）替代网页，成为干流的技能。因为APP的内容一度无法被查找引擎抓取到，人们惊呼，移动互联网将带来一场查找引擎的生计危机。
不过，经过和运用软件开发商的协作，谷歌(微博)现已必定程度上化解了这场危机。日前，谷歌现已宣告，先后抓取了海量APP的300多页的页面内容。手机端查找的信息量，也将愈加丰厚。
谷歌查找团队在4月16日的一篇官方博文中，宣告了这一音讯。
谷歌一名工程师帕特尔（RajanPatel）对媒体发表，从两年前，谷歌开端对外部App的内部链接和内容进行抓取，现在现已累计抓取了300多亿个。
在传统的WEB网页中，谷歌能够经过软件“蜘蛛”进行主动拜访和抓取，无需取得网站管理员的答应。
而在App内容的抓取中，谷歌需求和运用软件开发商树立协作。谷歌供给了相应的软件开发接口（API），开发者经过这些接口，能够对谷歌查找敞开数据，然后完成查找引擎的内容抓取。
据悉，现已有许多的手机端软件现已和谷歌协作，其间包含微型博客Twitter、短期租房东西Airbnb、顾客点评东西Yelp、手机订餐东西OpenTable、图片保藏工交际网络Pinterest、房地产查找东西Trulia等等。
当然还有许多的手机端媒体APP，也现已被谷歌抓取新闻报导。
300多亿个链接的内容，和谷歌抓取的网页数据库比较，还仅仅小巫见大巫。之前的报导称，谷歌蜘蛛抓取的网页，数量高达数百亿张。
app数据抓取剖析 A8站长源码交易平台
但凡能够看到的APP数据都能够抓取。
剖析研究过不下300个APP抓包。
50%的app，经过抓包软件就能够剖分出抓取参数并抓取到信息。
30%的app，或许需求恰当的反编译，剖分出加密算法并抓取到信息。
10%的app，或许加固，需求脱壳，然后反编译，剖分出加密算法并抓取到信息。
10%的app，经过林林总总的签名，证书，设备绑定等办法，躲藏加密算法。
总的来说，没有不能抓取的app，仅仅时刻本钱的问题。
app数据收集计划 A8站长源码交易平台
APP数据收集，一般走以下两种方法：
抓包
抓包有代码经历或APP开发的同学都很简略了解，其实许多APP，走的都是webservice通讯协议的方法，并且因为是揭露数据，并且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模仿操作，即可知道APP里边的数据是怎么获取的。咱们只需求写代码模仿其恳求，不管POST仍是GET，即可得到该恳求所回来的信息。再经过对回来的信息结构化解析，即可得到咱们想要的数据。
HOOK技能
HOOK技能是一种走操作体系内核的技能，因为安卓体系是开源的，所以能够凭借一些结构修正内核，然后完成你要的功用。HOOK的方法，咱们走的是Xposed结构。Xposed是一款能够在不修正任何其他开发者开发的运用（包含体系服务）的情况下，改动程序运转的一个开源结构服务。根据它能够制作出许多功用强大的模块，以此来到达运用程序依照你的志愿运转的意图。假如把安卓手机看做一座城堡，那Xposed能够让你具有一个天主视角，城里的运作细节尽收你眼底，还能让你插一手改动城堡的运作规则。什么意思呢？简略的说便是你能够经过他，主动化的操控你的APP。假如将咱们的APP开在模仿器上，咱们能够经过编码，经过他告知APP这一步干什么，下一步干什么。你把它了解成相似按健精灵或游戏打怪外挂就能够了。而他每走一步，APP与服务端交互的数据，均可获取下来。这种方法广泛用于一些老练的APP。比方某信收集。
public class HookActivity implements IXposedHookLoadPackage {
@Override
public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {
final String packageName = lpparam.packageName;
XposedBridge.log("--------------------: " + packageName);
try {
XposedBridge.hookAllMethods
(Activity.class, "onCreate", new XC_MethodHook() {
@Override
protected void afterHookedMethod(MethodHookParam param)
throws Throwable {
XposedBridge.log("=== Activity onCreate: " + param.thisObject);
}
});
} catch (Throwable error) {
XposedBridge.log("xxxxxxxxxxxx: " + error);
}
}
}
[外链图片转存失利(img-Nx13XfXc-1562310314720)(http://image.525.life/FvlxFKXKvu5FkjeMqqDjncwkfAEZ)]
模仿点击
基本原理（根据UIautomator）
经过程序模仿人的行为对APP的界面进行点击、滑动等操作，一起能够获取APP的Activity页面上的大部分控件上的文本信息（有一些或许获取不到,Uiautomator自身就获取不到）
抓包东西
mac体系 Wireshark
Mac体系 charles
windows Fiddler
一般经过抓包东西来检查恳求的接口和参数，简略的能够用fidder，手机端设置署理即可
假如要抓取像声响/视频这种udp的包 能够运用wireshark。
charlse 署理抓包利器
jadx apk反编译
xpoxed hook大法东西
ida 逆向中静态剖析东西
参阅链接:
https://tech.qq.com/a/20150417/013527.htm
https://www.zhihu.com/question/53094297/answer/133665902
https://www.zhihu.com/question/27951667
---------------------
A8站长源码交易平台
