facebook抓取（facebook抓取数据）

有关ssl-pinning的总结

在使用charles对FaceBook/Twitter进行抓包时，所有的请求最终都失败了。第一感觉是手机上安装的HTTPS证书被删除了，到设置中检查发现证书没有问题，手机上其它APP的https请求也能够正常抓取。看来应该是碰到新情况了，Google了下，了解到FaceBook/Twitter等应用使用了一种名叫ssl-pinning的技术来防止中间人攻击。

这张图比较形象地道出了HTTPS实际上是由HTTP协议与TLS协议组合而成的一个协议。

TLS协议作用于HTTPS建立前客户端与服务端通信建立信任的过程，其过程与TCP协议中的三次握手过程较为相似，有些同学可能会将二者混为一谈，注意二者本质上是完全不同的。

HTTP协议作用于客户端与服务端的正式通信过程，但二者通信的数据是被TLS协议最终生成的密钥加密过。

客户端与服务端经过通信交换获得了三个随机数，通过这三个随机数，客户端与服务端能够使用相同的算法生成后续HTTP通信过程中对称加密算法使用的密钥。也就是说HTTPS协议中非对称加密只是在协议建立时使用，协议建立后使用的是对称加密。

市面上的各种抓包软件的实现原理就是中间人攻击。TLS建立时客户端生成的随机数1、服务端生成的随机数2都是明文的，只有随机数据3使用非对称加密技术加密。中间人攻击的关键就是截获服务器返回的证书并伪造证书发送给客户端骗取信任，获取随机数3，进而达成盗取信息的目的。

那么客户端为什么这么容易被骗呢？客户端主要通过下面三种方式来校验证书的合法性：

市面上大量的应用在证书检验方面做的都不够，还有很多的应用完全末做验证。而即使是完整的校验了整个证书链体系，中间人攻击同样还是可以通过在终端上手动添加信任根证书的方式发动。这也正是Charles/Fiddler等抓包软件在抓取HTTPS协议数据前，要求在终端上安装证书的原因。这个证书可以确保伪造的证书通过客户端的证书链校验。

那么开篇提到的FaceBook/Twitter是如何做到防止Charles/Fiddler等抓包工具中间人攻击的呢？原来它是在开发时就将服务端证书一块打包到客户端里。这样在HTTPS建立时与服务端返回的证书比对一致性，进而识别出中间人攻击后直接在客户端侧中止连接。

ssl-pinning技术在AFNetworking中已经得到支持，参照这篇 文章

有矛就有盾，开发者已经突破了ssl-pinning的限制达成了Facebook/Twitter的抓包需求。其实现的基本原理很简单，客户端不是会做两个证书间的一次性校验吗，那么就通过hook的方式将此次校验的结果返回true或者干脆不让其做校验。当然这种做法只能在越狱环境下实现，但对于抓包来说，这已经足够了。该 方案 已开源，其实现的基本原理在这篇 文章 中.

没有破解不了的应用，只有破解成本高到无法承受的应用，愿这个世界更美好。。。。。。。

从网站抓取数据的3种最佳方法

1.使用网站API

许多大型社交媒体网站，例如Facebook，Twitter，Instagram，StackOverflow，都提供API供用户访问其数据。有时，您可以选择官方API来获取结构化数据。如下面的Facebook Graph API所示，您需要选择进行查询的字段，然后订购数据，执行URL查找，发出请求等。

2.建立自己的搜寻器

但是，并非所有网站都为用户提供API。某些网站由于技术限制或其他原因拒绝提供任何公共API。有人可能会提出RSS提要，但是由于限制了它们的使用，因此我不会对此提出建议或发表评论。在这种情况下，我想讨论的是我们可以自行构建爬虫来处理这种情况。

3.利用现成的爬虫工具

但是，通过编程自行爬网网站可能很耗时。对于没有任何编码技能的人来说，这将是一项艰巨的任务。因此，我想介绍一些搜寻器工具。

Octoparse是一个功能强大的基于Visual Windows的Web数据搜寻器。用户使用其简单友好的用户界面即可轻松掌握此工具。要使用它，您需要在本地桌面上下载此应用程序。

也称为Web搜寻器，涵盖所有不同级别的搜寻需求。它提供了一个魔术工具，可以将站点转换为表格，而无需任何培训。如果需要抓取更复杂的网站，建议用户下载其桌面应用程序。构建完API后，它们会提供许多简单的集成选项，例如Google Sheets，，Excel以及GET和POST请求。当您认为所有这些都带有终身免费价格标签和强大的支持团队时，无疑是那些寻求结构化数据的人的首要选择。它们还为寻求更大规模或更复杂数据提取的公司提供了企业级付费选项。

关于从网站抓取数据的3种最佳方法，该如何下手的内容，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

警惕新的美式骗局——元宇宙?

界基础上搭建一个平行且持久存在的虚拟世界，现实中的人以数字化身的形式进入虚拟时空中生活，同时在虚拟世界中还拥有完整运行的社会和经济系统。在这其中需要两个关键技术区块链与数字货币，而这就需要我们提高警惕，因为这会收集我们的个人信息，而对于个人信息，Facebook做过的恶还少吗？

2018年3月7日，英国《卫报》爆出英国的数据分析公司Cambridge Analytica在美国大选中为特朗普服务，且这个大数据服务公司的数据来源于非法获取的Facebook的用户信息，涉及到的用户人数高达5000万。Cambridge Analytica公司在2016年美国总统大选中针对目标受众推送广告，从而影响大选结果。这只是爆料出在美国利用用户信息，干预美国大选。而本次泄密门的主角Cambridge Analytica是政府和军方承包商SCL集团的一个分支机构，而SCL专门为世界各国选举提供服务，其业务包括美洲、非洲和欧洲。Cambridge Analytica参与了美国和英国的几十场政治活动，包括英国退欧公投，以及参议员泰德·科鲁兹2016年的初选。这只是爆料出来的，谁又能保证在其他国家和地区，Facebook没有用它的用户信息去干预政治呢？这就是Facebook与美国政府对其他国家赤裸裸的意识形态渗透，干涉其他国家的政治。操纵其他国家的政治活动，这是多丑恶的嘴脸！

或许，你觉得这一个例子过于单一，但是，我想说的是Cambridge Analytica并非唯一，2010年，一家叫RapLeaf的网络追踪公司曾经利用Facebook数据组建自己的数据库，出售给政治咨询公司，Facebook与政治挂钩并从中牟利甚至已经成为了公开的“秘密”。早在奥巴马时期的2012年，奥巴马竞选阵营就通过深度使用Facebook的数据，分析并帮助竞选阵营进行决策。这些抓取的数据包括个人的：姓名、性别、住址、生日以及所有该人公开发布的信息以及在Facebook上公开的操作轨迹。奥巴马竞选营媒体研究主管的Carol Davidsen甚至得意洋洋的进行了爆料，Carol Davidsen的意思，简单说就是我们抓取了Facebook的数据，但Facebook没有阻止我们。实际上，岂止是没有阻止，Facebook还一路为奥巴马阵营开了绿灯，因为他们的选票是投给奥巴马的，而其他候选人则没有这么幸运，Facebook不仅没有给他们进行数据抓取并定向投放广告的机会，甚至还利用假新闻来引导民众的政治倾向。

由此可见，Facebook对用户信息的泄露不止一次，对政治活动的干预也不止一次，这次的元宇宙我们一定要提高自身警惕，不要让Facebook拿着我们的个人信息去贩卖、去实施文化入侵和意识形态渗透。

facebook、twitter、facebook登录、whatsapp分享、微信分享

所谓爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

对于国外第三方的分享元素图谱，是写在 html 的 head 部分，分为以下几个：

facebook 分享官方英文文档

分享原理：告诉 facebook 你想要分享的 url，facebook 爬虫机器人会主动向这个 url 发起爬虫操作，拿到对应的 html 解析，分别拿到相应的 html 元素图谱。所以，内网，是无法拿到相应的 html 元素图谱的，所以 内网分享不会有图

分享示例：

比如，分享的地址是 ，则设置App Domains 为 luotuxiu.cn

方式 1：超链接分享( 注意 url 需要 encode )

方式 2：接入 facebook sdk（前提是先引入 facebook sdk js，并做初始化）

比如输入我的博客地址，可以看到以下截图：

可以对着上面的表格一一可以看到，facebook 一一解析了 html 的元素

facebook 登录英文文档地址

接入 facebook 登录需要引入 facebook sdk，共计需要 5 个步骤

Valid OAuth Redirect URIs：这个是回调地址，必填。也就是，你想要哪个网址使用 facebook 登录，就填哪个网址，一般来讲，填写通用地址接口，比如填写： 即可，后面文件名可以不用填写。

登录完后，返回的 response 的示例：

一般拿着 accessToken 去做登录态也可以，有一个接口可以校验登录态是否生效

同时也有一个 get 请求可以校验 token 是否生效：

其中，input_token 是你要校验的 token，access_token 是在 facebook 后台对应的这个 app 的 token。如果正确，返回值如下：

分享原理和 facebook 是一样的，通过爬虫获取分享信息

官网文档：

无需带上 appid 即可，注意，url 对应的 value 值 需要 encode，hashtags 传的是话题（类似微博的话题）

注意，在手机端会自动识别所有元数据，同 facebook 是通过爬虫抓到数据，所以也需要和 facebook 一样设置所有的 title，image 等数据

注意，这里和 facebook 一样，可能有 网站更新了但是分享的内容没有及时更新的 bug ，此时用这个工具重新 preview 一下即可，可以手动触发爬虫

分享原理和 facebook 是一样的，通过爬虫获取分享信息

注意，在手机端会自动识别所有元数据，同 facebook 是通过爬虫抓到数据，所以也需要和 facebook 一样设置所有的 title，image 等数据

分享原理是通过发送微信 jssdk api 获取分享信息

官方文档

注意，这里，签名的生成，需要后端去调用微信的 api，然后前端需要访问后端一个接口来返回每次的签名

更多精彩文章可以看 我的博客 ，如有错误，欢迎指正，共同进步

facebook邮箱不对怎么验证

现在Facebook对国人注册越来越严格。

好比有些人，可能刚一注册就被停用了。

所以注册前一定要注意很多方面。主要有三个：浏览器、稳定IP、邮箱验证。

Facebook新号注册前，需要准备以下几样东西：

邮箱/手机号、姓名、出生年月、一张真人照片。

在注册时，尽量选择Google浏览器。

Ⅱ

在注册前，点击浏览器右上方的三个竖点，选择“设定”/“设置”，在隐私与安全处，清除浏览数据及缓存。

Ⅲ

尽量保持“一号一机一IP”。关于网络环境，自然专线是最好的，一定要稳定IP。

2。邮箱验证

在邮箱验证时，有建议用Gmail邮箱，但实际上会有一定的问题。

Gmail注册需要手机验证，登录邮箱有时也需要手机验证，还需要科学上网。

在接收验证码时，如果想避免科学上网和手机验证，可以选择QQ邮箱关联Gmail邮箱，代替接收。

如果：

还是显示Facebook账户被停用，则点击申诉，上传照片后等待。

如果没有Gmail邮箱又想注册，那又有哪些邮箱可以选择呢？

首先，亲自实验。

qq邮箱（英文版也不行）与hotmail邮箱无法接收验证码，就算你刷新刷到手抽。

其次，目前测试可以接收验证码的邮箱有：

outlook邮箱和rambler.ru邮箱。

// outlook属于微软旗下，免费注册，不需要手机号，也不需要科学上网，很方便。

但有时会注册不了Facebook。

// 相比outlook，这个俄国邮箱就有点麻烦了，（网址：rambler.ru ）。

它可以科学上网，也可以不科学。但建议科学上网，方便验证过程能顺利刷出来。

进入首页后，可以使用谷歌翻译，按照要求填写注册资料。

验证问题是俄文，回答会有点麻烦，使用翻译工具复制粘贴就好。

接着，会让你填写姓名（英文、拼音都可以）、年月日、选择性别。

最后一项是住址，可以跳过。

接收界面如下图，点击邮件图标一栏就是收件箱。如果Facebook发了验证码没收到，重发一次就好。

账号注册后，按照流程会提醒“上传头像”、“寻找你认识的好友”等，全部跳过就好。

不上传、不寻找好友，不发帖子。

3。账号用不了

如果账号提示“无权访问主页”，一般有两个选择。

重新注册。一定要更换IP和设备。

申诉。申诉等待时长或许较长，需要上传身份证件，人工审核如果没有通过，可以写邮件回复，说明注册Facebook的目的，再传身份证。

身份证可以借用他人信息（武侠、小说人物也可以...），P一下尽量逼真，毕竟Facebook不可能接入公安系统。

如果注册时用的英文名，可以附上说明：抱歉，没在FB上用真实的中文姓名，是以为只能用英文名。

建议收藏，针对不同问题，以下有不同页面可以申诉：

✉登陆和密码问题：

✉举报页面：

✉账号被禁用：

✉不能验证账户：

✉不能访问个人信息：

✉不能收到确认邮件：

✉无法访问页面：

Facebook与SEO

2010年年底，Google算法大规模调整。

Google越来越重视网站的原创性，如何判断原创内容，除了自身规则外，更多是抓取Facebook和Twitter的内容。

即，如果你的Facebook帖子被广泛转发、分享，其中一些客户会在其外部链接点击进你的网站。

通过社交平台分享的独立站链接，在搜索引擎中的排名以及权重都会相应提升。

如果访客停留时间过长，则Google还会视为优质外链，从而更加增加权重。