向邪恶宣战:透视 Google 反欺诈团队

简介:


<a href=https://yqfile.alicdn.com/09257aaac3235495ae24189ff173bcfbf0fce3c7.png" >

本月出版的《广告时代》杂志刊登封面文章,详细介绍了高度机密的谷歌(微博)反广告欺诈团队,以及他们为打击这股互联网上的阴暗势力而采取的种种举措。

以下为文章主要内容:

在伦敦的圣吉尔斯大街上,一位名叫萨沙(Sasha)的俄罗斯工程师启动了一台电脑,开始给我下达指令。

“第一步,先访问个网站。”他下令道,“AdAge.com怎么样?”随着页面在浏览器中加载完毕,一连串代码从左边的另外一个窗口中跳出。几秒钟后,萨沙向我解释了刚刚发生的事情。“跟我们团队打交道时,你可不能我们让你上哪网站你就照做。”他说。那台全新的电脑已经被感染。“你加入了一个僵尸网络。”

事实上,被黑的是我的上网线路,不是AdAge.com。无论访问哪个网站,电脑都会被感染。不过,萨沙似乎很享受我的这种无助,他的工作才刚刚开始。

萨沙是谷歌反欺诈秘密团队的成员,该团队总共有100多人,他们每天的工作就是与不计其数的网络犯罪分子对抗,防止他们从数字广告行业窃取数十亿美元的巨额利润——这主要源自伪装成人类的机器人流量。就连很多谷歌内部人士对这个部门也不甚了解,他们更是从未对外界透露过自己追捕僵尸网络的方式,更不用说让外人进入办公室观察整个流程了。然而,当莎拉打开电脑的那一刻,他们终于打破了沉默。

对于或大或小的互联网企业来说,数字广告欺诈都是一个严重问题,而且还在不断恶化。随着广告预算从电视和印刷媒体转向数字媒体,整个流程也越来越自动化,这也为互联网上的阴暗势力创造了一片沃土。

根据反欺诈公司WhiteOps和美国广告主协会的一项研究,2015年因为广告欺诈造成的损失高达63亿美元。而身为全球最大广告科技公司的谷歌,由于每天要处理海量的广告交易,而且提供了自动化购买平台和广告交易市场,自然首当其冲。倘若广告主认为谷歌的业务中充满了欺诈流量,肯定会将预算投向别处,谷歌的前景必将受到威胁。

广告技术公司Ghostery的主要业务是在互联网上监控广告标签,他们曾经对谷歌在广告技术行业的主导地位进行过深入分析。该公司的最新测算来自2013年9月,数据显示,谷歌当月的广告展示总量高达3160亿次,而排名第二的OpenX仅为844亿次。如此大的领先优势表明谷歌必然深受广告欺诈之苦,也为该公司赋予了更强的动力,必须全力应对这一问题。在此之前,该公司始终没有公开他们为对抗广告欺诈采取的行动,但如果继续保持沉默,就难以推动整个行业取得真正的进展,这也是他们接受《广告时代》专访的主要原因。

“分享我们的观点和立场以及投资水平,是为了给其他业内企业提供帮助。”谷歌视频和显示广告产品副总裁尼尔·莫汉(Neal Mohan)说。

谷歌的这项决定促成了我今年春天的这次跨洋之旅,在此期间,我与萨沙和他的同事们展开了深入交流,他们也对我敞开心扉,向我展示了当今互联网行业最重要、最机密的部门之一。尽管几乎所有内容都被记录下来,但出于安全考虑,萨沙和他在谷歌的同事还是执意要求只使用他们的名字,不能提及姓氏。“因为这都是有组织犯罪,所以对公开打击此事的人恐怕不利。”一位团队成员如是说。

感染过程

当萨沙坐在两台显示器前时工作时,阳光透过巨大的玻璃窗洒进办公室,让他得以一览南伦敦的美景。6名反欺诈团队成员分散在房间的不同角落——整个房间只有一扇门通向外面。

莎拉的口音很重,说话时总是带着戏谑的口吻,他开始仔细查看AdAge.com的网站代码(再次声明,这个问题仅限于上网连接被黑客入侵的那一台电脑),最后发现了几行所谓的“漏洞”——它的本质是黑客用来解锁电脑的一把钥匙。一旦用漏洞打开了一台电脑的大门,黑客便可在这台电脑上安装恶意程序,从而完全控制电脑。对于广告欺诈分子而言,这种控制权的价值堪比黄金。通过这种渠道,他们就可以在隐藏的窗口中浏览网络,而电脑的主人则对此一无所知。

通过个人电脑来部署是这类广告欺诈最显著的特征。他们将这些遭到入侵的PC称作“工蜂”,并利用这些电脑组成僵尸网络,操纵它们步调一致地浏览各种网页,像吸血鬼一样消耗着广告主的大量资金。由于是通过PC开展不法活动的,因此僵尸网络运营者很难被发现。他们会使用变化多端的IP地址和地理位置,还会隐藏其通过互联网发送的流量。

“漏洞”可以经由多种途径进入电脑,包括WiFi网络、包含这种代码的广告(恶意广告)、被劫持的家用路由器、垃圾邮件和被感染的网站。(谷歌团队通过一个损坏的连接将漏洞植入了我面前那台电脑的AdAge网站副本。)当你遭遇这种情况时,漏洞便可解在毫无迹象的情况下解锁你的电脑,之后,罪恶便会慢慢展开。“普通用户不会注意到异常情况。”萨沙解释说。他们甚至不必点击任何东西就会被感染。

尽管萨沙坚称我使用的电脑被感染,但在他打开一个名叫WinLister的程序之前,根本无法判断这一情况——该程序可以让用户进一步了解一台PC打开的隐藏窗口。通过该软件,他发现了一组已经最大化的IE窗口,这些窗口都被隐藏起来,而且都标记为“消息”。当萨沙让这些窗口现出原形后,屏幕上显示出一个在页面上疯狂移动和点击的鼠标箭头。桑萨沙的手离开鼠标后,那个箭头依然没有停止。

这样一次令人意外的“现形”引发了团队的一阵哄笑,但他们却并不准备向外人解释这种令外人目瞪口呆的事情。

发展历程

对于欺诈分子来说,通过感染电脑来赚钱是个非常简单的过程。只需要两个基本步骤即可完成:通过一系列中间人把僵尸流量卖给网站的站长——尽管站长需要为此付出一些成本,但显然物有所值;他们也可以自建网站,然后向该网站输送流量,并出售自己的广告。

这种通过僵尸网络赚钱的方式或许很直接,但要探测出来却并非易事。虽然了解背后的原理并不困难,但要真正判断一次广告点击究竟来自人类还是电脑程序,却绝非易事。

当萨沙查看那段僵尸脚本时,谷歌僵尸网络追捕业务负责人道格拉斯·德雅格(Douglas deJager)就坐在房间的后面,专心地观察整个过程。德雅格是个自信满满、心直口快的南非人,他去年早些时候将自己的反欺诈公司Spider.io卖给了谷歌,但并未披露具体金额。尽管坐在显示屏前的是他的手下,但毫无疑问,真正发号施令的还是他本人。

德雅格很早就发现了互联网的这个阴暗角落。“我们曾经是坏人中的一员。”他开玩笑说。虽然这只是玩笑,但实际上,他的确可以当坏人。他的第一家公司BytePlay开发的抄袭软件可以模拟人类的行为方式,他们团队很快意识到这种模式被不法之徒掌握之后可能产生的破坏。在卖掉了BytePlay后,德雅格决定创办Spider.io,专门对抗这些不法之徒。“我要阻止任何人使用我曾经使用的那些技术来做坏事。”他说。

Spider.ior被谷歌收购时只有9个人,他们借助那笔交易获得了谷歌的庞大计算能力,大幅加快了业务流程。“以前,我们通常需要花费一天的时间才能针对具体的一部分流量制作出报告,但现在可以实时制作报告。”德雅格解释说。但他们也面临一些新的局限。Spider.io必须绕开谷歌销售团队,避免发生利益冲突。——倘若某个广告位从谷歌的系统中移除,销售团队便会立刻遭受损失。相反,广告卖得越多,他们的收入就越高。

Spider.io与谷歌整合得似乎很好。当他们一起前往伦敦的Craft BeerCo酒馆时,新老团队成员之间的密切程度立刻显露无疑。闲聊了好几个小时后,一行人又一起吃了晚餐。一位帮助谷歌收购Spider.io的谷歌高级员工表示,他为自己当初的决定感到高兴。

自从德雅格“弃暗投明”后,那帮坏分子的技术也大幅提高。他表示,恶意软件的主要用途原本是银行欺诈,但两步验证措施(例如,除了输入密码外,还需要输入通过手机短信接收的验证码才能登录银行帐号)大幅压低了他们的盈利能力。于是,黑客开始转向信用卡欺诈,但这一领域的安全性也已经大幅提高——尽管只要花几美元就能买到数千条活跃信用卡记录,但这些信息几乎毫无用处。

接下来就是比特币挖矿,黑客们通过入侵他人电脑来获取这种加密货币。但这种业务的利润率同样大不如前,正因如此,广告欺诈才成了当今网络犯罪领域最赚钱的业务。“如今,恶意软件的主要用途已经变成广告欺诈。”德雅格说。然而,令广告行业提心吊胆的事情才刚刚开始。

对抗欺诈

第一次亲眼见到恶意软件代码会令人颇感不安。这种加密程序就像一组难以破译的天书。刚加入团队的塞巴斯蒂安(Sebastian)坐在我的身旁,从屏幕上选出了一段代码,向我解释那晦涩难懂的含义。其中一行写着“1568 C8 58 00 10 57 8B”,代表了这个僵尸网络的DNA。

代码是僵尸网络的引擎,指挥着受感染的电脑浏览网络:它告诉它们应该访问哪家网站,在上面停留多长时间,进行哪些活动,诸如此类。谷歌的反欺诈团队通过一些来源获得了这些源代码,其中包括其2012年收购的恶意软件扫描公司VirusTotal。他们之后必须通过反向工程破解每个僵尸网络的属性。

破解代码是整个流程中最为关键的一步,反欺诈团队可以借此获得僵尸网络的“指纹信息”。“一旦我们了解了它的运作模式,就可以通过某些特征判断某个网站的某位访客是否感染了这种恶意软件。”该团队产品经理维嘉德·约翰森(VegardJohnsen)说。

在我们面前的电脑屏幕上现出原形的僵尸网络包含了150个“动作”,每个动作都是为了模仿人类访问网页时的行为。例如,该程序会下令受感染的电脑创建一个隐藏的IE窗口,然后将窗口全屏,关闭声音,将流量瞄准浏览记录可以匹配“LibertyInsurance”等关键词的用户,然后随机移动鼠标,而且只有20%的时候会真正做出点击动作。事实上,这个包含了150个动作的程序相对比较简单,有些僵尸网络甚至会包含2000多个动作。

代码内容非常详细,当你对它进行研究时,甚至可以感受到代码编写者的所思所想。“你知道有人坐在那里,选择了这些动作,然后写下了这段代码。”约翰森说,“我们都很清楚,隐藏在暗处的这些对手赚了很多钱。”

当他们查看僵尸网络的网络论坛时,还将更加全面地了解欺诈分子的全貌。谷歌的团队始终在监视这些论坛,关注着他们买卖受感染的电脑和流量的过程。在我造访的过程中,该团队向我展示了一篇中间人的帖子,里面甚至包含了一句“欺诈者勿扰”的警告。当然,这位中间人所谓的“欺诈者”指的是欺骗他的人,而不是广告欺诈分子——后者正是他想要的。

这个黑市也有它自己的一套规则,不仅建立了信用系统,甚至还有第三方托管服务来保证资金安全。“这至少表明,整个欺诈利益链都付出了很多努力。”约翰森说。

但欺诈分子并非刀枪不入。与他们开发的僵尸网络不同,他们也是人,是人就会犯错。这些错误有时看起来微不足道,但谷歌却可以借此判断他们的身份。

隐秘“信号”

长时间讨论广告欺诈问题必然少不了咖啡,谷歌著名的小厨房这时就可以派上用场。每当研究完一部分代码后(有时候会持续近2小时),整个团队就会涌到咖啡机旁,借机摄入一些咖啡因,暂时忘掉屏幕上那令人眼花缭乱的像素和数字。对于如此复杂的技术工作而言,这种放松方式十分必要。

当谷歌的反欺诈团队完成了对某个僵尸网络代码的反向工程后,便可绘制出该僵尸网络行为模式的蓝图。得益于谷歌的庞大规模,这个蓝图会与谷歌的庞大广告点击和展示数据进行比对,寻找与之匹配的流量。

在此过程中,谷歌团队不仅希望在流量中匹配僵尸网络的特点,还希望匹配他们所谓的“信号”。特征很直接,包含了各种流量行为,包括点击率、转化率、使用的浏览器甚至点击行为在页面上发生的位置。谷歌反欺诈团队向我展示了一个名叫z00clicker的僵尸网络,它会指挥自己的“工蜂”在页面上随机选取两个点,然后沿着两点之间的直线移动,在经过可以点击的地方时便会触发点击行为。之后,该僵尸网络便会留下一个类似于签名的独特点击形态。如果将z00clicker触发的广告点击绘制成一张地图,会发现四周的点击密度很高,中间位置很低。

特征的确很有帮助,但当谷歌将某些流量标记为非人类流量,并拒绝向站长支付相应的广告费时(他们也不会向广告主收取费用),还需要出示一些更具说服力的证据。这时,“信号”就会发挥至关重要的作用。

所谓“信号”,指的是一种在正常情况下不会出现的行为,但却在广告欺诈分子编写僵尸程序的过程中无意间创造出来。德雅格表示,他们的工作就是找出这些微不足道的“信号”,确定这些流量的确来自于被感染的电脑。

谷歌的反欺诈团队处理这些信号时显得格外小心,因为很多信号仍在使用,一旦走漏风声,就引起被欺诈分子的警觉。德雅格在我刚刚造访时说过:“我们做的很多事情都是如履薄冰。”这便是其中的一件。

但他们还是给我举了几个例子,向我展示了一些ZeroAccess的独特信号——在微软的协助下,那个僵尸网络已于2013年被捣毁,但后来却自己复活了。例如:在正常情况下,重置浏览器cookie会在其cookie域中产生一个“0”,但出于种种原因,ZeroAccess却会在那里插入一个空白字符。该僵尸网络会在每次浏览会话前重置cookie,所以会定期出现这样的空格。这个信号足以判断流量是由ZeroAccess产生的,但谷歌通常会利用多个信号同时证明某个流量是否来自僵尸网络。

向邪恶宣战:透视谷歌反欺诈团队

独门武器

与邪恶势力斗争的正义化身必然拥有标志性的武器。例如,蝙蝠侠有蝙蝠车,佛罗多有魔戒,绝地武士有光剑。而谷歌团队的标志性武器则是“Powerdrill”。

Powerdrill是一套强大的计算系统,它能在5秒钟内处理5000亿单元的数据——总之就是速度极快。它可以将这些数据制作成图表和其他图形化元素,方便技术人员寻找僵尸流量的不法行为。

在给我演示该工具中的一个会话时,德雅格直接标记了“龙来了”的标签。另外一位名叫菲尔(Phil)的团队成员打开了Powerdrill的显示屏,向我展示了大批来自4个IP地址和1个网络服务器的流量。这些流量显然都服务于同一个实体,它们在短短10天内就在一个谷歌网络中产生了1亿次广告点击。“这是真实的流量。”菲尔解释道,“这是3天前的使用数据。”

这些流量十分庞大,有可能彻底破坏过去10天不计其数的广告数据,而且至今仍在运行。“这有可能人为虚增广告点击率。”菲尔指出。

但令人为难的是,这些流量并非来自僵尸网络。“这其实来自一家广告验证公司。”菲尔拒绝透露该公司的名字,但他表示,该公司会通过互联网搜集尽可能多的样本,甚至会实际点击广告,了解这些广告的最终着陆页。尽管该验证服务完全可以在浏览器中给自己贴上“非人类”的标签,但他们却没有这么做,导致很多尚未识别其身份的广告科技公司,都将该公司的流量视作人类用户产生的自然流量。

与其他公司分享这类数据对打击整个行业的欺诈问题大有帮助,谷歌似乎也准备这样做。德雅格表示,他的团队即将首次公布详细的恶意流量信息,不仅包括其发现的僵尸网络数据,还包括这类广告验证公司产生的流量。

德雅格希望谷歌此举能够促使其他公司也披露类似的信息,联合起来对抗广告欺诈分子。“我们的工作就是增加他们的成本,使之降低到他们认为不值得继续作恶的程度。”他说。

谷歌的反欺诈团队能否真正实现这个目标还很难说,不过,我此次采访过程中的确看到他们在努力打击这种行为,我也见证了他们为此部署的周密计划。不过,这毕竟是一场硬仗,所以,倘若我一味吹嘘他们的成就,就会显然太过虚伪。

不过,假如胜利的那一天果真到来,德雅格已经计划好了庆祝的方式。他开玩笑说,自己有可能去休假,“前往某些广告欺诈分子可能也会去的某个海滩,”他说,“我们没准会一起喝一杯?谁知道呢。”

文章转载自 开源中国社区 [http://www.oschina.net]

相关文章
|
Web App开发 JavaScript 前端开发
忍受不了糟糕的工作氛围,我退出了 Google WebAssembly 团队
当地时间 5 月 11 日,游戏设计师、工具开发者 Katelyn Gadd 在一篇博文中分享了她在 Google WebAssembly 团队中的工作经历。这位女士讲述了自己在 Google 任职期间因为管理混乱患上脑损伤并长期饱受折磨,这些负面经历凸显了 Google 糟糕的工作氛围:团队缺乏支持并且领导者们又没有改革能力。“我希望这个故事能够帮助人们认识到自己工作场所中的有害文化,或者能帮助新员工在 Google 获得更好的职业生涯。”Gadd 说。
145 0
忍受不了糟糕的工作氛围,我退出了 Google WebAssembly 团队
|
设计模式
前Google人谈团队管理:针对不同员工的情境管理法和如何选择合理的团队规模
本文作者Tomasz Tunguz是Redpoint Ventures的风险投资人,曾在Google担任产品经理并参与过AdSense项目。 我有一个朋友,他创立了一家很成功的公司,而且还在迅速发展。在最近的一次聊天中,我向他询问过去几年最大的收获是什么。他说,在创业之前,他把管理看成“创可贴”,用来弥补组织设计上和公司正常运营上的错误。但随着时间推移,他渐渐意识到,管理是公司建设的唯一途径。而他接下来所说的,更令我久久无法忘怀。
185 0
前Google人谈团队管理:针对不同员工的情境管理法和如何选择合理的团队规模
|
机器学习/深度学习 自然语言处理 NoSQL
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读(四)
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读
|
自然语言处理 异构计算
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读(三)
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读
|
机器学习/深度学习 编解码 自然语言处理
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读(二)
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读(二)
|
机器学习/深度学习 自然语言处理 算法
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读(一)
Paper:2017年的Google机器翻译团队《Transformer:Attention Is All You Need》翻译并解读
|
机器学习/深度学习 人工智能 算法
百度视觉团队斩获 ECCV Google AI 目标检测竞赛冠军,获奖方案全解读 | ECCV 2018
从整体方案框架来看,可分为 Fast R-CNN 和 Faster R-CNN 两种不同的训练模式。
584 0
|
UED
通过设计让学习变轻松 - Google 的 Primer 团队是如何做用户体验设计的
本文讲的是通过设计让学习变轻松 - Google 的 Primer 团队是如何做用户体验设计的,那么可想而知:尽管大量信息对我们来说触手可及,而所有的新技术都似乎在一夜之间涌出,97%的人丝毫不会为了提升自己而花时间寻求这些新知识。
1392 0

热门文章

最新文章