王虎：大家好!首先感谢能够给我这次机会，能够介绍我们大数据方面的经验，其实我们做这个东西，只是一年不到的时间，也是一个被迫做的，之前我们公司。先简单介绍一下我们公司吧，我们公司是一个专业的第三方支付公司，2007年成立，注册是1个亿，2012年拿到牌照，2015年是拿到跨境支付的牌照，我们主要是做第三方支付。在三方支付的过程当中，我们遇到了各种各样的风险，之前我们都是靠手工去做，因为我之前是在做智付店里面做风控总监，一直是在做风控这一块，我们在风控当中遇到的一些困难，我们也是无法解决的。
首先一个就是查询，还有一个是来自一些诈骗、盗刷，包括一些洗钱的东西，我们之前做这些。目前我们专注做风控的人差不多有五六十人这些，之前是全部靠手工，人工到最大，然后订单很多，然后人去做有很多订单，这样做起来就很累，效率也不高，碰到过很多问题。在这个基础上，我们就慢慢的，就是为了解决我们这个后面就是想搞大数据，最开始是要解决我们产品的问题，如果有一个是商户过来要查询他的订单，我们查起来就很吃力，之前我们用的是origin那种支付，它是一种集中式的存储，在前几年，我们的这个订单比较少的情况下，查起来很方便，origin智付其实在业界也是蛮有名的，用起来也很好。
但是随着我们业务量的增加，尤其是现在我们一天差不多有100万以上的交易，有100万的交易。这样的话，如果有一个商家，或者商户他会要来查询他的订单，那我们后台查起来，那如果你一个人查，一个客服或者是风控人员查还可以，如果两三个人一起查，基本上数据就停在那里了，基本上过个三五分钟或者半个小时才能把结果查出来。你看后来，我们就是想引进大数据这个技术来解决这个问题，因为大数据它就提供了这个分公司的存储，查询起来就比人工存储来说很快。
通过这个查询问题的解决，我们发现，这个大数据确实是有它的优点，就是像宣传的那样，后来我们就把这个就逐步的应用到了风控当中。在这个基础上，我们同时解决查询和风控的问题之后，我们又应用大数据设计了一整套风控系统。我们这个系统，就是它是专门针对三方支付的“一站式”解决方案，我们是通过数据的采集、规则检查、风险分析，实时检测出交易环节高频的、可疑的大额交易，通过分布式流式计算。流式计算是现在比较流行的一种快速的利用反乘的一种方式，比传统的要快十倍甚至一百倍以上。
第二个就是我们能够快速的解决异常行为，从而为第三方支付领域的发展提供重要的安全保障，这个就是我们的一个简单的一个逻辑的一个图。之前我们就是一个数据系统在这里，具体的这里比较复杂就没有画出来。现在我们是通过数据的采集，把每一笔支付的订单采集到我们的系统当中，然后通过我们的规则检查和风险分析，针对我们后面的这几个主要的数据库，黑名单库、白名单库、关注名单、设备指纹以及以往的风险事件，来对一个新的订单做一个判断，看一下它是不是一个风险订单。如果风险订单，就可以及时的提醒我们的工作人员来做处理。
我们的这个系统?对每一笔订单它的反馈时间是在毫秒级，就是说在一秒钟以内它就能把数据反馈给我们的支付系统，这样的话用户体验起来就比较好。我们的这个东西，它有几个特点，就是快速、准确和稳定。所谓快速就是提供毫秒级的服务，快速识别风险。我们系统主要采用分布式的思想进行设计，在思想设计的环节，充分采用分布式的流计算，现在这个流计算，如果对风控系统了解的都知道，现在邦盛(音)他们这个流计算做的是最牛的，说是可以在一百毫秒以内拿到结果。我们也就是采用了这种技术，但是可能是没有他们那么牛，但是我们也可以在一秒钟之内，把风控的结果反馈给我们。
第二点就是准确，因为我们提供了丰富的风控规则，包括多维度的准确判断，能不能准确判断一个订单它是不是风险订单，是不是安全，这个其实是风控规则是很重要的。因为我们公司专业从事第三方支付，差不多从拿到牌到现在是五年，所以在实际的工作当中，第三方支付方面我们积累了大量的风控规则的经验，我们光手工的风控规则，就是各种之前是我们手工拓下来就差不多四十多条。
但是像这些，我们之前是手工去操作这个效率跟不上，有时候虽然发现了这个风控订单，但是它已经成交了，已经这个资金已经结算到商户那里，这样的话损失就已经造成。但是现在我们把这些风控规则全部用到我们这个大数据系统，比如说一秒之内它就会告诉你这笔订单，是不是就是说这些规则当中，有没有运动，运动就会马上提醒我们，就会及时的去做人工的处理。
还有一个就是稳定，因为我们后台，大数据后台其实是用了就是基于分布式的部署。在这种情况下，就是说只要不是资金整个当掉或者说整个机房出问题，我们这整个系统是不会有任何的就不会单点故障，这是你是一台机器，甚至是两台机器同时坏掉它也不会有问题的，这个就是我们解决的单点故障的问题。
我们这个东西特点就是首先体现在一个数据量大的上面，大数据计算它是分布式流式计算，然后产生海量的缓存数据电子对，然后大数据存储，设备指纹，交易数据，风控事件，像这些设备指纹其实是在支付，甚至在那个互联网金融这一块是一个非常重要的一个数据。所谓设备指纹其实就是我们采用一定算法对一台PC，或者一台手机移动设备去做一个定位，因为从我们以往的经验当中可以看出，有一些违法犯罪分子比如他拿到了一个盗卡，或者是说诈骗，利用钓鱼软件骗到别人的密码，或者是做那种洗钱，像这些它不可能是说每一笔交易换一台机器，它就是说有在虽然说它也会准备很多台及其去做人判的使用，但总的来说，它的机器数量是有限的，它很多交易都是在同步的机器去进行，所以设备只能对我们这个公共系统来测试是一个非常重要的，可以说是判断的一个依据。
因为在之前，在我们一台机器上做过类似的违法交易，那他下次来这台机器，或者这个移动终端的，所有的交易或者是所有的行为我们都会把它定义为高风险，作为重点监控。然后交易数据，就是把我们以往这么多年所有的交易数据作为关联性分析。风控事件，也就是说对我们之前的一些风控事件，因为之前没有这个大数据，没有使用之前，有了风控事件之后去处理完，然后保存在工作人员的电脑里，如果有老员工离职了，他处理完了这个风控事件可能新员工都不知道，然后再拿来个类似的，还要重新来梳理一遍。但是我们现在有了这个大数据系统，我们会把所有的这些风控事件我们会录进去，它就相当于一个微软服务器一样，你输一个关键字进去，它就会把以往的相关的风险事件全部给你找出来，然后就可以去相当于是查询历史资料一样，这样操作起来就很简单。
还有一个就是大数据分析，我们知道是动态分析模型，这个东西我们也是用来一个开源的框架上面改，我们主要用的是十八核，我们主要用的是规则引擎，两个开源软件。规则引擎我们现在是双引擎，一个规则引擎、一个分析引擎，所以规则引擎，是灵活配置。我们这规则引擎它主要使的是脚本语言在线修改，所谓脚本语言，它不像Java那样，你要编译以后才可以运行，这样实施意义就可以做到很强，如果有一些重要的话直接在现场改，不会影响这个业务的进行。
参数配置我们这边设计的时候也考虑到，虽然目前专门针对我们自己用，我们当时也有这个想法，就是想如果有同行业的或者有其他的比如说，更多一点发展包括电商，资料用这一块儿，所有我们就把很多它这个配置都做成这种开设形式，你可以根据你的经验去调整这些参数。比如说像有一些那种高频的交易，那这个频率是多少，你可以根据你公司的情况你自己去设，不用我们的培训人员去改，那你风控人员去根据你自己公司的情况，或者是根据你不同行业的情况都可以自己去改，所以参数配置这一块比较灵活。
动态发布也是，因为我们规则这一块用的是脚本语言，所以随时都可以线上修改。分析引擎，分析引擎也是同样的，我们这个分析引擎主要也是基于，分析逻辑是基于规则引擎，在规则引擎的基础上我们还可以去针对我们的历史顺序，去做一个分析，所以规则不会去会历史数据去做一个学习，去做一个参考，就根据不同的规则来看它是不是合法，所以我们这是双引擎一起来提高我们这个整个系统判断的准确性。最后是我们也采用了这种分布式流式计算，这个流式计算它的特点就是高吞吐、低延迟、稳定可靠，我们现在也是可以做到毫秒级，就是在一秒钟之内就可以判定结果，我们这个目前还算不上一个产品，我们因为只是针对我们自己的三方支付这一块，至于后面是不是要再进一步的发展，丰富一下它的功能，可能才能算上一个产品，现在我们只是集团内部在用。
我们的优势就是一个它的数据量巨大，主要是存储量大和计算量，双引擎保障，我们是规则引擎和分析引擎双引擎，这样提高我们风险的命中率。流程自动化，我们在这里就是把一个工作流的市场把它挤进来了，因为有时候要保证一个，尤其是这个风险事件发生以后，要保证每个风险事件都有人跟踪，都能够在规定的时间内完成。如果没有一个工作流的思想，或者工作流的监督在里面，如果你这个事件少还可以，事件多，一天如果有几十个上百个事件的话，可能很多事件就漏掉了。所以我们从实际工作的角度来考虑，我们把这个工作流也列入了这个大数据的平台里面，如果一旦发现风控事件，只要点一个鼠标，就可以申请一个事件单，然后分派到下一个，如果是需要处理或者是需要审批，它会按你之前定义好的一个角色，会直接去公开任务，然后同时会发这个邮件提醒。
还有一个我们的优势就是我们也采用了一个流式计算，这个就是我们整个这个算是一个风控系统的一个逻辑结构图，最下边就是我们对外提供的接口，可以接不同的系统或者说不同的公司，目前这种下边的这几个，像这个数据榜这些都是我们集团内部的一些子公司的系统。当我们这个系统如果成熟以后，就是外部的一些类似的平台也可以接进来，接进来之后呢我们提供的是数据查询、实使拦截的服务，提供这边的这个接口，是通过我们设备指纹的采集器，主要是利用我们支付系统大家都可以进一步交易，我们都会采集这个设备的指纹，而这个设备的指纹以后它就会直接输出到我们这个大数据中心。
首先他就会查我们这个大数据指纹库，看一下我们这个设备它是不是高风险的。通过这些输出，输出这些产品结果。这是这边一个接口，然后我们实施按揭服务，实施按揭服务其实就是我们利用这个规则引擎，我们这个规则引擎，主要就是实施对进行交易的这个订单进行分析，如果发现你这个订单是有风险的，比如你是一个高频的，或者是说大额的，或者是来自于我们之前的风险事件，根据之前风险事件的判断它是一个高风险的订单。那我们就可以首先拦截这笔订单，然后去做人工核实，毕竟我们这个系统它还不是百分之百的准确，人工核实以后如果确实是高风险或者违法的，我们就会终止这笔订单。
但是我们的人工核实它是合法的，就会让这笔订单继续进行，因为我们这边商务支付的每一笔都是跟这个资金有关的，所以在这里，我们采取的原则是宁可错杀一千，不能放过一个，只要我们发现有风险，不管三七二十一，先停下来再说。验证了没有风险，我在给你进行下一步，因为有很多这种订单，我们是有实时结算的，你一旦给他放过这笔订单了，可能分分钟，然后这笔钱跟单位结算以后，就再也找不回来了，就是做了这个实时拦截的这么一个功能。
我们对外提供服务，我们暂时可以考虑两种模式，一种是云服务模式，一种是本地化部署，现在对我们集团内部主要是采取这种云服务的模式，就是我们在我们这个大数据这一块集中搭建了一个风控系统，然后我们集团内部的支付宝，智汇金联，包括我们的支付都是通过云服务的方式来使用这一套系统。这一套系统它其实是可以内部是向隔离的，然后可以单独使用，但是我们考虑到如果不是我们集团内部的公司对其他的一些，比如其他的三方支付或者小银行，特别是这个现在流行的市场支付，还有可能不相信我们或者说担心他的数据安全，那如果是这样的话，那我们这个东西完全可以把整个系统本地化部署，部署在它的公司内部，然后我们经过一段时间的培训，它就可以使用。
我们目前这个大数据服务系统它的应用场景主要就是针对第三方支付跟电子钱包，所以我们就是专门针对这两个应用来做的，对三方支付，主要就是交易订单风险检测、消费者风险系数检测，对电子钱包，电子钱包其实就相当于一个支付宝的电子钱包差不多，我们的功能也大概类似于支付宝，没有它那么全，我们的功能都是一样的。我们对钱包的检测也是消费者风险系数的检测，比如你电子钱包的转账汇款、消费，这些我们都会做一个监控，然后你使用电子钱包的机器指纹，还有你这个登录有没有异常登录，这些我们都会做一个监控。如果发现有异常登录的，比如你这个钱包之前一直是在深圳用的，突然一下子跑到北京用了，像这种我们就会做一个风险提示，或者是给你发一个验证码，看一下你这个是不是被盗用了。
还有一些其它的规则，比如虽然你这个钱包经常会在很多地方用，那你这个段一直在改变，我们就很难判断你是不是被盗用了，那我们就要判断根据时间上这么一个规则来判断。还有比方说，你十一点钟在深圳用了这个电子钱包，然后十二点钟你在北京又用了，像这种情况，也是属于高风险的，因为一般情况下你一个小时之内你不可能从深圳跑到北京去的，所以这个其实就是我们这个风控规则上面的一个规则，总共我们是有四十多个规则，像这些用于逻辑判断。
然后我们的产品它主要是用于这些方面：交易管理、商家管理、客服管理、预警管理。对于交易管理，刚才也讲了主要是讲这个交易管理，就是你在交易管理过程中你这个卡是不是盗刷了，是不是黑卡，或是不是说被钓鱼拿到密码的，或是不是伪造的，是不是洗钱的，这些都是交易管理的应用。然后对于这个商家管理，商家管理这一块我们做的是对商家的分析管理，动态分析管理，你这个商家你的信誉怎么样，然后你的交易有多少投诉，有多少协查，有没有被公安调证，这些都会作为我们一个动态管理的一个依据。
之前我们这些都是用手工来做的，很滞后，然后经常会组织一帮人去统计，然后系统上实现起来就比较麻烦。但是现在我们放在这个大数据系统里边，可以说只要我们的风控人员收到投诉，然后收到公安调证的，只要在系统里边登记一下，分分钟后边的结果就出来了。这样的话，你这个商家，如果你这个风险值在升高，那就作为我们的一个重点，作为一个重点监控的目标，就是看一下你这个回头去做一个投诉审核，看一下你这个商家是不是合法的，是不是就是说有矛盾接口这些事情。
还有客服管理，客服管理就刚开始我说到订单查询最主要的是客服管理这一块，因为经常会有商家或者消费者会打电话过来，要求我们帮他查询某笔订单，他这个订单他觉得是可疑，可能不是他自己进行交易的，然后这个时候，因为我们现在公司客服值班的有很多人，没有这个大数据之前，两三个人或者三四个人如果都是在查订单查一个人，如果你查一笔订单还好，你查一个人的订单需要把他的所有订单都查出来，这样的话基本上我们的这个数据库就死了。但是现在我们有这个大数据这很简单，用一分钟之内就可以查出来了。
预警管理，所谓预警管理，这个可能没有做三方支付的不是很清楚预警管理是什么，其实这个预警管理就是主要是这个事中不满，就是你这里订单在交易，但是在你没有结算，没有最终清算之前，如果我们发现问题会及时把它停下来，刚才我现场有说到，这个预警管理主要就是针对这个洗钱的比较多一些。你像上个月我们就碰到一个洗钱的，他就是说两天刷了1.5亿，一次一百万，刷了一百多米，然后像这个我们有这个大数据风控系统呢，你只要刷单以后，它就可以实时在给你算的，算出来你这个有问题它就报警，然后我们就直接把它拦截下来，如果没有这个大数据风控系统，它这个靠手工就很难得。那么这1.5个亿很可能就出去了，因为他们做了一些规避，他不是说，就是很密集的刷，他过一个小时刷一下，然后过两个小时刷一下，这样的话，如果没有这个大数据的监控，靠人工去看，有可能你这一笔就放过去了，然后你责任心强一点的话，还有可能说我好像记得这个项目刷过一个一百万，怎么又来一个一百万，你可能会把它拦截下来看一下。如果说你这个工作人员他没有什么责任心，就刷了一百万，或者过了，然后等你这个第二天已经做了清算了，就在你回头发现这个钱已经追不回来了。这个预警管理在支付行业里边还是比较重要的。
这个就是我们这个系统的一个截图，你们后面可能看不太清楚，有点小，我们这边有这个，第一个叫上面两个字就是我说的那个工作流的集成在里边，第一个我待办件跟我的经办件，待办件就是说我们大概可以看就是说看一下就是说有哪些风险没有解决，有哪些风险没有做都会有提醒，经办件就是我曾经处理过的，都会给你一一列在这里。第二个就是设备指纹，设备指纹在这里管理后台是对我们所有收集来的指纹是在这里可以集中管理的，也可以在这里手工去查询。规则引擎，这个规则引擎就是我们可以通过我们参数配置去手工配置你各种的规则，因为你不同的公司，你规格的参数不一样，你对不同的行业你规则的参数也是不一样。因为我们这个产品可能是这个系统暂时还称不上产品，我们想后期对这个电商，互联网金融去做一下，所以这一块我们就是打算可以单独的来配置。
接下来就有黑名单、白名单、风险分析、风险管理，像这些菜单在这里都是可以进行手工配置的，尤其是像这个黑名单，现在的这个洗钱，反洗钱国家对这些比较重视的，整天在宣传，金融行业可能会接触一点，我们差不多一两周就要到银行去开一次这是一种反洗钱的会议，它就经常发一些这种叫国际反洗钱联盟的一些黑名单，包括黑名单账户，黑名单国家，尤其是像朝鲜，什么以前的伊拉克这种国家，直接就不能跟他们有任何交易。所以我们这要手工的把这些黑名单加进来，加进来以后，我们这个任何交易跟这个相关的都会直接拦截掉，否则的话，都会涉及到反洗钱这一块，这个就叫恐怖融资反洗钱，这个就很麻烦的事情。一旦被查到，可能一次罚款就上亿了，估计一旦查到这个公司就不用做了。
交易管理，这里就是我们所有的交易的订单，每笔交易订单我们这些高风险的它就会列在这里，值班人员看到以后就会立刻处理，比如你如果有那个高频了，来自同一个IP的，每分钟交易一次，然后一小时交易了几十笔，像这种在我们这个支付行业来看，这个肯定就是有高风险的，一般来说就盗刷的比较多。因为他一旦拿到别人的卡，一定要在短时间之内把里面的钱刷完，否则的话有可能这个卡就会被银行注销，所以遇到这种的话，我们就会把它列出来，这样的话值班人员就会紧急的就处理。
商家管理，刚才也说到就是这些我们会把高风险和一些那种有或者是被列入黑名单的或者高风险的商家都列出来，像这些商家也是我们是重点监督或者是重点监管的对象。这个就是一个简单的例子，前面的就是，就是最前面就是我们商家的编号，然后这个里面的数字就没有显出来，大概就是会有这几列关键字，这商家的交易量多少，他有多少可疑订单，他有多少大的订单，然后他累计交易多少，风控事件有多少，然后我们会把这些一些重点商家都列出来，在这里都很明显哪些是需要我们重点关注的。
这个是预警中心，预警中心分为大的订单、高频交易主要就是这些，有了以后我们都会把这些列出来，这样我们的值班人员会实时的去处理，因为我们有二十四小时值班的。
最后说一下我们总体的一个规划，目前我们只做了两块儿，交易风控跟钱包风控，然后后边我们先完善我们目前的这个系统以后，我还准备做电商，然后反欺诈，反洗钱，信贷风控，这样这电商，这个反欺诈的，包括这个P2P，反洗钱的，信贷，因为我们集团都有这些业务在做，所以我们先针对内部先把系统做出来自己用，后边完善以后也会考虑是不是可以拿出来，给同行们一起来分享。
在风控方面我们也就做了差不多这个大数据方面做了一年吧，有很多还没有理解到位的地方，希望各位大咖们，有什么不当的之处指出来。
本文转自d1net（原创）
