Resume

  1. 云栖社区>
  2. 博客>
  3. 正文

Resume

桃西子牛 2017-06-23 11:39:00 浏览563
展开阅读全文

个人信息

  • 牛慧升
  • 男/1993
  • 烟台大学--软件工程
  • 两年工作经验
  • 博客地址

    • 博客园博客地址:http://www.cnblogs.com/alvin-niu
    • CSDN博客地址:http://blog.csdn.net/alvin930403
    • Git地址:https://github.com/AlvinNiu
  • 联系方式

    • 18310110978
    • niuhuisheng2468@gmail.com
  • 意向

    • 地点:上海
    • 岗位:爬虫工程师

工作经历

  • 2015.10——至今
  • 亿海蓝(北京)数据技术股份公司
  • 数据爬虫工程师、.Net研发工程师

个人技能

  • 主要分为后端开发、前端开发、数据库开发
  • 后端开发

    • 熟练掌握 ASP.NET MVC开发技术。
    • 熟练掌握 .net Remoting wcf 等分布式开发技术。
    • 深入理解HTTP协议。
    • 熟练掌握 winform 桌面应用程序开发技术。
    • 熟练掌握 C# ,.net Framework 类库,多线程,正则表达式。
    • 熟练使用PhantomJS框架,并使用该框架对那些进行页面加密的网站进行采集。
    • 了解Entity Framework的用法,并在实际用在项目中。
    • 了解Java的语法,开发过Java web项目。
  • 前端开发

    • 熟练掌握html5,css,jquery 等语法。
    • 熟练掌握JQuery的用法。
    • 熟悉E-charts框架,使用该框架制作图表。
  • 数据库开发

    • 熟练掌握Sql语法的使用。
    • 熟练掌握 sql server ,mysql 等关系数据库的开发和管理。
    • 在开发中偶尔使用MongoDB数据库。

项目经验

  • 想要技术成长,必须经过项目的洗礼
  • 企业项目

    • 拖车互助网(20gp.cn)

      产品是深圳的分公司的产品,由北京开发及维护。
      该产品从开发到维护持续了近两年的时间,这个产品是实时的请求网站,并获取到相关的PDF文件。
      该产品从设计到管理是我负责的,最初经运营人员讲解业务需求,我来搭框架以及设计实现方式。
      该产品动用了4个人,其中有人负责前端开发,有人负责工具的开发,有人负责数据库的开发,我来负责数据采集以及协调大家,并为大家讲解技术上如何实现的需求。
      该产品涉及到了积分,在设计时要格外注意积分规则的设计,以及方便财务对账。
      该产品用到的技术:MVC4、Remoting、ClickOnce、正则表达式等。在该产品中使用了自己写的日志类。所有可能出现的网络错误及异常都会被捕获,并且记录在日志中。
      该产品中遇到的困难以及解决方法:
      1.别人使用了PDF控件,但是该控件要依赖于IE浏览器,并且控件的稳定性有待商榷。所以我们截获了该网站传输给该控件的内容,自己使用Itext技术写了PDF文件,只要得到的一模一样的文件即可。
      2.原网站使用初级验证码:使用OCR技术,破解验证码
      3.原网站使用有噪点与噪线的验证码:通过识别验证码,去噪。获取样本,只要成功率在80%以上则可使用。
      4.使用高级的验证码:使用人工打码技术。
      5.面对原网站的条形码,我们采取生成条形码技术翻译成C#语言。
      6.JS加密 ,解决办法,把原网站的JS加密程序下载下来,使用PhantomJS,获取到加密后的值。请求即可。
      7.封锁IP,原网站对IP地址进行封锁,使用代理池中的IP,随机请求。让他们封无可封。
      8.封锁账号,同一个账号请求太多。我采取多账号,多IP随机请求。
      9.原网站支付通道容易堵死。当我检测到支付通道堵死的时候,我会提示用户,暂时停止支付。待缓解之后,继续。
    • I跟踪(www.igenzong.com)

      采集所有船公司的网站,获取相关船公司的集装箱信息,以及船舶信息,把所有采集到的数据存储到数据库中。在请求数据库的时候,使用的是Entity FrameWork 框架
      其中涉及到使用WebRequest请求,使用正则表达式匹配到自己想要的数据。
      其中会遇到一系列困难,例如:登录验证、验证码、JS加密、封锁IP等等。这些措施都会被我一一解决掉。
    • 金科信港口信息接口(data.jkx.tuochebao.com)
      产品介绍:为金科信TMS提供港口信息的接口,该产品的从开始搭框架到开发均是我一个人。 使用技术:使用MVC4,框架 .NET Framework 4.5.2。随机代理采集数据,使用Remoting技术,使用网站直接调用服务的接口,使用服务保持回话。Web提供的接口,全是实时采集与实时提交信息,未与数据库打交道。如果出错,使用Log4net捕获。查日志即可。如果代理出错或者失效,会有代理平台记录。
    • OpenAIP(open.shipxy.com/Doc)
      产品介绍:为船讯网的APP与微信公众号,提供数据接口。 使用技术: 该产品使用的是MVC4,框架.NET Framework 4.0,直接使用ADO.NET 技术来访问数据库,在程序中直接写存储过程,事务来获取数据,以及对数据操作。 并未使用Entity FrameWork框架,由于该接口是为微信和APP,所以效率一定要高,使用这种反射,虽然能增加开发的效率,但是运行效率并不高。
    • 拖车宝(www.tuochebao.com)
      产品介绍:为拖车宝APP提供后台支持,提供接口。该产品的业务逻辑比较复杂,所以维护起来相当难。由于业务交错复杂,程序也跟着业务走,发生改动则需处处小心。 使用技术:MVC4、框架.NET Framework 4.0、使用Log4net记录日志、多线程编程。
    • 海洋气象数据采集
      产品介绍:海洋气象数据是为船讯网做服务的,由于采集的是全球的气象数据,所以数量非常大,并且对效率要求非常高。 使用技术: Windows Service、多线程编程、异步编程、MySql数据库、WebRequest,其中还涉及到,要与C++团队进行对接。 项目中涉及三个方面,采集数据、处理数据、存储数据。采集数据与存储数据比较慢,可以利用硬件的DMA 技术。使用异步请求。但是处理数据就必须使用多线程了,由于处理数据速度相对较快,本项目采取队列的方法,把采集到的数据放到队列中、处理数据处理之后,放入到另一个队列,等待存储数据的异步线程去使用。计算出相对合适的线程数,达到效率最高。

    • 爬地图

      采集地图上的船舶信息,随时跟踪船舶的位置。
      该项目从设计到开发只有我一个人负责。
      用到的技术:Windows Service、MySql、正则表达式。
  • 个人项目

    • 爬虫类库

      使用C#开发,WebRequest作为基础,把请求封装起来,用起来可以只传输一个地址,就可以获取到请求返回的内容。
      另外,开发者还可以自定义。该项目我已经开源,在GitHub上可以找到。
      地址:https://github.com/AlvinNiu/NewSpider
      
    • 代理池

      使用C#开发,通过获取网络上所有的免费代理,使用服务保持一个永远处于活跃状态的代理池,为了爬虫封IP所用。使用MySql数据库,具体实现方法,见面详细了解
      地址:

自我评价

爱讲道理的程序员

致谢

感谢看到最后,希望与您一起共事。

网友评论

登录后评论
0/500
评论
桃西子牛
+ 关注