适合投递Etl数据工程师职位,有专业Etl数据工程师工作经历描述供参考,帮您制作专业Etl数据工程师简历
超级简历
188-8888-8888
success@jobmail.vip
工作经历
XXX有限公司
2018年05月
-
2019年11月
爬虫工程师
- 独自负责爬虫系统的迭代开发,维护,独自解决各种反爬策略,支撑业务各种爬虫需求,如 APP/PC/小程序数据抓取;
- 监控管理基于 aws 的分布式爬虫竞价集群,完成部分后端开发,竞品搜索引擎,算法模型落地;
- 负责爬虫开发,对目标网站的抓取,解决爬取过程中遇到的各种问题,如封 IP,JS 加密,验证码等等;
- 负责测试应用,对开发的应用进行功能测试,稳定性测试等工作,找出应用的 bug,以及提出相关优化方案;
XXX有限公司
2016年06月
-
2018年05月
爬虫工程师
- 负责研发高并发爬虫系统、爬虫管理后台,有多次项目的研发经验;
- 负责监控国内外医疗类网站新闻信息,定时更新,抽取新闻内容去重入库;
- 提供新闻搜索引擎,可搜索已入库新闻,对数据分析部门提供数据;
- 负责各网站数据的抓取,解析提取,去重,存储入库等工作,解决各种反爬问题,保证爬虫进度;
- 协助开发与维护公司的爬虫框架,寻求方案提升爬虫的执行效率,完善数据的检验规则;
教育经历
XX 大学
2012年09月
-
2016年06月
计算机科学与技术
本科
其他
- 语言: CET-4,掌握基本的听说读写能力;
- 技能: 精通Python,熟悉Java、分布式集群爬虫,及与爬虫相关的技能;精通Scrapy框架、喜欢专研Scrapy源码,追求高并发、高性能的分布式爬虫系统;熟练使用aws服务,如CloudWatch, SQS, Lambda, SNS, Kinesis等组件;熟练使用Appium进行 APP 数据抓取,以及手机群控技术;精通Fiddler,charles,mitmproxy等抓包工具,以及攻击,拦截,重定向等;有JavaScript反爬、验证码IP等常见反爬经验,对反反爬虫有自己的理解;数据库 方面 : 熟练使用MySql,Codis,MongDB,Elasticsearch以及HIVE, HBase;数据提取方面: 熟练使用Re, Xpath,Jsonpath及Css选择器;web方向:熟练使用Flask, Tornado,Django;了解Hadoop,PySpark等大数据组件;
项目经历
基于aws的可配置化分布式爬虫系统
2017年01月
-
2017年03月
- 该项目主要是 PC,H5,小程序等大规模数据抓取,数据源国内 OTA,实现 3 次/日 OTA价格抓取,3 小时/次 增量点评抓取;
- 负责参与爬虫系统的设计 | 搭建 | 维护,独自解决 OTA 反爬策略;
- 负责 NLP 情感分类模型、实体对齐模型在 aws 的落地,竞品搜索引擎开发,爬虫资源服务搭建(ip,验证码等);


















