适合投递人工智能系统架构师职位,有专业人工智能系统架构师工作经历描述供参考,帮您制作专业人工智能系统架构师简历
超级简历
188-8888-8888
success@jobmail.vip
工作经历
XXX有限公司
2018年06月
-
2019年11月
爬虫架构师
- 主要负责公司业务数据的采集工作,图片验证码识别,分布式爬虫,和文本分块主题抽取,反爬虫技术,任务定义划分分配验证;
- 负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型;
- 负责海量数据的爬取、清洗、解析、入库,完成多平台信息爬取和页面内容的提取分析,破解各类反爬机制;
- 负责信息流通用爬虫系统核心模块和功能的设计、开发和调优, 提升信息流入库效率、稳定性、数据质量和自动化程度;
- 负责垂直 APP 的数据抓取和爬取链路优化,android app 反编译、脱壳、加密参数破解、抓取攻防等,提升抓取能力;
XXX有限公司
2014年06月
-
2018年06月
爬虫架构师
- 负责爬虫架构设计、核心功能开发及性能优化,独立提取结构化数据,清洗,去重,入库;
- 与技术团队进行沟通,与产品策划、大数据人员进行对接,有较好的团队合作精神;
- 负责对新入职成员进行相关的技术指导,培训新人熟悉公司项目的工作;
- 对部门项目所需的网络数据源进行运用爬虫技术抓取,按要求做前期的配置等准备工作;
- 完成检查网站抓取后是否有遗漏等工作,确保所负责的站点按周期采集及时、全面;
教育经历
XX 大学
2010年09月
-
2014年06月
计算机科学与技术
本科
其他
- 语言: CET-4,掌握基本的听说读写能力;
- 技能: 精通Python;熟悉Selenium、requests、Scarpy等爬虫库;熟悉Html、Css、Javascript网页开发技术,熟悉抓取原理;熟悉BeautifulSoup、正则表达式等数据抽取工具;熟悉MySql、Redis等数据库;熟悉Ubuntu、Centos等Linux操作系统,阿里云、百度云服务器部署项目经验;了解Flask,了解Solr;了解Anyproxy App抓包软件;
项目经历
八斗体育
2019年01月
-
2019年03月
- 负责抓取体育咨询和视频信息,去重清洗并结构化存储 mongdb,并发送 kafka 消息,进行新闻推送;
- 定时抓取直播信息,赛程概要、技术分析,提供视频直播,抓取的项目包括篮球、足球、网球、排球、桌球、跑步、赛车;
- 了解 gecco,并且修改框架逻辑,实现特定业务需求,分析抓取 ts 视频段,并且实现视频的拼接和格式转换,针对多网站抓取结构进行总结,实现统一的抓取逻辑;



















