Junior Data Sourcing Engineer 初级爬虫工程师
8000-12000/天
Junior Data Sourcing Engineer 初级爬虫工程师 8000-12000/天
上海
本科
0
发布于 6月27日
职位描述
PythonGoSQLMySQLNoSQLGIT人工智能管理系统
关于我们 Dashmote是一家专注于由人工智能技术驱动的下一代数据产品的创业公司,在阿姆斯特丹(总部)和上海设有办事处。我们通过解码地点的数字足迹来连接线下和线上世界,使我们的企业客户能够了解市场并做出更明智的决定。拥有约60名员工的Dashmote在未来几年有雄心勃勃的计划,因此我们需要确保我们有合适的人将这些计划付诸实施。你想通过为Dashmote的核心产品(被一些最大的财富500强公司使用)做出贡献来提升你的职业生涯吗?那么我们正在寻找你。 岗位职责 1. 负责scrapy爬虫项目的运维工作,以及数据的清洗提取工作。 2. 根据任务需求,开发网页端或App端的数据爬取工作。 3. 在保证质量的情况下可以成功交付数据。 4. 可以独立解决开发中碰到的问题,并具备良好的沟通能力。 岗位要求 1. 计算机科学,工程或相关学科本科及以上学历; 2. 熟悉Python;具有SQL和NoSQL技术的经验优先; 3. 熟悉网络抓取原理、HTTP协议,了解常见的反爬虫原理; 4. 熟练使用requests, Scrapy, BS4, xpath, regex等工具进行数据抓取; 5. 熟悉数据清洗,能够利用Pandas进行数据处理; 6. 了解版本控制工具(例如git), 数据库管理系统(Mysql); 7. 英文熟练者优先; 8. 熟悉手机App端数据抓取优先; 9. 愿意学习和在短时间内掌握新的技能和方法;擅长团队合作。   我们的优势 - 在一支国际化的年轻团队中工作与成长; - 我们曾被Google,麦肯锡和Rocket Internet授予欧洲最佳B2B创业公司; - 轻松自由的工作氛围,互帮互助的工作团队和不加班的弹性工作模式; - 各种有趣的团队活动,吃不完的零食喝不完的饮料; - 办公地址位于上海市中心(曹杨路地铁站附近),生活便利。
工作地址
上海市/上海市/普陀区 近铁云中心 曹杨路619号(曹杨路地铁站4号口步行60米)