岗位职责
1、数据管道开发：设计、开发和维护数据管道，以从各种来源提取、转换和加载（ETL）数据到我们在Amazon S3上的数据湖。
2、数据质量保证：实施数据验证和质量检查，以确保整个ETL过程中数据的准确性和一致性。
3、Amazon Athena专业知识：利用Amazon Athena对存储在Amazon S3中的数据进行特别查询和分析，优化查询性能和效率。
自动化：使用Apache Airflow开发和维护自动化工作流程，以安排和协调数据处理任务，确保及时可靠的数据交付。
4、Python编程：编写干净高效的Python代码，以支持数据转换、集成和数据工程任务。
5、数据架构：与高级数据工程师合作设计和发展数据架构，确保数据基础设施的可扩展性和性能。
岗位要求：
1、计算机科学、信息技术或相关专业学士学位。
2、对Amazon S3、Amazon Athena和Apache Airflow有很强的了解。
3、熟练使用Python编程进行数据操作和脚本编写。
4、对数据建模、SQL和数据库概念的基本理解。
5、出色的解决问题和故障排除技能。
6、较强的沟通和团队合作能力。
7、渴望学习和适应新技术和新工具。