工作职责：
1.参与蛋白质或NLP大语言模型预训练的相关研发和优化，包括预训练大模型方案实现、改进、调优；
2.针对下游生物领域的任务，包括符蛋白质、复合物折叠，蛋白稳定性等任务进行fine-tuning，跑出SOTA水平；
3.维护千亿语言模型持续训练和微调，应对超大规模语言模型出现的计算不稳定性问题，保障计算效率以及计算资源利用率；
4.对预训练大模型训练/评测数据进行分析、整理、优化；
职位要求：
1.熟悉生成式和理解式的各类语言模型架构，深入理解Transformer等变体以及算子，并能够对其改进，同时优化模型健康度；
2.熟悉NLP 、CV、生物计算中的下游和评测任务，对任务和模型能力有一定的理解，能够运用大模型优化任务；
3.有在千卡集群上训练过百亿级以上的稠密Transformer模型者优先；
4.熟悉以下一项或多项技术框架或模型优先: GLM, Megatron, DeepSpeed, ESM2, PEFT, OpenFold;
5.在自然语言处理或机器学习顶会（ACL，EMNLP，NAACL，ICML，NeurIPS, ICLR) 或有丰富的刷榜经验者优先；
6.同时具备大模型任务调优经验和大模型HPC经验者优先；