工作职责:
岗位职责:
1.负责DATAMAX数据集成平台产品工作,包括数据采集、数据计算、数据建模、数据治理、数据运维。
2.负责DATAMAX产品离线、实时数据模型包括ods、dwd、dws的设计和实现,数据监控以及相关问题的解决。
3.负责数据质量问题的分析、跟进、解决;
4.针对AI模型训练需求,优化ETL流程,增加AI预处理环节,提升数据对模型训练的适配性。
5.充分理解业务数据需求,提供数据建模、清洗、聚合等解决方案,基于业务目标设计“数据+算力+AI”联合解决方案。
任职资格:
任职要求:
1.计算机、大数据等相关专业本科以上学历,3年以上持续的数据仓库开发工作经验,包含1年以上实时数仓开发经验
2.大数据生态:精通Hadoop、Spark、Hive、HBase、Flink等框架,理解其底层原理;熟悉分布式计算、存储原理,掌握分布式算力与存储的协同优化方法。
3.熟悉MySQL、PostgreSql、Redis、Clickhouse、Doris等数据库。
4.了解大模型AI的训练与推理流程。