岗位职责： 1.负责公司大数据平台建设，设计高可用，灵活可扩展的平台架构。 2.负责多数据源和异构数据的清洗，交换，同步系统开发。 3.负责大规模数据的批量处理，实时处理系统的开发。 4.负责设计，开发、优化数据接入，数据（数仓）存储，数据计算服务框架。 5.负责对业务的数据接口开发。 6.负责优化分布式框架，解决大并发下的各种问题。 7.有相关大数据中台开发经验，任务调度，数据治理，元数据，数据标准，资产管理，多租户等 任职要求： 1.有Hive，Clickhoue，Preto，Impala，Airflow，Kafka，Datax，Sqoop，Spark，Flink，Kylin，Dori等两种以上2年以上使用和优化经验； 2.精通Java，具备较强的分布式架构和研发实现能力； 3.熟悉分布式基本原理，对高可靠，高并发，高吞吐系统特性有一定理解； 4.参与或主导过大型数据平台建设项目，对大数据平台有一定的整体感知和把控能力； 符合以下条件优先1.有数据平台开发经验者优先2.有阅读过并了解任意大数据框架源码者优先。 所需技能： Spark、Kafka、Impala、Sqoop、Presto、Kylin、Flink、DataX