岗位职责:
- 参与公司实时数据应用业务的落地;
- 负责实时数据的开发、维护及统一性建设;
- 负责标签系统、变量体系、知识图谱等系统的迭代.深入业务,为业务数据赋能;
- 参与公司实时数据体系建设,保障实时体系数据的准确性、一致性、稳定性;
任职要求:
- 了解流式计算和实时数据处理技术,如Flink、Storm、Spark等。能够设计和实现实时数据处理和流式计算流程。
- 能够对流式引擎进行深入优化和性能调优,解决生产环境中出现的各种性能问题,能够根据业务需求定制化开发相关组件。
- 对Hadoop集群的安全、稳定性、高可用性等方面有深入的了解和实践经验,能够应对大规模、高并发、复杂业务场景的需求。
- 能够对Spark进行深入优化和调优,解决Spark运行中的各种性能问题,熟悉Spark的高级特性,如Spark Streaming、Spark SQL等。
- 能够使用Flink进行高级的数据处理,包括窗口计算、状态管理、迭代计算等操作,能够优化Flink程序的性能,并能够进行故障排查和调试。
- 具备在高并发场景下搭建和维护OLAP系统的能力,能够进行系统性能调优,对于数据治理有一定的实践经验,能够解决常见的OLAP系统问题。
- 具备标签系统、特征系统、图计算的实际经验。