1、大数据开发工程师
主要负责大数据技术开发,如编写离线处理程序、数据采集、数据ETL等。
2、大数据运维工程师
主要负责公司大数据平台的维护,如管理、监控Hadoop集群、监控运行状态等。
3、大数据架构师
主要负责公司大数据平台的设想,如技术选择和技术安装。
4、大数据分析师
结合行业经验,负责公司各业务单元的数据分析,如财务分析、生产分析、销售分析等。
5、大数据算法工程师
主要负责机器学习相关算法开发,如推荐系统算法开发。
6、大数据实时计算开发工程师
主要负责公司实时计算系统开发,如实时风控系统Flink开发,基于Spark Streaming的实时指标分析开发。
7、数据挖掘工程师
主要负责基于大数据平台的数据挖掘、特征提取、挖掘模型选择和评价。例如,用户肖像挖掘类型标签的开发。
8、BI开发工程师
主要工作是搭建公司的商业智能平台,包括各种数据可视化报告的制作,以及仪表盘大屏生产的ETL开发工程师。负责数据挖掘、数据清理及相关预处理。例如,从文本数据中清除一些非法数据。