以下是顶尖软件小编整理的关于"南京8年工作经验的大数据开发工程师提供人才驻场服务"的相关文章,致力于为IT行业提供专业人才派遣服务,我们的核心业务涵盖JAVA开发工程师、Web前端开发人员、.net开发专家、UI/UX设计师以及测试工程师等软件人才外包服务。目前,我们的业务网络已覆盖南京、上海、苏州、无锡、合肥、杭州、深圳、北京、武汉、厦门、西安、广州、成都、郑州等多个城市。。
资深大数据开发工程师提供现场开发服务
服务地区:南京
技术能力
熟练运用大数据主流框架,如Mapreduce、Hive、Impala、Kudu、Spark、Flume、Hbase、OOzie、Kafka、Redis、ELK等,进行数据开发
精通数据治理框架,如Ranger、Dolphinscheduler、Atlas、Griffin、Dremio等,包括功能开发
掌握WEB技术,如Springboot、Mybatis等,进行开发工作
熟悉数据同步工具,如Sqoop、DataX、StreamSets、Kettle等
具备搭建和部署CDH版本大数据集群的经验
项目经验
中科院自动化研究所数据中台项目
使用技术:Ranger、Dolphinscheduler、Atlas、Griffin、Dremio、Spark、Elasticsearch、SpringBoot、Mybatis
工作内容:负责数据权限管理、数据共享模块、数据资源监控管理的数据库设计和开发测试
一汽集团数据湖项目
使用技术:OGG、KAFKA、KUDU、HBASE、Kettle、Sqoop、Springboot、Mybatis
工作内容:完成业务数据的准实时同步,开发测试历史数据迁移、批量建表、导入Kudu表的功能程序
一汽集团车联网项目
使用技术:SparkSQL、SparkStreaming、Kafka、Hbase、Impala、Elasticsearch
工作内容:处理车辆实时位置数据,开发数据接口,实现车辆分析业务场景的数据接口,完成车联网数据跨集群迁移
一汽大众道路试验车项目
使用技术:Mapreduce、Hive、Oozie、Impala、Springboot、Mybatis
工作内容:开发MapReduce程序解析文本数据,使用OOZIE配置定时任务解析增量数据,整合HIVE进行快速查询
浦发大数据洞察平台项目
使用技术:Flink、Ignite、ELK、Spark、Hive、Impala
工作内容:参与搭建大数据洞察平台集群,支持银行原始数据向Hive数据仓库迁移,开发造数程序生成报文,配置上线交易码的mappingfile和parser文件,熟悉Flink、Ignite、Elasticsearch等框架的安装使用并记录文档。