大資料開發工程師崗位的職責描述

　　大資料開發工程師負責大資料體系架構設計和應用產品的研究。以下是小編整理的。

　　1

　　職責：

　　1、負責異構資料系統和大資料平臺的整合與融合;

　　2、負責資料探勘演算法的設計及對海量資料進行挖掘分析;

　　3、負責分散式資料倉庫平臺、海量資料批處理平臺、實時資料處理平臺等系統開發;

　　4、參與海量資料處理，業務資料體系的設計、資料統計、分析及資料建模;

　　5、參與資料平臺各系統的效能分析與系統優化，不斷提高系統執行效率;

　　6、完成領導交辦的其他任務。

　　任職資格：

　　1、計算機及其相關專業，大專及以上學歷。兩年以上大資料應用經驗;

　　2、具備實時處理框架的設計和開發能力，熟練掌握Storm、Spark streaming等大資料實時處理框架中的一種;

　　3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr等相關技術;

　　4、熟悉Scala、熟悉Linux開發環境，能進行shell指令碼的編寫;

　　5、具有較強的邏輯分析能力，高度的責任心及團隊合作精神;

　　6、具有實際大資料專案的成功經驗者優先考慮。

　　2

　　職責

　　1、參與大規模資料快速查詢系統的架構設計和開發;

　　2、大規模資料探勘和機器學習演算法的實現;

　　3、線上和離線海量資料分析平臺的開發;

　　4、研究大資料前沿技術，提升系統的運維效率;

　　5、實現大資料基礎架構平臺的自動化運維。

　　任職資格

　　1、計算機相關專業,具有3年以上大資料開發經驗，熟悉Java,Linux;

　　2、熟悉Hadoop大資料處理系統的開發,搭建及部署者優先;

　　3、熟練地處理資料模型、資料ETL以及儲存管理;

　　4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程式開發者優先;

　　5、熟悉分散式系統概念、架構，有大規模分散式系統設計、實現、部署等經驗;

　　6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。

　　3

　　職責：

　　1、參與南方電網軟體產品***專案***前/後臺服務開發，要求高效能、高可用、高併發;

　　2、獨立完成產品模組***專案***核心程式碼開發、業務程式碼開發、系統性能調優等工作;

　　3、根據分配任務制定開發計劃並按時完成相應模組的設計、開發和單元測試;

　　4、參與產品***專案***相關係統需求分析以及撰寫相關係統設計文件;

　　要求：

　　1. 五年左右大資料研發崗位工作經驗

　　2、豐富大資料開發經驗：熟悉企業大資料常用技術，熟悉Spark、Flume、Hbase、Hadoop、Kafka，ES技術;

　　3、具有大型應用系統開發經驗，具有分散式、高併發、高效能等架構經驗，具有一定團隊管理經驗者優先;

　　4、瞭解J2EE技術平臺及主流框架，具有SpingMVC、SpringBoot、Spring cloud、Mybatis、Redis等框架開發經驗;

　　5、瞭解HTML5,CSS3,JavaScript,Ajax,jQuery等Web前端技術，熟悉jQuery、Bootstrap、AngularJS，VUE等主流前端JS框架中的一種;

　　4

　　職責：

　　1、負責大資料ETL開發與維護;

　　2、負責大資料平臺數據庫的設計以及開發;

　　3、負責大資料計算框架的選型與計算流程的設計與開發;

　　4、負責資料服務的設計與開發。

　　任職資格：

　　1、本科及以上學歷;

　　2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分散式開源軟體，具備系統優化與效能調優能力者優先;

　　3、精通JAVA等面向物件程式設計，有分散式平行計算的開發經驗優先;

　　4、熟練掌握至少一種MySQL、SQL Server、Oracle等關係型資料庫或MongoDB、Redis等NoSQL資料庫 ,有hive等資料倉庫研發經驗優先;

　　5、熟悉大資料、雲端計算概念，瞭解Hadoop、Hive、Hbase等大資料主流技術及開源框架者優先;

　　6、自學能力強，溝通能力較好，有一定獨立分析，技術研究能力，具有良好的團隊合作精神;

　　7、資料意識強，有較好的文件編寫能力，以及踏實的工作作風。

　　5

　　職責

　　1、負責大資料分析平臺的建設，基於歷史和業務實時資料構建資料探勘模型;

　　2、根據需求設計和實現資料分析展示平臺;

　　3、負責建立、維護和改進大資料分析流程、規範、方法;

　　4、負責基於大資料的資料分析演算法研究，基於資料分析結果優化現有應用並探索新的應用。

　　任職要求：

　　1、本科及以上學歷，統計、數學、計算機或相關專業/方向，3年以上資料分析、資料探勘相關工作經驗;

　　2、精通MATLAB、Python等大資料涉及的語言和工具，並能熟練運用相關資料分析工具實現資料分析方法;

　　3、對機器學習、資料探勘演算法及其應用有比較全面的認識和理解，熟悉主流資料探勘框架;

　　4、熟悉分散式資料庫、資料倉庫和資料集市，熟悉資料庫相關操作和程式設計;

　　5、具有優秀的發現、分析並解決問題的能力，積極性高，具有嚴謹縝密的工作習慣、較強的溝通能力及團隊合作精神;

　　6、有旅遊行業資料分析與挖掘從業經驗者優先。有主導完成優秀應用、大型資料平臺專案、有資料探勘，演算法設計等開發經驗者優先。