大資料開發工程師崗位的主要職責概述

　　大資料開發工程師負責大資料平臺的技術和產品的設計、開發、優化和維護。以下是小編整理的。

　　1

　　職責：

　　1、 規劃及建設大資料平臺;

　　2、 負責大資料儲存系統、分散式計算系統、挖掘演算法等設計、研發以及維護、優化工作;

　　3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;

　　4、 參與專案的系統設計和核心程式碼開發，指導和培訓其他工程師;

　　5、 整理和提交技術文件，負責核心功能模組的程式碼編寫和測試工作。

　　崗位要求：

　　1、 計算機、統計學等相關專業本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通資料倉庫和資料探勘的相關技術，3年以上大資料開發相關經驗;

　　2、具有非常紮實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;

　　3、演算法基礎紮實，熟悉常見的資料結構，瞭解分散式演算法和分散式系統的技術原理;

　　4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流雲計算，大資料相關軟體有充分的瞭解，並且有實踐經驗，能解決應用中的複雜問題;

　　5、熟悉大資料處理相關技術，包括但不限於Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

　　6、研讀過Hadoop、Hbase、Hive原始碼者，能夠在特定業務中進行定製改造者優先;

　　7、具有海量資料處理、資料探勘、資料分析相關專案的工作經驗者優先。

　　2

　　職責：

　　1、參與大資料架構的規劃設計，參與業務建模及資料化運營平臺的搭建、運維，對業務流程與大資料的結合提出建議和解決方案;

　　2、完成基於大資料平臺的業務專案的開發、實施和維護工作;

　　3、負責解決大資料平臺建設過程中的技術難點和效能調優工作;

　　4、參與資料倉庫設計，根據業務需求實現高效率高靈活性的查詢，資料分析，資料探勘;

　　5、負責高吞吐高可用資料實時和離線採集，高併發的大資料業務架構設計

　　6、負責研發技術發展方向，新技術領域的探索，引入並驗證資料平臺領域新技術，提供系統效能

　　7、對大資料技術及開源框架充滿熱情，具有鑽研精神，能自我學習。

　　任職資格：

　　1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql資料庫。

　　2、具有2年以上的大資料開發經驗，熟悉大資料、資料倉庫，分散式架構技術理論，具有大資料整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大資料產品，有從無到有建設大資料平臺經驗者優先;

　　3、熟悉大資料元件的開發、搭建、維護以及效能優化;

　　4、較強的開發能力，必須熟練使用相關開發語言***Java/Python/Scala/Shell等***，熟悉大資料生態、關係資料庫和NOSQL資料庫、Linux等相關知識，能夠獨立完成並指導初級開發人員完成大資料相關的技術實現和調優;

　　5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等元件或技術，能閱讀原始碼跟蹤問題。

　　6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，並有實際專案開發經驗。

　　7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和元件，熟練應用開發，必須熟悉複雜資料查詢效能調優，包括實時查詢和離線批處理查詢，伺服器和生態元件的引數優化。

　　8、精通高階演算法並有與業務結合落地優先;

　　9、紮實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的資料設計抽象能力，善於從複雜的資料問題中找到關鍵路徑，並且擅於跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;

　　10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。

　　3

　　職責：

　　1、參與大規模資料快速查詢系統的架構設計和開發;

　　2、大規模資料探勘和機器學習演算法的實現;

　　3、線上和離線海量資料分析平臺的開發;

　　4、研究大資料前沿技術，提升系統的運維效率;

　　5、實現大資料基礎架構平臺的自動化運維。

　　【任職要求】：

　　1、計算機相關專業,具有3年以上大資料開發經驗，熟悉Java,Linux;

　　2、熟悉Hadoop大資料處理系統的開發,搭建及部署者優先

　　3、熟練地處理資料模型、資料ETL以及儲存管理;

　　4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程式開發者優先;

　　5、熟悉分散式系統概念、架構，有大規模分散式系統設計、實現、部署等經驗;

　　6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。

　　4

　　職責：

　　1、 負責大資料平臺架構的整體設計，承擔資料抽取、清洗、轉化等資料處理程式開發;

　　2、 為業務運營提供技術支援，完成應用系統的搭建、優化、升級工作，保證平臺穩定執行;

　　3、 編寫系統的需求分析、設計、開發和部署文件等。

　　崗位要求：

　　1、碩士及以上學歷，計算機、自動化、通訊等相關專業;

　　2、熟練掌握Java語言，並熟悉Python語言，熟悉分散式系統架構，有hadoop，spark系統架構經驗;

　　3、熟悉實時計算框架storm，flink，spark streaming其中之一;

　　4、熟練使用SQL，熟悉資料庫原理，熟練使用至少一種主流關係型資料庫;

　　5、熟悉軟體開發流程，能夠根據需求編寫需求、設計、開發手冊等專案過程文件;

　　6、具有良好的溝通能力和主動性，抗壓能力強。

　　5

　　職責：

　　1. 對資料進行結構化、標準化處理，對處理流程進行自動化搭建

　　2. 通過ETL/Cube資料建模，構建基於資料倉庫的分析工具;

　　3. 參與資料與公司軟體產品及第三軟體的API對接;

　　4. 搭建與優化，資料採集、處理、視覺化流程中所需的框架與模組開發;

　　5. 協同內外部力量完成需求的表達與技術攻關。

　　任職要求：

　　1. 熟悉資料庫的設計和開發如：Oracle/Mysql/MSSQL/Redis等，有處理大量資料經驗的優先;

　　3. 熟練使用ETL工具進行資料抽取，清洗，轉換，關聯等操作;

　　4. 熟練使用Linux作業系統,具備編寫shell的能力;

　　5. 熟練使用主流的開發框架，掌握以下語言：Java、Python;瞭解過原始碼的優先;

　　6. 具有2年以上資料倉庫***DW***、商務智慧***BI***、大資料等方面的軟體或專案開發經驗;

　　7. 瞭解視覺化及BI工具者優先;