大資料開發工程師崗位的基本職責

　　大資料開發工程師需要編寫產品研發相關任務單計劃，階段性程式碼、技術方案和軟體產品及時提交至配置管理理庫。以下是小編整理的。

　　1

　　職責:

　　1、負責大資料平臺的技術和產品的設計、開發、優化和維護;

　　2、負責大資料平臺設計文件編寫，線上產品的維護;

　　3、負責系統性能優化，解決各類潛在系統技術風險，保證系統的安全、穩定、快速執行;

　　4、負責整個產品平臺的搭建、多維資料庫建設及管控流程設計;

　　5、參與指標設計，資料建模，負責將資料模型在系統中實現;

　　6、負責資料抽取、資料交換、實時計算等框架研究及相關產品的研發;

　　7、負責追蹤整體產品過程及質量把控。

　　任職要求：

　　1、專業技能：精通 Hadoop 生態圈中的一項或幾項技術，深入瞭解 Hadoop 及相關元件的部署及調優;設計或開發過大容量，高效能，高可用，易擴充套件的分散式系統;熟悉實時計算/流式計算系統，至少熟悉一項 Nosql 技術;具有紮實 java 功底及開發能力;對 hadoop，hive，hbase，spark 等相關原始碼有一定了解;

　　2、學歷背景：計算機相關專業本科及以上學歷;

　　3、工作經驗：3年以上JAVA開發經驗及1年以上大資料研發經驗

　　4、能力素質：具有出色的抽象設計能力，思路清晰，善於思考，良好的團隊合作能力、溝通能力、較好的自學能力，具有敬崗愛業的精神。

　　5、有團隊管理經驗者優先。

　　2

　　職責：

　　1、負責大資料統計平臺建設與優化;

　　2、負責廣告效果分析，反作弊平臺建設;

　　3、負責移動廣告平臺相關係統的設計研發及持續優化。

　　職位要求：

　　1、計算機或相關專業本科學歷及以上，2年工作經驗;

　　2、精通大資料採集、處理、儲存、查詢相關技術;

　　3、熟悉Hadoop/Hbase/Hive/Spark/Storm/Kafka相關技術;

　　4、至少熟練掌握 Java/Scala/Python 中一門語言;

　　5、有做過大資料量查詢優化的優先;

　　6、有大資料服務運維、效能調優者優先;

　　7、熟悉常用的設計模式，對MVC框架有了解;

　　8、強烈的責任心，對技術充滿熱情，高效率，良好的溝通能力。

　　3

　　職責：

　　1.有獨立工作能力，工作踏實認真，以及較強的團隊協作精神。

　　2.負責日誌大資料平臺的搭建和規劃;

　　3.在總體架構設計下，完成日誌大資料產品的設計、搭建、維護和調優，技術文件的編寫與維護;

　　4.參與業務日誌的大資料分析;

　　5.及時反饋開發中遇到的難點問題，溝通並尋求解決方案，按階段有計劃地完成開發任務

　　任職資格:

　　1、計算機等相關專業本科以上學歷，2年以上開發經驗;

　　2、熟悉 linux 作業系統，熟悉 shell 指令碼語言，精通 Java，有較強的開發能力;

　　2、熟練使用SQL，熟悉Mysql、MongoDB、Hive等資料庫技術的基本操作及原理;

　　3、熟悉Hadoop/Spark生態系統元件的使用，至少有1年的Spark***Core/Streaming/SQL***開發經驗;

　　4、熟悉Elastic產品線***如 Elasticsearch、Kafka、Kibana、Logstash***的使用方法，瞭解常見優化方案，熟悉Elasticsearch部署、監控及效能調優;

　　5、熟悉資料探勘、機器學習、網路資料分析等技術優先;

　　4

　　職責：

　　1. 根據公司業務需求，進行資料開發及報表製作;

　　2. 參與BI、大資料平臺體系建設;

　　3. 文件整理，包括ER圖、原型設計、資料字典整理等;

　　崗位要求：

　　1. 本科或以上學歷，計算機相關專業，2年及以上工作經驗;

　　2. 熟練使用主流資料庫***如ORACLE/PostgreSQL/MYSQL等***，掌握SQL查詢優化方法;

　　3. 熟悉HADOOP生態，能夠熟練使用HIVE/HBASE/SPARK進行資料開發;

　　4. 掌握JAVA或PYTHON，會TABLEAU/KYLIN/帆軟等BI工具者優先;

　　5

　　職責：

　　1. 負責設計和實現手機衛士大資料BI平臺;

　　2. 不斷完善資料產品的架構設計，應用開發和新技術迭代;

　　3. 配合業務，產品，根據不同的業務需求，靈活快速地完成具有挑戰性的專案，為業務提供有價值的資料分析和預測。

　　任職要求

　　1. 計算機軟體相關專業本科及以上學歷，至少3年以上工作經驗;

　　2. 認可技術與平臺在BI的價值，能夠深入業務領域，通過使用資料分析和挖據技術，讓業務生成的海量資料產生更大價值。

　　3. 熟練掌握大資料技術：包括Hadoop，Spark，Storm，Hive，Presto，Parquet，Flink，Druid，OLAP, Elastic Search等等。

　　4. 具備良好的程式設計能力和程式碼風格，熟練掌握Java， Python等語言，熟練使用SQL，並具有較強的優化能力。

　　5. 需要有很強的開發和架構設計能力，特別是在大資料的分散式和實時處理領域，對儲存引擎和查詢引擎的原理和優化都具備比較深入的理解。

　　6. 有一定的資料探勘和機器學習演算法能力，包括推薦系統，深度學習等技術領域 。

　　7. 擁有正直、積極、寬容的品質，學習能力強，並且善於溝通合作。