大資料開發工程師的職責文字精選

　　大資料開發工程師需要處理公司大資料平臺產品的技術工作，包括儲存、處理、分析、挖掘、架構設計、研發工作。下面是小編整理的。

　　1

　　職責：

　　1、負責該領域的業務需求討論，完成技術方案及資料開發;

　　2、負責資料倉庫的體系建設及落地實現;

　　3、負責大資料平臺各類環境的部署及運維、並參與架構優化、效能優化等工作;

　　4、負責該領域所屬模組的程式碼開發、除錯與維護工作，並進行技術沉澱和文件輸出。

　　招聘要求：

　　1、計算機、電子通訊、自動化等專業，本科及以上學歷;

　　2、五年以上研發經驗，其中二年以上大資料開發的相關工作經驗;

　　3、熟練JAVA開發語言;熟悉微服務及Spring框架;

　　4、熟練熟練Hive、Impala、ES效能調優，關注細節，學習能力強;

　　5、能配合團隊完成該領域的工作，自我管理能力強，能承受工作中的各種壓力，具備很好的團隊意識

　　6、熟練主流大資料平臺產品部署及運維，如CDH、HDP平臺。

　　7、對機器學習和深度學習等方面有一定的瞭解;

　　8、有汽車製造業及相關行業的大資料開發經驗優先。

　　2

　　職責：

　　1、負責資料中心和大資料處理平臺的搭建

　　2、線上和離線海量資料分析平臺的開發;

　　3、研究大資料前沿技術，提升系統的運維效率;

　　4、參與大資料的採集、儲存、處理，分析等開發

　　5、參與資料探勘演算法的設計、對海量資料進行挖掘分析和發掘資料價值及演算法學習及實現

　　【任職要求】：

　　1、計算機或相關專業本科學歷及以上，2年工作經驗以上

　　2、熟悉Java/Scala等至少一門語言，能對分散式常用技術進行合理應用，解決實際架構問題

　　3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大資料開發元件

　　4、熟悉整個大資料的完整處理流程，包括資料的採集、清洗、儲存、分析和視覺化及報表開發;

　　5、熟悉分散式系統概念、架構，有大規模分散式系統設計、實現、部署等經驗;

　　6. 具有優秀的學習能力、獨立分析和解決問題能力，良好的團隊合作精神。

　　7. 有BI開發經驗的優化考慮。

　　3

　　職責：

　　1.結合專案或產品涉及的具體業務場景，對資料進行清洗、計算與加工;

　　2.思路清晰，可快速響應資料處理的需求，評估並給出合理的解決方案，並採用合理的方式處理需求;

　　3.積極主動，能夠與團隊成員進行有效溝通，並完成資料處理結果的核對與對接;

　　4.完成上級交辦的工作或任務。

　　崗位要求

　　1.計算機相關專業大專以上學歷;

　　2.2年以上大資料產品或專案開發經驗，精通Hadoop生態圈，熟練使用Spark，HBase、Hive、Kafka、Redis等;

　　3.精通SQL，熟練使用HSQL實現複雜資料處理邏輯，並具備資料處理調優的能力;

　　4.熟悉Linux開發環境，熟悉Linux的shell命令。

　　5.具有良好的邏輯思維能力和嚴謹的程式開發思想，具備獨立問題排查與處理的能力;

　　6.良好的團隊精神和合作意識，強烈的責任心，對工作有激情，良好的溝通能力，能吃苦耐勞;

　　7.有大資料專案或產品背景者優先;

　　8.有使用Spark SQL進行資料處理，並具有Spark SQL優化經驗者優先。

　　9.有Python或者Shell指令碼開發經驗優先

　　4

　　職責：

　　1、負責資料採集、資料儲存、資料查詢、資料計算等基礎平臺的設計和開發工作;

　　2、利用Hadoop、Spark、Flink等技術進行離線和實時資料開發 ;

　　3、負責大資料平臺的規劃升級、平臺維護和優化 ;

　　4、和其他部門或團隊溝通、資源協調並落實工作。

　　任職要求

　　1、本科及以上學歷;

　　2、3年以上大型大資料平臺建設實施經驗 ;

　　3、掌握常用大資料元件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和調優 ;

　　4、具備較強技術功底，精通Java、Scala、Python等至少一種開發語言，能根據需求給出技術架構 ;

　　5、有資料倉庫、元資料管理和治理的開發經驗優先 ;

　　6、善於溝通，思維活躍、責任感強、工作積極主動，有良好的團隊協作意識。

　　5

　　職責：

　　1、負責完成業務和產品的對接，支援業務需求研發;

　　2、負責完成產品的迭代升級以及底層架構的升級研發;

　　3、完成團隊安排的其他相關日常工作任職要求;

　　4、負責產品的實時業務和離線業務的研發;

　　5、支援開源大資料技術在資料系統中的使用，修復、優化增強大資料技術;

　　崗位要求：

　　1、具有分散式系統架構開發能力，熟練使用storm、spark hbase者優先。

　　2、能夠使用實時計算平臺，進行實時業務資料的研發。

　　3、能夠基於已有平臺進行離線業務的開發。

　　4、有大資料應用產品研發經驗，具有資料決策產品研發經驗者優先。