大資料架構師的具體職責

　　大資料架構師負責公司大資料底層框架的整體架構設計，結合公司實際業務情況進行技術選型及大資料戰略規劃。下面是小編為您精心整理的。

　　1

　　職責：

　　1、負責企業大資料平臺的基礎建設、管理及制定拓展規劃;

　　2、負責大資料平臺相關自動化服務工具的設計、開發;

　　3、參與Hadoop、Hbase、Spark等核心平臺元件的開發、優化;

　　4、對平臺特殊場景化的資料應用制定相關實踐方案;

　　5、大資料團隊的搭建。

　　任職資格:

　　1、統招本科以上學歷，計算機等相關專業，5年以上工作經驗;

　　2、具有Hadoop等大規模叢集管理經驗、海量***PB***資料處理經驗;

　　3、精通Hadoop、Hive、Hbase等離線平臺相關元件的原理機制;

　　4、瞭解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分散式系統;

　　5、熟悉高併發、分散式開發等相關知識，具有後端服務優化相關經驗;

　　6、熟悉爬蟲常用框架以及反爬技術;

　　7、具有良好的溝通能力、分析問題與攻關問題的能力;

　　8、有責任心，工作積極，對新領域新技術有熱情。

　　2

　　職責：

　　負責大資料平臺架構的規劃和設計，主導系統的架構設計和核心模組開發，確保專案質量和關鍵效能指標達成;

　　負責大資料平臺技術框架的選型與技術難點攻關,指導開發大資料平臺的開發，保證大資料產品的上線執行;

　　負責深入理解業務需求，對業務建模，設計系統架構，滿足業務需求;

　　負責協助策略和演算法工作,保障資料探勘建模和工程化;

　　負責根據業務需求整合優化資料架構，保證產品的可靠性、穩定性;

　　負責指導開發人員完成資料模型規劃建設、分析模型構建及分析呈現;

　　負責研發技術發展方向，新技術領域的探索，將新技術應用到公司大資料平臺，提升公司效能

　　任職要求：

　　本科及以上學歷，擁有5年以上大資料平臺產品或分散式系統設計經驗,6年以上的開發經驗;

　　精通Hadoop，熟悉大資料生態技術，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等，有大規模叢集架構、開發及運維經驗;

　　熟練掌握java/Scala語言,實現面向物件開發思想OOA,OOD,OOP;

　　熟悉linux作業系統,熟練掌握指令碼言語Shell/Perl/Python等編碼語言;

　　熟練掌握資料倉庫設計，開發工作。能夠根據業務設計並開發資料倉。

　　具備原始碼級問題解決和叢集優化改造能力者優先;

　　能快速的學習新的開源框架和知識體系，並應用到現有架構體系中;

　　邏輯清晰，快速的學習能力，良好的溝通能力、團隊協調能力。

　　具備良好的團隊合作精神，較強的溝通交流能力，具備良好的技術領導能力;

　　具備良好的文件撰寫能力和技術團隊管理能力

　　3

　　職責：

　　1、負責大資料基礎平臺的整體規劃和架構設計，參與需求分析、技術決策以及詳細設計;

　　2、為現有大資料叢集Hadoop、hive平臺提供效能調優、架構優化重組，解決系統中的關鍵問題和技術難題;

　　3、把握基礎業務複雜系統的設計，確保系統的架構質量，編寫核心部分程式碼;

　　4、持續挑戰新的技術方向，攻克大資料量，高併發，穩定性等各種技術難點。

　　任職資格:

　　1、計算機或相關專業本科及以上學歷;

　　2、5年以上hadoop的應用開發經驗，5年以上資料倉庫開發實踐經驗，至少一個企業級資料倉庫專案開發經驗或者大資料處理專案經驗;

　　3、良好的程式設計開發能力，精通PHP及其他開發語言;

　　4、熟悉mysql等資料庫經驗，具備優秀的SQL編寫、調優能力;

　　5、熟練掌握Linux常規命令與工具，精通shell, perl, python等指令碼語言至少一種;

　　6、軟體基礎理論知識紮實，具有良好的資料結構、演算法功底;

　　7、對新技術敏感，學習能力強，樂於接受挑戰，具有良好的團隊合作精神;

　　4

　　職責：

　　1、資料分析軟體平臺架構搭建

　　2、負責深度學習核心框架或高效能後臺服務系統的架構設計工作，包括系統總體規劃、架構設計、系統分析、軟體實現、效能優化;

　　3、指導開發人員開發，並解決系統出現的問題，理解物業需求;

　　4、制定開發計劃和控制開發進度，負責指導研發團隊開展設計工作;

　　任職要求：

　　1、碩士以上，計算機或先關專業;

　　2、5年左右軟體開發經驗，含3年以上系統分析、設計經驗，有大型軟體專案大型軟體專案;有中大型網際網路企業資料庫架構設計及管理經驗，

　　3、 具備良好的元件級建模能力，熟悉HTTP、TCP等協議

　　4、熟練使用UML進行軟體架構設計，至少精通EA，RATIONAL， VISIO等一種設計工具.

　　5、精通至少一種程式語言，熟悉 Linux 相關技術，能獨立在上面進行開發、測試和部署

　　6、深入理解資料庫、資料倉庫、大資料、分散式體系架構和關鍵技術

　　5

　　職責：

　　1. 負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;

　　2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;

　　3. 制定專案/資料倉庫設計及實現規範，指導設計研發和部署;

　　4. 協助策略和演算法團隊工作，保障資料探勘建模和工程化;

　　5. 深入研究大資料相關技術和產品，跟進業界先進技術;

　　任職要求：

　　1. 全日制本科及以上學歷，5年以上軟體和分散式系統研發經驗，3年以上大資料系統架構經驗;

　　2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;

　　3. 具備良好的系統分析能力、故障診斷能力;

　　4 有大資料策略、演算法、視覺化經驗優先。