大資料架構師的主要職責說明

　　大資料架構師負責解決核心技術問題，對技術方案進行決策。下面是小編為您精心整理的。

　　1

　　職責：

　　1、負責公司大資料底層框架的整體架構設計，結合公司實際業務情況進行技術選型及大資料戰略規劃;

　　2、負責公司專案的整體評估、設計、架構及關鍵模組的開發;

　　3、負責架構優化，協助團隊解決開發過程中遇到的技術難題;

　　4、負責新技術的調研和大資料相關開源元件的研究，並能在團隊進行推廣應用;

　　5、參與資料分析、資料建模、專案核心模組及核心框架的開發;

　　6、負責大資料平臺的效能條有和問題診斷。

　　任職要求：

　　1、計算機相關專業，本科及以上學歷，3-5年以上工作經驗，2-3年大資料相關經驗;

　　2、具有紮實的大資料和資料倉庫理論功底，負責過大資料平臺或資料倉庫設計;

　　3、對基於Hadoop的大資料體系有深入的認識，具備相關產品***Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等***專案應用研發經驗，有Hadoop叢集搭建和管理經驗，度過Hadoop和Spark原始碼;

　　4、熟悉Linux和Python語言，瞭解Scala原理和底層技術;

　　5、熟悉分散式系統的架構及對其進行設計和優化，對海量資料的清晰、分析處理及儲存有相關的實戰經驗;

　　6、演算法基礎紮實，熟悉常見的資料結構，深入理解分散式演算法和以上提到的分散式系統，

　　7、必須有一線coding的能力;

　　8、有統計學、數學知識，海量資料處理、分析和挖掘，大型網際網路公司從業經歷著優先。

　　2

　　職責：

　　1. 負責大資料基礎和應用平臺的整體規劃和架構設計，參與需求分析，架構設計，詳細設計以及技術選型決策

　　2. 參與資料探勘和建模相關核心演算法的程式碼實現

　　3. 負責大資料演算法平臺的技術把關，效能調優，控制架構質量，解決專案技術難題;對研發專案和任務需求進行評估和方案設計、拆分任務並指導工程師完成開發

　　4. 帶領團隊提供並實現大資料演算法平臺上各項資料接入、資料探勘分析及資料視覺化的架構設計與能力，支援解決方案實施

　　5. 負責資料庫設計、應用架構設計、核心技術選型等工作

　　6. 協調解決開發中的技術問題、設計和監控運營指標，保障系統穩定執行

　　7. 培養，指導有能力的員工，指導工程師進行技術驗證實現，核心技術攻關，解決開發過程中的技術難題

　　任職要求：

　　1. 熟悉大資料和資料倉庫的系統架構設計方法

　　2. 熟練使用並理解HadoopSpark架構及生態。***Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等***

　　3. 熟悉分散式系統架構，有分散式實時、離線和機器學習平臺的架構和開發經驗，具備海量資料清洗、分析處理及儲存的實踐經驗

　　4. 熟練使用JAVA，具有大規模分散式系統調優經驗

　　5. 熟悉AI相關演算法，熟悉機器學習、深度學習。熟悉AI學習開源框架***Tensorflow、PyTorch等***者優先;

　　6. 具備良好的團隊合作精神，對工作充滿激情。

　　7. 熟悉FusionInsight平臺開發經驗者優先

　　3

　　職責：

　　***1*** 負責公司大資料平臺搭建，相關的設計和技術開發工作，負責大資料儲存系統、分散式計算系統、資料整合、挖掘演算法等的設計、研發以及維護、優化工作;

　　***2*** 通過資料分析技術，挖掘有利於營銷中各業務場景的變數或規則類標籤，以提升模型效果，為文旅、教育業務提供數學模型理論及程式設計支撐;

　　***3*** 對接溝通業務系統研發團隊和產品部門，提供資料驅動方面的專業諮詢方案，並對業務的大資料應用場景提出建設性意見;

　　***4*** 配合部門領導進行專案需求分析、設計開發工作。

　　任職要求：

　　***1*** 計算機、統計學，數學等相關專業本科以上學歷，5年以上大資料或文旅、教育資料產品設計開發經驗，高效高質量產出需求和技術文件;

　　***2*** 精通Hadoop，熟悉大資料生態技術，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大規模叢集架構、開發及運維經驗;熟悉HDFS/MapReduce等;

　　***3*** 熟悉Java，能夠獨立應用python、R、SAS或類似分析工具進行資料分析;

　　***4*** 熟悉大資料探勘、視覺化分析，各種BI演算法和產品等，在計算廣告、搜尋引擎、推薦系統、使用者畫像等有一個或多個演算法領域的研發經驗，能夠運用資料作為產品解決業務方運營及決策問題;

　　***5*** 有網際網路行業工作經驗者優先，有海量資料的機器學習演算法實踐經驗優先;

　　***6*** 工作認真、負責，有良好的團隊合作精神，良好的分析能力、溝通技巧。

　　4

　　職責：

　　1. 負責公司大資料平臺的設計和開發，負責spark, hadoop, flink等雲端計算平臺的開發和優化;制定資料架構規範，進行核心程式碼編寫，指導團隊落地;

　　2. 負責資料基礎架構和資料處理體系的升級和優化，技術難題攻關，持續提升核心系統性能，保證系統的安全、穩定、高效執行

　　3. 設計並實現對BI分析、資料產品開發、演算法開發的系統性支援

　　4. 研究未來資料模型和計算框架的創新與落地，包括但不限於以下領域：大規模資料實時化、研發模式敏捷化、資料計算框架輕量化、資料模型組織方式業務化等方面參與制定並實踐團隊的技術發展路線

　　5. 建立良好的公司內外的業界技術影響力;參與培養未來資料人才;有效輔導團隊，提升資料研發能力

　　任職要求：

　　1. 有很強的資料設計抽象能力，善於從複雜的資料問題中找到關鍵路徑，能夠開發創新而實際的分析方法以解決複雜的商業問題

　　2. 有作為技術負責人系統化解決問題的成功案例;有海量資料建模實踐經驗優先

　　3. 熟練掌握Hadoop、Spark、Flink、HBase的原理特性以及適用場景，精通流式計算開發，有開源二次開發經驗者優先，有NLP資料處理經驗者優先

　　4. 性格積極樂觀，誠信，能自我驅動，有較強的語言表達能力;具備強烈的進取心、求知慾及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力

　　5. 本科以上學歷，紮實的計算機專業基礎，有5年以上大資料平臺開發經驗;

　　5

　　職責：

　　1、負責大資料平臺的技術選型，基於Spark、Hadoop大資料平臺建設和開發;

　　2、完成包括資料模型設計、資料採集、資料儲存等方面的大資料系統架構的設計和資料層架構設計;

　　3、構建資料中臺，為多種行業應用提供主資料***畫像標籤/關係圖譜***、資料模型、人工智慧業務演算法及資料服務。

　　4、對海量資料處理的業務需求進行評估和方案設計、拆分任務並指導工程師完成開發;

　　5、帶領大資料技術團隊提供並實現大資料平臺上各項資料分析和資料視覺化的架構設計，支撐解決方案實施。

　　任職要求：

　　1、本科及以上學歷，具有5年及以上大資料架構設計和開發經驗;2年及以上帶領團隊經驗;溝通能力強。在大型網際網路企業從事大資料架構設計者優先考慮;有分散式大型商業軟體系統設計經驗、主導過大型商業軟體的架構設計並取得過市場商業成功者優先考慮;

　　2、熟悉整個大資料的完整處理流程，包括資料的採集、清洗、預處理、儲存、分析挖據、機器學習和資料視覺化;

　　3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流資料庫的使用，並能進行效能調優;

　　4、具備優秀的團隊意識和溝通能力，學習能力和主動性強，具有鑽研精神，充滿激情，樂於接受挑戰。