大資料架構師的職責

　　大資料架構師負責大資料倉庫、資料集市的規劃及實現，負責大資料中臺的設計和核心開發工作。下面是小編為您精心整理的。

　　1

　　職責：

　　1、負責大資料基礎平臺、海量資料儲存處理分散式平臺、資料分析系統架構設計和研發;

　　2、負責實時計算平臺基礎架構設計、部署、監控、優化升級;

　　3、制定專案資料倉庫設計及實現規範，指導設計研發和部署;

　　4、協助策略和演算法團隊工作，保障資料探勘建模和工程化;

　　5、深入研究大資料相關技術和產品，跟進業界先進技術。

　　任職要求：

　　1、3年以上大資料系統架構經驗;

　　2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術及其生態圈;

　　3、具備Java Scala Python等開發經驗，熟悉資料探勘和分析的策略與演算法;

　　4、精通資料抽取，海量資料傳輸，資料清洗的常用方法和工具。

　　5、具備良好的系統分析能力、故障診斷能力;

　　6、有大資料策略、演算法、視覺化經驗優先;

　　7、有在華為雲端儲存產品和大資料產品的開發使用經驗優先。

　　2

　　職責：

　　1、負責公司的大資料平臺的數倉架構、系統架構設計;

　　2、負責帶領團隊完成輿情分析相關的挖掘方案設計;

　　3、負責大資料研發組團隊管理;

　　4、負責帶領團隊完成輿情平臺的方案文件撰寫、迭代開發;

　　5、負責研發規範制定，研究行業前沿技術;

　　6、參與產品規劃及設計討論。

　　任職要求：

　　1、本科五年工作經驗及以上，有至少五年的大資料技術實踐經驗，有NLP或AI相關經驗;

　　2、有很強的架構設計能力和良好的表達能力;

　　3、有一定的專案管理及團隊管理能力;

　　4、精通Hadoop、Spark生態圈中的常用元件原理及應用;

　　6、理解媒體業務，精通資料倉庫的規劃和設計;

　　5、精通掌握Java或Python程式設計，有效能調優能力;

　　4、熟悉NLP演算法原理及應用;

　　6、對新生事物或者新技術有濃厚興趣，學習能力強。

　　3

　　職責

　　1、參與打造資料中內容的規劃、設計、開發和優化工作，實現高質量資料的互通與共享;

　　2、參與資料模型體系構建及資料主題設計和開發，搭建離線、實時資料公共層;

　　3、參與資料產品與應用的資料研發，發掘資料商業價值，打造極致體驗的資料產品;

　　4、深入理解資料產品的使用場景，為業務方在可用性、成本上做更好的設計做參考;

　　5、團隊成員的搭建與培養，任務劃分，進度監控，程式碼規範，質量保證。

　　任職要求

　　1、熟悉資料倉庫建模理論，3年以上相關領域實踐經驗;

　　2、Hadoop、Hive、Hbase、Storm、Spark等技術框架;

　　3、精通Java、Python、Scala、go等開發語言中的1到2種;

　　4、熟練使用Python/Java/scala或其他語言進行復雜業務邏輯的資料處理工作，具備海量資料處理以及效能優化的能力;

　　5、對MySQL、Redis、HBase等資料庫有一定的瞭解和使用經驗;

　　6、對olap，多維分析及kylin熟悉的更好;

　　7、思路清晰，具備良好的溝通能力和理解能力，較強的學習能力以及快速解決問題的能力;

　　8、對新技術，新事物有很好的探索和求知慾;

　　9、熟悉常規的機器學習演算法：降維***PCA、SVD***、SVM、邏輯迴歸***LogisticsRegression***、決策樹***GBDT、RandomForest***、關聯規則***Apriori、FP-Growth***、聚類***K-Means***等優先。

　　4

　　職責

　　1、負責公司大資料平臺的整體架構設計，包含資料收集、資料儲存、資料探勘、資料輸出;

　　2、負責規劃從資料來源到資料應用的整體流程，並參與使用者產品和資料產品的決策;

　　3、負責海量資料分析、使用者行為分析，構建使用者資料模型;

　　4、負責解決核心技術問題，對技術方案進行決策;

　　5、技術團隊管理。

　　6、熟悉手機IOS、安卓系統APP開發

　　任職資格

　　1、計算機相關專業畢業，本科以上學歷;

　　2、5年以上相關工作經驗，具備軟體產品架構設計經驗，熟練掌握高效能、高擴充套件性架構設計方法;

　　3、熟練掌握java或c++任意一門語言、熟悉linux作業系統;

　　4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大資料技術，並能夠基於上述專案開發大資料相關應用;

　　5、熟悉基本資料探勘方法和技術;

　　6、強烈的敬業精神，良好的溝通與協調能力，能有效組織協調團隊完成各類開發工作;

　　7、熱愛技術，相信資料的價值，對大資料有深刻的理解。

　　5

　　職責：

　　1、負責規劃科技大資料平臺及科技資料入庫自動化的方案設計;

　　2、負責大資料平臺的開發和維護，以及對外服務介面的開發;

　　3、負責大資料平臺的優化和改進工作。

　　任職要求

　　1、計算機相關專業本科及以上學歷，5年以上開發經驗，其中3年以上為網際網路、大資料相關的開發經驗;

　　2、熟知Hadoop生態圈體系，精通Hadoop/Spark/Storm/Kafka中的一項或幾項，深刻理解MapReduce的執行原理和機制，有MPI經驗者尚佳;

　　3、熟悉Elasticsearch、Redis、Hbased等相關資料庫的構建和操作，尤其是資料庫叢集的構建和操作，熟悉Neo4j者尚佳;

　　4、具有機器學習相關專案經驗者優先。