大資料運維工程師的崗位職責模板
大資料運維工程師需要負責銀行各類應用系統的運維標準制定和運維管理等工作。下面是小編為您精心整理的。
1
職責：
負責公司大資料業務叢集的運維工作、叢集容量規劃、擴容及效能優化;
設計實現大規模分散式叢集的運維、監控和管理平臺;
參與業務架構設計，在設計階段給出可運維性改進建議;
深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;
負責公司大資料平臺的應用監控、容量管理，應急響應等;
領導安排的其他工作。
任職要求：
1、本科及以上學歷，軟體工程、計算機等相關專業;
2、熟悉計算機原理、網路原理等知識;至少2年以上運維或開發工作經驗;
3、搭建，管理及調優Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源專案優先;
4、至少掌握java/python/go中的一種語言;
5、熟悉HBase/Flink/mysql/redis運維優先;
6、熟悉zabbix/graphit/grafana加分;
7、具有很強的分析和解決問題的能力;
8、具有攻克難題的強烈興趣，以及提升技術能力的意願;
9、善於主動學習，責任心強，能夠承受較大的工作壓力。
2
職責：
1. 負責公司核心叢集的運維工作,保證其高可用和穩定性。
2. 負責叢集容量規劃、擴容及叢集效能優化。
3. 深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的Hadoop運維技術及發展方向。
4. 設計實現分散式叢集的運維、監控和管理平臺。
職位要求：
1.2年以上中等規模叢集環境下的Hadoop/Impala/Hive/Spark叢集相關運維經驗。
2.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關引數調優, 效能優化等有實際經驗。
3.有實際踩坑經歷, 對於相關元件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗。
4.實際處理過各種叢集線上版本升級, 資料遷移, 叢集擴容, 穩定性監控等工作。
4.熟悉Kerberos安全認證系統，實施過叢集許可權管理, 資源隔離方面的方案規劃或二次開發工作。
5.有Cloudera的CM使用經驗尤佳。
3
職責：
1.負責公司大資料業務叢集的運維工作***Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等***確保高可用;
2.負責大資料平臺的日常部署、升級、擴容、遷移;
3.設計實現大規模分散式叢集的運維、監控和管理平臺;
4.參與業務架構設計，在設計階段給出可運維性改進建議;
5.深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;
6.兼顧應用系統的運維工作。
任職要求：
1.要求掌握java、shell語言，有Spring Cloud微服務架構開發經驗的優先;
2.瞭解Docker，可以做簡單應用;
3.熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源專案優先;
4.熟悉Linux作業系統的配置、管理及優化，能夠獨立排查及解決作業系統層面的問題;
5.掌握puppet、kerberos應用的優先;
6.良好的客戶服務意識，強烈的責任心和使命感，執行力強，富有團隊合作精神;
7.對大資料方向運維有很高的熱情和興趣，能主動學習瞭解相關知識;
4
職責：
1、負責公司伺服器日常的維護，包括巡檢、故障排除、資料備份等業務，保證伺服器高質量、高效率執行狀態;
2、負責公司大資料產品的現場實施，制定可靠的實施方案;
3、負責公司大資料環境***hadoop生態***叢集環境安裝、維護、部署、優化;
【任職資格】
1、至少2年伺服器、大資料叢集運維經驗;
2、精通linux運維命令，熟悉Linux的維護和管理，熟悉Shell指令碼開發，能看懂Python/Scala優先;
3、熟悉大資料專案實施：包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大資料生態的平臺搭建，監控，運維，調優、生產環境;
4、熟悉docker技術優先;
5、熟練使用git版本控制，jenkins持續整合工具優先;
6、具備強烈的進取心、自我學習能力,良好的溝通能力和團隊合作意識。
5
職責：
1、負責公司大資料平臺的部署、管理、優化、監控報警，保障平臺服務7*24穩定可靠高效執行;
2、深入理解公司大資料平臺架構，發現並解決效能瓶頸，支撐業務和資料量的快速增長;
3、開發大資料自動化運維、監控報警、故障處理相關指令碼和工具;
4、負責Hadoop/spark/Mysql等叢集服務、業務監控、持續交付、應急響應、容量規劃等。
任職要求：
1、3年以上網際網路運維相關工作經驗，2年以上大資料平臺運維相關工作經驗;
2、具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上指令碼語言***shell/python等***，熟悉Http/Https、TCP/IP、SMTP等協議;
3、熟悉Hadoop大資料生態圈，包括但不限於CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;
4、熟悉Hadoop各元件的原理和實現，有實際部署維護、管理*** 包括元資料管理***及優化經驗。並擁有持續調優能力，運維管理過大規模資料平臺;
5、熟悉 Kubernetes***K8s*** 叢集 Docker 在大資料環境場景的使用;
6、熟悉Linux***redhat/centos***軟硬體環境、系統管理和優化，熟練部署、優化各種常用服務
7、有Java開發經驗和閱讀原始碼能力者優先。