大數(shù)據(jù)分析高級(jí)工程師培訓(xùn)班（上海，7月11-13日）

【舉辦單位】北京曼頓培訓(xùn)網(wǎng)  www.mdpxb.com   中國(guó)培訓(xùn)資訊網(wǎng)  www.e71edu.com

【培訓(xùn)日期】2014年7月25-26日

【培訓(xùn)地點(diǎn)】上海

【培訓(xùn)對(duì)象】IT公司數(shù)據(jù)分析師、數(shù)據(jù)中心架構(gòu)師、商業(yè)智能分析師、研發(fā)負(fù)責(zé)人、研發(fā)工程師、各地政府云計(jì)算、物聯(lián)網(wǎng)產(chǎn)業(yè)負(fù)責(zé)人，CIO、信息中心、技術(shù)總監(jiān)，云計(jì)算產(chǎn)業(yè)投資團(tuán)隊(duì)，云計(jì)算應(yīng)用開(kāi)發(fā)商，云計(jì)算硬件設(shè)備、運(yùn)營(yíng)服務(wù)提供商，高校、科研院所云計(jì)算項(xiàng)目負(fù)責(zé)人。高級(jí)開(kāi)發(fā)工程師、設(shè)計(jì)師、架構(gòu)師、系統(tǒng)管理員、開(kāi)發(fā)經(jīng)理、測(cè)試經(jīng)理、產(chǎn)品經(jīng)理、項(xiàng)目經(jīng)理等。

 培訓(xùn)證書：工業(yè)和信息化部人才交流中心頒發(fā)的《工業(yè)和信息化領(lǐng)域急需緊缺人才》大數(shù)據(jù)分析高級(jí)工程師證書。證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。

【課程背景】

   　我培訓(xùn)中心在人力資源和社會(huì)保障部、工業(yè)和信息化部聯(lián)合支持下，服務(wù)中國(guó)IT，創(chuàng)新企業(yè)未來(lái)。為深入實(shí)施人才強(qiáng)國(guó)戰(zhàn)略，進(jìn)一步加快急需緊缺人才隊(duì)伍建設(shè)，推動(dòng)人才培養(yǎng)工作更好地為經(jīng)濟(jì)社會(huì)發(fā)展服務(wù)，根據(jù)《國(guó)家中長(zhǎng)期人才發(fā)展規(guī)劃綱要（2010-2020年）》和《專業(yè)技術(shù)人才知識(shí)更新工程實(shí)施方案（2010-2020年）》要求，我中心以新型工業(yè)化發(fā)展和信息化建設(shè)所涉及的經(jīng)濟(jì)領(lǐng)域?yàn)橹攸c(diǎn)，緊緊圍繞構(gòu)建和諧社會(huì)和“調(diào)結(jié)構(gòu)、轉(zhuǎn)方式、促發(fā)展”的中心任務(wù)。為響應(yīng)工業(yè)和信息化部2012年正式啟動(dòng)“工業(yè)和信息化領(lǐng)域急需緊缺人才培養(yǎng)工程”。云計(jì)算作為戰(zhàn)略重點(diǎn)項(xiàng)目新興產(chǎn)業(yè)，政府和業(yè)界都表現(xiàn)出了極大的熱情。

　　　隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)技術(shù)將具有越來(lái)越重要的戰(zhàn)略意義。大數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)要素，人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一輪生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。大數(shù)據(jù)分析技術(shù)將幫助企業(yè)用戶在合理時(shí)間內(nèi)攫取、管理、處理、整理海量數(shù)據(jù)，為企業(yè)經(jīng)營(yíng)決策提供積極的幫助。大數(shù)據(jù)分析作為數(shù)據(jù)存儲(chǔ)和挖掘分析的前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等戰(zhàn)略性新興產(chǎn)業(yè)。雖然大數(shù)據(jù)目前在國(guó)內(nèi)還處于初級(jí)階段，但是其商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來(lái)。為加強(qiáng)大數(shù)據(jù)分析創(chuàng)新發(fā)展頂層設(shè)計(jì)和科學(xué)布局，推動(dòng)相關(guān)人員更好理解和掌握大數(shù)據(jù)分析的關(guān)鍵技術(shù)原理、未來(lái)發(fā)展方向，為此培養(yǎng)大數(shù)據(jù)分析高級(jí)工程師�，F(xiàn)將相關(guān)事宜通知如下：

【課程收益】

    使參訓(xùn)人員了解用戶體驗(yàn)設(shè)計(jì)全套流程與方法，通過(guò)案例學(xué)習(xí)相關(guān)工具，認(rèn)識(shí)到用戶體驗(yàn)設(shè)計(jì)在產(chǎn)品中的重要性，了解UI設(shè)計(jì)的基本理念與實(shí)踐方法，并能夠通過(guò)流程的規(guī)范化來(lái)控制設(shè)計(jì)的過(guò)程與質(zhì)量，設(shè)計(jì)出讓客戶滿意和用戶喜愛(ài)的產(chǎn)品。

【課程大綱】

■Hadoop和傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)優(yōu)劣勢(shì)對(duì)比

■Hadoop/Hive 對(duì)比 Oracle 在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)上的優(yōu)劣勢(shì)

■Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來(lái)不可能的任務(wù)

■Hadoop版本講解及Hadoop新舊版本使用對(duì)比

■Apache社區(qū)版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本

■Hadoop的來(lái)源和動(dòng)機(jī)

■傳統(tǒng)大規(guī)模系統(tǒng)存在的問(wèn)題 

■Hadoop概述 

■Hadoop分布式文件系統(tǒng)      

■MapReduce工作原理         

■Hadoop集群剖析            

■Hadoop生態(tài)系統(tǒng)對(duì)一種新的解決方案的需求

■Hadoop的行業(yè)應(yīng)用案例分析

■Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系

■非結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用

■某銀行數(shù)據(jù)統(tǒng)一處理平臺(tái)，通過(guò)Hadoop進(jìn)行系統(tǒng)優(yōu)化

■某電信運(yùn)營(yíng)商用戶行為分析系統(tǒng)某電力行業(yè)數(shù)據(jù)采集大數(shù)據(jù)分析案例

■聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問(wèn)題。

■Hadoop生態(tài)系統(tǒng)介紹和演示

■Hadoop HDFS 和 MapReduce 

■Hadoop數(shù)據(jù)庫(kù)之HBase 

■HBase架構(gòu)及如何應(yīng)用與編程開(kāi)發(fā)相結(jié)合

■Hadoop數(shù)據(jù)倉(cāng)庫(kù)之Hive

■Hive架構(gòu)及如何應(yīng)用與編程開(kāi)發(fā)相結(jié)合

■Hadoop數(shù)據(jù)處理腳本Pig 

■Pig架構(gòu)及如何應(yīng)用與編程開(kāi)發(fā)相結(jié)合

■Hadoop數(shù)據(jù)接口Sqoop和Flume 

■Sqoop和Flume架構(gòu)及如何應(yīng)用與編程開(kāi)發(fā)相結(jié)合

■Hadoop工作流引擎 Oozie

■Oozie架構(gòu)及如何應(yīng)用與編程開(kāi)發(fā)相結(jié)合

■Hadoop生態(tài)系統(tǒng)各模塊應(yīng)用與編程開(kāi)發(fā)相結(jié)合

■案例及實(shí)驗(yàn)

■某銀行如何使用Hadoop統(tǒng)一數(shù)據(jù)平臺(tái)

■手機(jī)上網(wǎng)日志分析

■移動(dòng)GPRS上網(wǎng)日志查詢系統(tǒng)

■國(guó)家電網(wǎng)城區(qū)用電量分析

■聯(lián)通不良信息檢測(cè)系統(tǒng)

■電廠海量數(shù)據(jù)監(jiān)控分析系統(tǒng)

■某銀行數(shù)據(jù)統(tǒng)一處理平臺(tái)

■海量指紋比對(duì)系統(tǒng)

■Hadoop集群調(diào)優(yōu)

■選擇適合hadoop的硬件配置

■Hadoop配置項(xiàng)優(yōu)化

■Hadoop配置優(yōu)化 - core-site.xml

■Hadoop配置優(yōu)化 - hdfs-site.xml

■Hadoop配置優(yōu)化 - mapred-site.xml

■Hadoop配置優(yōu)化 - 機(jī)架感知

■Linux操作系統(tǒng)優(yōu)化

■其他配置和參數(shù)調(diào)優(yōu)

■網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu)

■系統(tǒng)參數(shù)調(diào)優(yōu)

■配置文件管理

■嚴(yán)格控制root權(quán)限

■Java的GC模式

■選擇正確的JDK

■hadoop作業(yè)調(diào)優(yōu)

■Map side tuning設(shè)置

■Map side設(shè)置

■Hadoop硬件優(yōu)化

■不是所有的硬件都合適拿來(lái)直接使用

■安裝調(diào)優(yōu)的步服務(wù)器硬件的選型的竅門

■如何選擇適合業(yè)務(wù)使用的CPU

■內(nèi)存越大越好嗎？設(shè)置合理的的內(nèi)存配置

■連接網(wǎng)絡(luò)的選擇和優(yōu)化

■高速硬盤的選擇注意事項(xiàng)

■硬盤為什么不做raid？

■設(shè)置網(wǎng)絡(luò)的注意事項(xiàng)

■中間結(jié)果壓縮對(duì)磁盤和網(wǎng)絡(luò)的優(yōu)化

■機(jī)架感知，網(wǎng)絡(luò)和磁盤IO優(yōu)化作用，確定存儲(chǔ)的具體位置，

■內(nèi)存參數(shù)，map/reduce槽位數(shù)的計(jì)算方法。

■對(duì)磁盤和網(wǎng)絡(luò)的優(yōu)化

■Java工具使用，jstack使用

■Sun和open之間的區(qū)別，JIT編譯器的使用

■inux系統(tǒng)參數(shù)調(diào)優(yōu)

■Linux監(jiān)控系統(tǒng)的使用

■cacti,

■ganglia

■常用的linux排錯(cuò)工具lsof,strace,iostat,vmstat,netstat...

■常見(jiàn)異�，F(xiàn)象級(jí)處理方法

■網(wǎng)卡流量導(dǎo)致連接失敗                 

■權(quán)限錯(cuò)誤

■主機(jī)名IP轉(zhuǎn)換錯(cuò)誤                    

■NN與DN namespaceID不一致

■磁盤滿導(dǎo)致報(bào)錯(cuò)                       

■Jave heap size OOM

■HDFS高級(jí)程序?qū)崙?zhàn)演練

■HDFS實(shí)戰(zhàn)-命令行等使用                

■HDFS命令行工具 

■啟動(dòng)、停止HDFS服務(wù)                  

■如何查看HDFS日志 

■如何查看HDFS Web控制臺(tái)              

■HDFS參數(shù)配置 

■案例及實(shí)驗(yàn)        

■HDFS實(shí)戰(zhàn)-Java API使用                  

■Eclipse 開(kāi)發(fā)環(huán)境介紹

■HDFS 開(kāi)發(fā)基本步驟        

■HDFS Java API詳解

■Configuration                           

■Path

■FileSystem                              

■Stream、IOUtils

■Hadoop HDFS HA方案介紹

■Hadoop 1.0 系 HA的一些辦法

■Hadoop 2.0 介紹

■MapReduce高級(jí)程序?qū)崙?zhàn)演練　　

■使用 Hadoop MapReduce Streaming 編程      

■MapReduce的優(yōu)化

■MapReduce的任務(wù)調(diào)度

■MapReduce編程實(shí)戰(zhàn) 

■滿足解決實(shí)際數(shù)據(jù)分析問(wèn)題的高級(jí)Hadoop API

■MapReduce流程  

■剖析一個(gè)MapReduce程序 

■基本MapReduceAPI 概念  

■驅(qū)動(dòng)代碼 Mapper、Reducer    Hadoop流 

■API 使用Eclipse進(jìn)行快速開(kāi)發(fā)               

■新MapReduce API 

■案例及實(shí)驗(yàn)

■Hadoop Streaming 和 Java MapReduce Api 差異。

■MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能

■利用Combiners來(lái)減少中間數(shù)據(jù)

■編寫Partitioner來(lái)優(yōu)化負(fù)載平衡

■直接訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS）

■Hadoop的join操作

■輔助排序在Reducer方的合并

■定制Writables和WritableComparables 

■使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù) 

■創(chuàng)建InputFormats OutputFormats

■Hadoop的二次排序

■Hadoop的海量日志分析

■在Map方的合并  

■Hadoop SQL 接口Hive

■Hive基礎(chǔ)                               

■Hive的作用和原理說(shuō)明

■Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系；    

■Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)接使用

■Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流                

■Hive Cli 的基本用法

■HQL基本語(yǔ)法                 

■自行編寫數(shù)據(jù)庫(kù)與Hadoop相互ETL工具的思路

■使用JDBC 連接Hive進(jìn)行查詢和分析        

■使用正則表達(dá)式加載數(shù)據(jù)

■HQL高級(jí)語(yǔ)法                            

■編寫UDF函數(shù)

■編寫UDAF自定義函數(shù)                     

■執(zhí)行嵌套sql的優(yōu)化

■Hadoop數(shù)據(jù)庫(kù)之HBase及HBase優(yōu)化

■hbase概念與架構(gòu)                          

■hbase核心知識(shí)點(diǎn)

■hbase安裝、部署                  

■HBase配置優(yōu)化綜述

■表設(shè)計(jì)優(yōu)化相關(guān)參數(shù)                      

■監(jiān)控工具使用方法及注意事項(xiàng)      

■常見(jiàn)異常現(xiàn)象級(jí)處理方法

■案例及實(shí)驗(yàn)

■hot region造成讀請(qǐng)求瓶頸

■region預(yù)劃分

■Memstore合并設(shè)置的時(shí)機(jī)選擇

■合并storefile策略設(shè)置技巧

■Memstore flush設(shè)置時(shí)機(jī)選擇

■CF數(shù)量多少對(duì)讀寫性能的影響

■自動(dòng)關(guān)閉flush的目的Hbase-env.sh、Single、multi-thread、CMS使用及參數(shù)調(diào)整

■GC回收垃圾時(shí)機(jī)、GC日志打印設(shè)置

■GC階段，region無(wú)法提供服務(wù)如何如何處理

■Split時(shí)機(jī)控制（增大、disable）方法

【講師介紹】

    錢老師，中國(guó)培訓(xùn)資訊網(wǎng)（www.e71edu.com）資深講師。大數(shù)據(jù)專家。在電信、電力、金融行業(yè)從事Java開(kāi)發(fā)和架構(gòu)設(shè)計(jì)的工作；資深云計(jì)算研發(fā)工程師。作為項(xiàng)目的主要成員和負(fù)責(zé)人參與并領(lǐng)導(dǎo)完成了多個(gè)大型復(fù)雜項(xiàng)目，并成功應(yīng)用于行業(yè)解決方案，如海量數(shù)據(jù)匹配系統(tǒng)、電力行業(yè)實(shí)時(shí)數(shù)據(jù)采集分析系統(tǒng)等。設(shè)計(jì)并實(shí)現(xiàn)了實(shí)時(shí)索引系統(tǒng)-云搜，成功應(yīng)用與某國(guó)企知識(shí)庫(kù)系統(tǒng)。并可應(yīng)用與互聯(lián)網(wǎng)行業(yè)的搜索等應(yīng)用。完成多個(gè)云計(jì)算解決方案的架構(gòu)，涉及到金融韓行業(yè)海量數(shù)據(jù)分析與數(shù)據(jù)處理系統(tǒng)、海量日志分析系統(tǒng)、電力用電信息統(tǒng)計(jì)系統(tǒng)等，獲得業(yè)界認(rèn)可。

【費(fèi)用及報(bào)名】

1、費(fèi)用：培訓(xùn)費(fèi)5000元（含培訓(xùn)費(fèi)、講義費(fèi)）；如需食宿，會(huì)務(wù)組可統(tǒng)一安排,費(fèi)用自理。

2、報(bào)名咨詢： 鮑老師  

3、報(bào)名流程：電話登記－－>填寫報(bào)名表－－>發(fā)出培訓(xùn)確認(rèn)函

4、備注：如課程已過(guò)期，請(qǐng)?jiān)L問(wèn)我們的網(wǎng)站，查詢*新課程

5、詳細(xì)資料請(qǐng)?jiān)L問(wèn)北京曼頓培訓(xùn)網(wǎng)：www.mdpxb.com （每月在全國(guó)開(kāi)設(shè)四百多門公開(kāi)課，歡迎報(bào)名學(xué)習(xí)）

北京企業(yè)培訓(xùn)機(jī)構(gòu),北京企業(yè)培訓(xùn)網(wǎng),北京企業(yè)培訓(xùn)公司