云計算架構(gòu)與大數(shù)據(jù)分析（Hadoop）培訓(xùn)班（青島，7月24-29日）

【舉辦單位】北京曼頓培訓(xùn)網(wǎng)  www.mdpxb.com   中國培訓(xùn)資訊網(wǎng)  www.e71edu.com

【培訓(xùn)日期】2014年7月24-29日

【培訓(xùn)地點】青島

【培訓(xùn)對象】軟件工程師、數(shù)據(jù)庫開發(fā)人員、網(wǎng)絡(luò)后臺開發(fā)人員、運維人員等。學(xué)員要求有一定的Java編程基礎(chǔ)。

【課程目標】

■本課程以大數(shù)據(jù)架構(gòu)與案例為驅(qū)動，采用一個完整地案例貫穿整個課程，讓學(xué)員體驗大數(shù)據(jù)架構(gòu)的企業(yè)價值。在課程中學(xué)員將被賦予企業(yè)架構(gòu)師角色，通過剖析企業(yè)對大數(shù)據(jù)的主要需求，使學(xué)員感悟大數(shù)據(jù)架構(gòu)設(shè)計的過程與價值。具體課程目標包括：

■了解云計算的發(fā)展歷史

■掌握云計算的實踐應(yīng)用

■學(xué)習(xí)云計算的核心技術(shù)

■通曉云計算的商業(yè)價值。

■全面掌握Hadoop的架構(gòu)原理和使用場景；

■全程項目實戰(zhàn)訓(xùn)練；

■徹底掌握使用Hadoop進行MapReduce程序開發(fā)；

■熟悉分布式計算領(lǐng)域的常用算法；

掌握Hive、HBase使用與優(yōu)化技巧。

【課程大綱】

■云計算概述

■云的理想

■云的挑戰(zhàn)

■發(fā)展的趨勢

■云是什么

■不同工作負載適用不同的云

■選擇合適的云平臺

■幾個云應(yīng)用案例

■我們身邊的云

■云架構(gòu)

■云多層架構(gòu)視圖

■IaaS、PaaS與SaaS的定位與異同

■云平臺的發(fā)展現(xiàn)狀

■云數(shù)據(jù)中心技術(shù)架構(gòu)

■ IAAS云層的原理與應(yīng)用 

IaaS的基礎(chǔ)：虛擬化

■虛擬化相關(guān)技術(shù)

■Power云部署方案介紹

■VMWare云部署方案介紹

■OpenStack云部署方案介紹

■SONAS云存儲方案介紹

■應(yīng)用實例

■PaaS云層的原理與應(yīng)用

■PaaS的架構(gòu)原理

■基于WebSphere的PaaS設(shè)計實踐

■SaaS云層的原理與應(yīng)用

■SaaS的架構(gòu)原理

■一個公有云SaaS的設(shè)計實踐

■云計算的性能管理與容量規(guī)劃

■什么是性能容量管理

■性能容量管理參考案例

■壓力測試基本理論

■系統(tǒng)性能設(shè)計與調(diào)優(yōu)

■大數(shù)據(jù)云的原理與架構(gòu)

■存儲子系統(tǒng)

■傳統(tǒng)文件系統(tǒng)

■松耦合網(wǎng)絡(luò)文件系統(tǒng)

■共享存儲文件系統(tǒng)

■基于對象的存儲子系統(tǒng)

■大數(shù)據(jù)存儲子系統(tǒng)

■Google GFS

■Facebook Haystack

■AmazonDynamo

■Yahoo PNUTS

■Google BigTable 

■云存儲服務(wù)

■Amazon Simple Storage Service

■Google Storage for Developers

第1個主題：Hadoop的來源和動機

1.傳統(tǒng)大規(guī)模系統(tǒng)存在的問題

2.對一種新的解決方案的需求

3.Hadoop應(yīng)用案例解析

4.Hadoop 版本介紹

5.Hadoop與傳統(tǒng)分布式環(huán)境的區(qū)別

第2個主題：Hadoop安裝和部署準備

Hadoop系統(tǒng)模塊組件概述

Hadoop試驗集群的部署結(jié)構(gòu)

Hadoop 安裝依賴關(guān)系

Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)

Hadoop集群安裝和部署

第3個主題：Hadoop組件詳解

Hadoop HDFS 基本結(jié)構(gòu)

Hadoop HDFS 副本存放策略

Hadoop NameNode 詳解Hadoop SecondaryNameNode 詳解

Hadoop DataNode 詳解

Hadoop JobTracker 詳解

Mapper

Reducer

API 使用Eclipse進行快速開發(fā)

新MapReduce API

第4個主題：Hadoop 核心代碼剖析

1. Hadoop Mapper 類核心代碼剖析

2. Hadoop Reducer 類核心代碼剖析

第5個主題：HDFS分布式文件系統(tǒng)編程

1. Hadoop HDFS 剖析

2. Hadoop NameNode 剖析

3. Hadoop DataNode 剖析

4. hadoop I/O 操作

5. 使用Hadoop HDFS API對HDFS編程

第

五

天第1個主題：Hadoop MapReduce

1. Hadoop JobTracker 剖析

2.Hadoop TaskTracker 剖析

3.Hadoop 任務(wù)提交流程剖析

第2個主題： Hadoop MapReduce Streaming編程

1. Hadoop Streaming 和 Java MapReduce Api 差異

2. 使用 MapReduce 實現(xiàn)數(shù)據(jù)庫功能

第3個主題：MapReduce分布式程序

1. MapReduce流程

2.剖析一個MapReduce程序

3.基本MapReduceAPI 概念

4.驅(qū)動代碼

第4個主題：Hadoop Mapreduce高級編程

1.ToolRunner介紹

2.使用MRUnit進行測試

3.利用Combiners來減少中間數(shù)據(jù)

4.使用Configure和Close方法來進行Map/Reduce設(shè)置和關(guān)閉

5.編寫Partitioner來優(yōu)化負載平衡

6.直接訪問Hadoop分布式文件系統(tǒng)（HDFS）

7.使用分布式緩存（Distributed Cache）第5個主題：MapReduce的優(yōu)化

1. map優(yōu)化

2. reduce優(yōu)化

3. 小文件優(yōu)化

第6個主題：MapReduce的任務(wù)調(diào)度

1. Queue調(diào)度的使用

2. 公平調(diào)度的使用

3. 能力調(diào)度的使用

第7個主題Hadoop 生態(tài)系統(tǒng)介紹

   分布式管理組件-Zookeeper

   分布式數(shù)據(jù)倉庫-Hive

   分布式數(shù)據(jù)庫-HBase

   數(shù)據(jù)導(dǎo)入導(dǎo)出-Sqoop

   工作流管理- Ozzie

Hadoop數(shù)據(jù)倉庫-Hive

■Hive基礎(chǔ)              

■Hive的作用和原理說明

■Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系；Hive與傳統(tǒng)數(shù)據(jù)庫的對接使用

■Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流

Hadoop數(shù)據(jù)倉庫-Hive

 Hive Cli 的基本用法

HQL基本語法

自行編寫數(shù)據(jù)庫與Hadoop相互ETL工具的思路

Hadoop 分布式數(shù)據(jù)倉庫-HBase

■Hbase概念與架構(gòu)              

■hbase核心知識點

■hbase安裝、部署

■HBase配置優(yōu)化綜述

■表設(shè)計優(yōu)化相關(guān)參數(shù)

■監(jiān)控工具使用方法及注意事項

■常見異�，F(xiàn)象級處理方法

【講師介紹】

   錢興會老師，中國培訓(xùn)資訊網(wǎng)（www.e71edu.com）資深講師。大數(shù)據(jù)專家。在電信、電力、金融行業(yè)從事Java開發(fā)和架構(gòu)設(shè)計的工作；資深云計算研發(fā)工程師。作為項目的主要成員和負責(zé)人參與并領(lǐng)導(dǎo)完成了多個大型復(fù)雜項目，并成功應(yīng)用于行業(yè)解決方案，如海量數(shù)據(jù)匹配系統(tǒng)、電力行業(yè)實時數(shù)據(jù)采集分析系統(tǒng)等。設(shè)計并實現(xiàn)了實時索引系統(tǒng)-云搜，成功應(yīng)用與某國企知識庫系統(tǒng)。并可應(yīng)用與互聯(lián)網(wǎng)行業(yè)的搜索等應(yīng)用。完成多個云計算解決方案的架構(gòu)，涉及到金融韓行業(yè)海量數(shù)據(jù)分析與數(shù)據(jù)處理系統(tǒng)、海量日志分析系統(tǒng)、電力用電信息統(tǒng)計系統(tǒng)等，獲得業(yè)界認可。

   朱永春老師，中國培訓(xùn)資訊網(wǎng)（www.e71edu.com）資深講師。十余年IT行業(yè)經(jīng)驗，IBM企業(yè)數(shù)據(jù)分析與大數(shù)據(jù)專家，數(shù)據(jù)中心系統(tǒng)架構(gòu)設(shè)計，性能管理與容量評估專家，主要專業(yè)特長包括基礎(chǔ)架構(gòu)云平臺設(shè)計、服務(wù)器及存儲虛擬化、數(shù)據(jù)庫優(yōu)化、性能管理、容量評估等領(lǐng)域。具有豐富的教學(xué)和實踐經(jīng)驗，對IT職業(yè)培訓(xùn)有深刻的理解。曾參與多家大型銀行系統(tǒng)架構(gòu)設(shè)計，在高可用性高性能大容量系統(tǒng)領(lǐng)域的虛擬化和大數(shù)據(jù)處理有深入的研究，能夠結(jié)合實際,在復(fù)雜的應(yīng)用環(huán)境中選擇適合的分析技術(shù)來降低運維風(fēng)險、縮短停機時間、提高系統(tǒng)及數(shù)據(jù)庫性能。多次全國巡講。授課過程理論與實踐并重，深入淺出，講課詼諧幽默、氣氛活躍，深受廣大學(xué)員好評。

【費用及報名】

1、費用：培訓(xùn)費4500元（含培訓(xùn)費、講義費）；如需食宿，會務(wù)組可統(tǒng)一安排,費用自理。

2、報名咨詢：  鮑老師  

3、報名流程：電話登記－－>填寫報名表－－>發(fā)出培訓(xùn)確認函

4、備注：如課程已過期，請訪問我們的網(wǎng)站，查詢*新課程

5、詳細資料請訪問北京曼頓培訓(xùn)網(wǎng)：www.mdpxb.com （每月在全國開設(shè)四百多門公開課，歡迎報名學(xué)習(xí)）

北京企業(yè)培訓(xùn)機構(gòu),北京企業(yè)培訓(xùn)網(wǎng),北京企業(yè)培訓(xùn)公司