時間

知識模塊

授課內(nèi)容

第一天

上午

數(shù)據(jù)分析實戰(zhàn)

第一講  零基礎學Python

講解Python背景、國內(nèi)發(fā)展狀況、基礎語法、數(shù)據(jù)結(jié)構(gòu)及繪圖操作等內(nèi)容。特別針對向量計算這塊，著重介紹Python在這方面的優(yōu)勢及用法。

第二講  數(shù)據(jù)分析方法論

講解統(tǒng)計分析基礎，包括統(tǒng)計學基本概念，假設檢驗，置信區(qū)間等基礎，并結(jié)合數(shù)據(jù)案例說明其使用場景和運用方法。介紹數(shù)據(jù)分析流程和常見分析思路，并結(jié)合案例進行講解。

第三講  數(shù)據(jù)處理技法

從數(shù)據(jù)接入、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)轉(zhuǎn)換等幾個方面進行講解。數(shù)據(jù)接入包含接入MySQL、Oracle、Hadoop等常見數(shù)據(jù)庫操作；數(shù)據(jù)統(tǒng)計包含Pandas包的具體用法和講解；數(shù)據(jù)轉(zhuǎn)換包含對數(shù)據(jù)集的關聯(lián)、合并、重塑等操作。此外，針對海量數(shù)據(jù)的情況下，介紹在Spark平臺上的數(shù)據(jù)處理技術，并結(jié)合真實環(huán)境進行操作講解。

第一天

下午

數(shù)據(jù)挖掘理論及核心技術

第四講  認識數(shù)據(jù)挖掘

講解數(shù)據(jù)挖掘基本概念，細致講解業(yè)務理解、數(shù)據(jù)理解、數(shù)據(jù)準備、建立模型、模型評估、模型部署各環(huán)節(jié)的工作內(nèi)容及相關技術；結(jié)合業(yè)界經(jīng)典場景，講解數(shù)據(jù)挖掘的實施流程和方法體系。

第五講  數(shù)據(jù)挖掘核心技術

細致講解抽樣、分區(qū)、樣本平衡、特征選擇、訓練模型、評估模型等數(shù)據(jù)挖掘核心技術原理，并結(jié)合案例講解其具體實現(xiàn)和用法。尤其針對樣本平衡，重點講解人工合成、代價敏感等算法；針對特征選擇，重點講解特征選擇的核心思路，并結(jié)合Python進行案例演示。

第二天

上午

大數(shù)據(jù)算法原理及案例實現(xiàn)（1）

第六講 特征降維算法及Python實現(xiàn)

降維是大數(shù)據(jù)分析非常重要的算法 ，它可以在降低極少信息量的情況下，極大地縮小數(shù)據(jù)規(guī)模。主要講解主成分、LDA以及t-SNE原理，并結(jié)合案例進行Python實現(xiàn)。特別地，針對海量數(shù)據(jù)情況下的應用場景，講解實現(xiàn)思路和Python案例。

第七講 決策樹算法及Python實現(xiàn)

決策樹是非常經(jīng)典的算法 ，一般常見于小數(shù)據(jù)的挖掘。由于決策樹具有極強的可解釋性，針對海量數(shù)據(jù)仍然是非常重要的實用價值。主要講解ID3、C4.5、C5.0以及CART決策樹算法的實現(xiàn)原理，并結(jié)合案例進行Python實現(xiàn)。

第八講 基于乳腺癌數(shù)據(jù)進行降維分析并建立分類模型

實戰(zhàn)部分：基于乳腺癌數(shù)據(jù)進行降維處理，并嘗試建立分類評估模型。旨在通過該模型，并潛在的乳腺癌患者進行識別。

第二天

下午

大數(shù)據(jù)算法原理及案例實現(xiàn)（2）

第九講  因果推理算法及Python實現(xiàn)

大數(shù)據(jù)分析技術可以幫助我們?nèi)グl(fā)現(xiàn)、解決一些業(yè)務問題，然而如何去判斷我們的改進是否生效，是否在業(yè)務指標上呈現(xiàn)過一定的因果邏輯，則是一個重要問題和分析方向。本節(jié)主要介紹因果推理算法，包括貝葉斯推理、狀態(tài)空間模型以及CausalImpact工具等內(nèi)容，并結(jié)合案例進行Python實現(xiàn)。

第十講 深度學習算法及Python實現(xiàn)

對于大數(shù)據(jù)的建模任務，我們可以基于深度學習來實現(xiàn)，不僅能夠針對海量數(shù)據(jù)進行建模，其效果也非常不錯。本節(jié)主要講解深度學習的發(fā)展歷程，DBN、DNN等經(jīng)典深度學習算法，深度學習優(yōu)化算法以及一些技巧。同時，介紹Keras庫的使用方法，并結(jié)合案例進行Python實現(xiàn)。

第十一講 Lending Club信貸違約分析案例

實戰(zhàn)部分：基于Lending Club信貸違約數(shù)據(jù)，嘗試從多個不同的維度進行數(shù)據(jù)分析，旨在發(fā)現(xiàn)一些有價值的信息，同時基于該數(shù)據(jù)，經(jīng)過一定的處理，建立信貸違約識別模型，旨在對信貸業(yè)務辦理提供模型支持，降低違約風險。

第三天

上午

Python應用實戰(zhàn)（一）

第十二講 Python自然語言處理原理及案例

目前文檔數(shù)據(jù)已經(jīng)成為很多企業(yè)重要的資產(chǎn)，通過對文檔數(shù)據(jù)進行解析、建模、分析、挖掘、可視化，我們能夠發(fā)現(xiàn)不一樣的洞察。本節(jié)主要講解自然語言處理基本概念和技法，包含分詞、關鍵字提取、文摘提取、文本分類、主題模型、word2vec等內(nèi)容。介紹在深度學習的加持下，與傳統(tǒng)做法的區(qū)別，并使用Python進行案例講解。

第十三講 數(shù)據(jù)分析圖表及Python案例

數(shù)據(jù)可視化是大數(shù)據(jù)分析的重要手段，通過合理地使用圖表，不僅可以簡潔地表達數(shù)據(jù)的含義，高效地發(fā)現(xiàn)問題，還可以為報告的編寫以及數(shù)據(jù)分析web應用增色不少。本節(jié)主要講解常用的數(shù)據(jù)分析圖表及其使用場景，介紹數(shù)據(jù)可視化的方法論，避免生搬硬套的使用圖表，針對不同的業(yè)務場景和需求，合理選擇可視化方法。介紹的工具不限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常用可視化庫。

第三天

下午

Python應用實戰(zhàn)（二）

第十四講 使用Notebook編寫數(shù)據(jù)分析報告

數(shù)據(jù)分析報告在大數(shù)據(jù)分析過程中具有重要價值，它體現(xiàn)了大數(shù)據(jù)分析的目的、過程和結(jié)果，以及對發(fā)現(xiàn)問題的解讀、改進方案等等，本節(jié)主要講解使用Notebook編寫數(shù)據(jù)分析報告的具體方法，以及編寫數(shù)據(jù)分析報告的方法論，并結(jié)合案例講解其用法。

第十五講 Dash可視化開發(fā)實戰(zhàn)

Dash是一款不錯的框架，可以基于Dash快速開發(fā)一個輕量級的數(shù)據(jù)分析web應用。在網(wǎng)頁中嵌入圖表、數(shù)據(jù)以及分析的算法，非常適合打造企業(yè)內(nèi)部的敏捷數(shù)據(jù)分析工具集。本節(jié)主要介紹Dash的UI、Server、Reactivity、控件等內(nèi)容，同時講解一個用Dash實現(xiàn)數(shù)據(jù)分析功能（兼圖表）的實際案例，搭建服務器，在企業(yè)內(nèi)部實現(xiàn)輕量級數(shù)據(jù)分析應用。

總結(jié)與答疑