大數據系期貨分析模型

⑴ 統計模型和大數據模型所使用的主要演算法有什麼異同

以每24小時作為一份時間（而非自然日），根據用戶的配置有兩種工作模式：帶狀模式中，用戶僅定義開始日期時，從開始日期（含）開始，每份時間1個分片地無限增加下去；環狀模式中，用戶定義了開始日期和結束日期時，以結束日期（含）和開始日期（含）之間的時間份數作為分片總數（分片數量固定），以類似取模的方式路由到這些分片里。

1. DBLE 啟動時，讀取用戶在 rule.xml 配置的 sBeginDate 來確定起始時間
2. 讀取用戶在 rule.xml 配置的 sPartionDay 來確定每個 MySQL 分片承載多少天內的數據
3. 讀取用戶在 rule.xml 配置的 dateFormat 來確定分片索引的日期格式
4. 在 DBLE 的運行過程中，用戶訪問使用這個演算法的表時，WHERE 子句中的分片索引值（字元串），會被提取出來嘗試轉換成 Java 內部的時間類型
5. 然後求分片索引值與起始時間的差，除以 MySQL 分片承載的天數，確定所屬分片

1. DBLE 啟動時，讀取用戶在 rule.xml 配置的起始時間 sBeginDate、終止時間 sEndDate 和每個 MySQL 分片承載多少天數據 sPartionDay
2. 根據用戶設置，建立起以 sBeginDate 開始，每 sPartionDay 天一個分片，直到 sEndDate 為止的一個環，把分片串聯串聯起來
3. 讀取用戶在 rule.xml 配置的 defaultNode
4. 在 DBLE 的運行過程中，用戶訪問使用這個演算法的表時，WHERE 子句中的分片索引值（字元串），會被提取出來嘗試轉換成 Java 內部的日期類型
5. 然後求分片索引值與起始日期的差：如果分片索引值不早於 sBeginDate（哪怕晚於 sEndDate），就以 MySQL 分片承載的天數為模數，對分片索引值求模得到所屬分片；如果分片索引值早於 sBeginDate，就會被放到 defaultNode 分片上

與MyCat的類似分片演算法對比

中間件
DBLE
MyCat

分片演算法種類 date 分區演算法 按日期（天）分片
兩種中間件的取模範圍分片演算法使用上無差別

開發注意點
【分片索引】1. 必須是字元串，而且 java.text.SimpleDateFormat 能基於用戶指定的 dateFormat 來轉換成 java.util.Date
【分片索引】2. 提供帶狀模式和環狀模式兩種模式
【分片索引】3. 帶狀模式以 sBeginDate（含）起，以 86400000 毫秒（24 小時整）為一份，每 sPartionDay 份為一個分片，理論上分片數量可以無限增長，但是出現 sBeginDate 之前的數據而且沒有設定 defaultNode 的話，會路由失敗（如果有 defaultNode，則路由至 defaultNode）
【分片索引】4. 環狀模式以 86400000 毫秒（24 小時整）為一份，每 sPartionDay 份為一個分片，以 sBeginDate（含）到 sEndDate（含）的時間長度除以單個分片長度得到恆定的分片數量，但是出現 sBeginDate 之前的數據而且沒有設定 defaultNode 的話，會路由失敗（如果有 defaultNode，則路由至 defaultNode）
【分片索引】5. 無論哪種模式，分片索引欄位的格式化字元串 dateFormat 由用戶指定
【分片索引】6. 無論哪種模式，劃分不是以日歷時間為准，無法對應自然月和自然年，且會受閏秒問題影響

運維注意點
【擴容】1. 帶狀模式中，隨著 sBeginDate 之後的數據出現，分片數量的增加無需再平衡
【擴容】2. 帶狀模式沒有自動增添分片的能力，需要運維手工提前增加分片；如果路由策略計算出的分片並不存在時，會導致失敗
【擴容】3. 環狀模式中，如果新舊 [sBeginDate,sEndDate] 之間有重疊，需要進行部分數據遷移；如果新舊 [sBeginDate,sEndDate] 之間沒有重疊，需要數據再平衡

配置注意點
【配置項】1. 在 rule.xml 中，可配置項為 <propertyname="sBeginDate"> 、 <propertyname="sPartionDay"> 、 <propertyname="dateFormat"> 、 <propertyname="sEndDate"> 和 <propertyname="defaultNode">
【配置項】2.在 rule.xml 中配置 <propertyname="dateFormat">，符合 java.text.SimpleDateFormat 規范的字元串，用於告知 DBLE 如何解析sBeginDate和sEndDate

【配置項】3.在 rule.xml 中配置 <propertyname="sBeginDate">，必須是符合 dateFormat 的日期字元串

【配置項】4.在 rule.xml 中配置 <propertyname="sEndDate">，必須是符合 dateFormat 的日期字元串；配置了該項使用的是環狀模式，若沒有配置該項則使用的是帶狀模式

【配置項】5.在 rule.xml 中配置 <propertyname="sPartionDay">，非負整數，該分片策略以 86400000 毫秒（24 小時整）作為一份，而 sPartionDay 告訴 DBLE 把每多少份放在同一個分片

【配置項】6.在 rule.xml 中配置 <propertyname="defaultNode"> 標簽，非必須配置項，不配置該項的話，用戶的分片索引值沒落在 mapFile 定義

⑵ 大數據分析中，有哪些常見的大數據分析模型

很多朋友還沒有接觸過大數據分析方案，認為其僅僅算是個願景而非現實——畢竟能夠證明其可行性與實際效果的案例確實相對有限。但可以肯定的是，實時數據流中包含著大量重要價值，足以幫助企業及人員在未來的工作中達成更為理想的結果。那麼，那些領域需要實時的數據分析呢？

1、醫療衛生與生命科學

2、保險業

3、電信運營商

4、能源行業

5、電子商務

6、運輸行業

7、投機市場

8、執法領域

9、技術領域

常見數據分析模型有哪些呢？

1、行為事件分析：行為事件分析法具有強大的篩選、分組和聚合能力，邏輯清晰且使用簡單，已被廣泛應用。

2、漏斗分析模型：漏斗分析是一套流程分析，它能夠科學反映用戶行為狀態以及從起點到終點各階段用戶轉化率情況的重要分析模型。

3、留存分析模型留存分析是一種用來分析用戶參與情況/活躍程度的分析模型，考察進行初始化行為的用戶中，有多少人會進行後續行為。這是用來衡量產品對用戶價值高低的重要方法。

4、分布分析模型分布分析是用戶在特定指標下的頻次、總額等的歸類展現。

5、點擊分析模型即應用一種特殊亮度的顏色形式，顯示頁面或頁面組區域中不同元素點點擊密度的圖標。

6、用戶行為路徑分析模型用戶路徑分析，顧名思義，用戶在APP或網站中的訪問行為路徑。為了衡量網站優化的效果或營銷推廣的效果，以及了解用戶行為偏好，時常要對訪問路徑的轉換數據進行分析。

7、用戶分群分析模型用戶分群即用戶信息標簽化，通過用戶的歷史行為路徑、行為特徵、偏好等屬性，將具有相同屬性的用戶劃分為一個群體，並進行後續分析。

8、屬性分析模型根據用戶自身屬性對用戶進行分類與統計分析，比如查看用戶數量在注冊時間上的變化趨勢、省份等分布情況。

模型再多，選擇一種適合自己的就行，如何利益最大化才是我們追求的目標

⑶ 大數據分析模型中什麼叫並行技術

並行技術可分為三類，分別是線程庫、消息傳遞庫和編譯器支持。線程庫可實現對線程的顯性控制；如果需要對線程進行精細管理，可以考慮使用這些顯性線程技術。藉助消息傳遞庫，應用程序可同時利用多台計算機，它們彼此間不必共享同一內存空間。MPI 廣泛應用於科學計算領域。第三項技術是在編譯器中實現的線程處理支持，採用的形式自動並行化。一旦將線程處理引入到應用程序中，開發人員就可能要面對一系列新的編程缺陷（Bug）。其中許多缺陷是難以檢測到的，需要付出額外的時間和關注以確保程序的正確運行。

並行技術可以分為多進程編程和多線程編程。人們總會用某種IPC(inter-process communication，進程間通信)的形式來實現進程間同步，如管道(pipes)，信號量(semaphores)，信息隊列(message queues)，或者共享存儲(shared memory)。在所有的這些IPC形式中，共享存儲器是最快的(除了門(doors)之外)。在處理進程間資源管理，IPC和同步時，你可以選擇POSIX或者System V的定義。

在現代操作系統里，同一時間可能有多個內核執行流在執行，因此內核其實象多進程多線程編程一樣也需要一些同步機制來同步各執行單元對共享數據的訪問。尤其是在多處理器系統上，更需要一些同步機制來同步不同處理器上的執行單元對共享的數據的訪問。在主流的Linux內核中包含了幾乎所有現代的操作系統具有的同步機制，這些同步機制包括：原子操作、信號量（semaphore）、讀寫信號量（rw_semaphore）、spinlock、BKL(Big Kernel Lock)、rwlock、brlock（只包含在2.4內核中）、RCU（只包含在2.6內核中）和seqlock（只包含在2.6內核中）。

⑷ 如何用大數據分析金融數據

任何數據分析的前提是首先要理解業務模型，從你的金融數據是怎麼產生的，包括回哪些指標哪些數據，你的答分析是要為什麼業務服務的，也就是你的目的。比如你分析金融數據的目的是要找出最有價值的金融產品，還是最有價值的客戶，還是尋找最有效的成本節約途徑等

在弄清楚你的分析目的，和理解清楚你的業務模式等之後，再考慮你需要採用哪些數據，採用什麼方法來進行分析，這才涉及到如何進行具體的分析過程。

從整個大數據分析來看，前期的業務理解和數據整理大概要耗費一大半的精力和時間，弄清楚前期，後期的分析則會很快。

⑸ 數學建模美賽中大數據方面所涉及的模型有哪些

由於道路的數量，美國許多地區的交通容量有限。
例如，在大西雅圖地區，司機在交通高峰時段遇到長時間的延誤
因為交通量超過了道路網路的設計容量。這是特別
在州際公路5號，90號和405號以及州道路520號，特別感興趣的道路上發布
對於這個問題。
自動駕駛，合作車已被提出作為增加公路容量的解決方案
而不增加車道或道路的數量。這些汽車的行為與現有的交互
交通流和對方在這一點上還不太了解。
華盛頓州州長要求分析允許自駕的影響，
在Thurston，Pierce，King和Snohomish縣上列的道路上合作汽車。 （看到
提供的地圖和Excel電子表格）。特別是，效果如何改變
自駕車的百分比從10％增加到50％到90％？是否存在平衡？有沒有
性能變化明顯的傾翻點？在什麼條件下，如果有的話，應該有車道
專用於這些車？您對模型的分析是否表明有任何其他政策變化？
您的答案應包括對車道數量，峰值和/或車道數量的影響的模型
平均交通量，以及使用自動駕駛，合作系統的車輛的百分比。你的
模型應該解決自駕車之間的合作以及自驅動車之間的相互作用
和非自駕車輛。您的模型應該應用於的道路的數據
利息，在附加的Excel電子表格中提供。
您的MCM提交應包含1頁的摘要表，1 - 2頁的信
總督辦公室和您的解決方案（不超過20頁），最多23頁。注意：
附錄和參考文獻不計入23頁的限制。
一些有用的背景信息：
平均而言，每日交通量的8％發生在高峰旅行時間。
所有這些道路的名義速度限制為每小時60英里。
里程數從南到北，從西到東。
車道寬度是標準的12英尺。
高速公路90被分類為狀態路線，直到它與州際5相交。
如果此問題中提供的數據與任何其他來源之間存在沖突，請使用
這個問題提供的數據。

⑹ 數據分析方法與模型都有哪些

現在的大數據的流行程度不用說大家都知道，大數據離不開數據分析，而數據分析的方法和數據分析模型多種多樣，按照數據分析將這些數據分析方法與模型分為對比分析、分類分析、相關分析和綜合分析四種方式，這四種方式的不同點前三類以定性的數據分析方法與模型為主，綜合類數據分析方法與模型是注重定性與定量相結合。

一、分類分析數據分析法
在數據分析中，如果將數據進行分類就能夠更好的分析。分類分析是將一些未知類別的部分放進我們已經分好類別中的其中某一類；或者將對一些數據進行分析，把這些數據歸納到接近這一程度的類別，並按接近這一程度對觀測對象給出合理的分類。這樣才能夠更好的進行分析數據。

二、對比分析數據分析方法
很多數據分析也是經常使用對比分析數據分析方法。對比分析法通常是把兩個相互有聯系的數據進行比較，從數量上展示和說明研究對象在某一標準的數量進行比較，從中發現其他的差異，以及各種關系是否協調。

三、相關分析數據分析法相關分析數據分析法也是一種比較常見數據分析方法，相關分析是指研究變數之間相互關系的一類分析方法。按是否區別自變數和因變數為標准一般分為兩類：一類是明確自變數和因變數的關系；另一類是不區分因果關系，只研究變數之間是否相關，相關方向和密切程度的分析方法。
而敏感性分析是指從定量分析的角度研究有關因素發生某種變化時對某一個或一組關鍵指標影響程度的一種不確定分析技術。
回歸分析是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法。
時間序列是將一個指標在不相同的時間點上的取值，按照時間的先後順序排列而成的一列數。時間序列實驗研究對象的歷史行為的客觀記錄，因而它包含了研究對象的結構特徵以及規律。

四、綜合分析數據分析法
層次分析法，是一種實用的多目標或多方案的決策方法。由於他在處理復雜的決策問題上的實用性和有效性，而層次分析數據分析法在世界范圍得到廣泛的應用。它的應用已遍及經濟計劃和管理，能源政策和分配，行為科學、軍事指揮、運輸、農業、教育、醫療和環境等多領域。
而綜合分析與層次分析是不同的，綜合分析是指運用各種統計、財務等綜合指標來反饋和研究社會經濟現象總體的一般特徵和數量關系的研究方法。

上述提到的數據分析方法與數據分析模型在企業經營、管理、投資決策最為常用，在企業決策中起著至關重要的作用。一般來說，對比分析、分類分析、相關分析和綜合分析這四種方法都是數據分析師比較常用的，希望這篇文章能夠幫助大家更好的理解大數據。

⑺ 主流的大數據分析框架有哪些

1、Hadoop
Hadoop 採用 Map Rece 分布式計算框架，根據 GFS開發了 HDFS 分布式文件系統，根據 Big Table 開發了 HBase數據存儲系統。Hadoop 的開源特性使其成為分布式計算系統的事實上的國際標准。Yahoo，Facebook，Amazon 以及國內的網路，阿里巴巴等眾多互聯網公司都以 Hadoop 為基礎搭建自己的分布。

2、Spark

Spark 是在 Hadoop 的基礎上進行了一些架構上的改良。Spark 與Hadoop 最大的不同點在於，Hadoop 使用硬碟來存儲數據，而Spark 使用內存來存儲數據，因此 Spark 可以提供超過 Ha?doop 100 倍的運算速度。由於內存斷電後會丟失數據，Spark不能用於處理需要長期保存的數據。

3、 Storm

Storm 是 Twitter 主推的分布式計算系統。它在Hadoop的基礎上提供了實時運算的特性，可以實時的處理大數據流。不同於Hadoop和Spark，Storm不進行數據的收集和存儲工作，它直接通過網路實時的接受數據並且實時的處理數據，然後直接通過網路實時的傳回結果。

4、Samza

Samza 是由 Linked In 開源的一項技術，是一個分布式流處理框架，專用於實時數據的處理，非常像Twitter的流處理系統Storm。不同的是Sam?za 基於 Hadoop，而且使用了 Linked In 自家的 Kafka 分布式消息系統。

Samza 非常適用於實時流數據處理的業務，如數據跟蹤、日誌服務、實時服務等應用，它能夠幫助開發者進行高速消息處理,同時還具有良好的容錯能力。

⑻ 大數據分析領域有哪些分析模型

數據角度的模型一般指的是統計或數據挖掘、機器學習、人工智慧等類型的模型，是純粹從科學角度出發定義的。
1. 降維
在面對海量數據或大數據進行數據挖掘時，通常會面臨「維度災難」，原因是數據集的維度可以不斷增加直至無窮多，但計算機的處理能力和速度卻是有限的；另外，數據集的大量維度之間可能存在共線性的關系，這會直接導致學習模型的健壯性不夠，甚至很多時候演算法結果會失效。因此，我們需要降低維度數量並降低維度間共線性影響。
數據降維也被成為數據歸約或數據約減，其目的是減少參與數據計算和建模維度的數量。數據降維的思路有兩類：一類是基於特徵選擇的降維，一類是是基於維度轉換的降維。
2. 回歸
回歸是研究自變數x對因變數y影響的一種數據分析方法。最簡單的回歸模型是一元線性回歸（只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示），可以表示為Y=β0+β1x+ε，其中Y為因變數，x為自變數，β1為影響系數，β0為截距，ε為隨機誤差。
回歸分析按照自變數的個數分為一元回歸模型和多元回歸模型；按照影響是否線性分為線性回歸和非線性回歸。
3. 聚類
聚類是數據挖掘和計算中的基本任務，聚類是將大量數據集中具有「相似」特徵的數據點劃分為統一類別，並最終生成多個類的方法。聚類分析的基本思想是「物以類聚、人以群分」，因此大量的數據集中必然存在相似的數據點，基於這個假設就可以將數據區分出來，並發現每個數據集（分類）的特徵。
4. 分類
分類演算法通過對已知類別訓練集的計算和分析，從中發現類別規則，以此預測新數據的類別的一類演算法。分類演算法是解決分類問題的方法，是數據挖掘、機器學習和模式識別中一個重要的研究領域。
5. 關聯
關聯規則學習通過尋找最能夠解釋數據變數之間關系的規則，來找出大量多元數據集中有用的關聯規則，它是從大量數據中發現多種數據之間關系的一種方法，另外，它還可以基於時間序列對多種數據間的關系進行挖掘。關聯分析的典型案例是「啤酒和尿布」的捆綁銷售，即買了尿布的用戶還會一起買啤酒。
6. 時間序列
時間序列是用來研究數據隨時間變化趨勢而變化的一類演算法，它是一種常用的回歸預測方法。它的原理是事物的連續性，所謂連續性是指客觀事物的發展具有合乎規律的連續性，事物發展是按照它本身固有的規律進行的。在一定條件下，只要規律賴以發生作用的條件不產生質的變化，則事物的基本發展趨勢在未來就還會延續下去。
7. 異常檢測
大多數數據挖掘或數據工作中，異常值都會在數據的預處理過程中被認為是「噪音」而剔除，以避免其對總體數據評估和分析挖掘的影響。但某些情況下，如果數據工作的目標就是圍繞異常值，那麼這些異常值會成為數據工作的焦點。
數據集中的異常數據通常被成為異常點、離群點或孤立點等，典型特徵是這些數據的特徵或規則與大多數數據不一致，呈現出「異常」的特點，而檢測這些數據的方法被稱為異常檢測。
8. 協同過濾
協同過濾（Collaborative Filtering，CF)）是利用集體智慧的一個典型方法，常被用於分辨特定對象（通常是人）可能感興趣的項目（項目可能是商品、資訊、書籍、音樂、帖子等），這些感興趣的內容來源於其他類似人群的興趣和愛好，然後被作為推薦內容推薦給特定對象。
9. 主題模型
主題模型（Topic Model），是提煉出文字中隱含主題的一種建模方法。在統計學中，主題就是詞彙表或特定詞語的詞語概率分布模型。所謂主題，是文字（文章、話語、句子）所表達的中心思想或核心概念。
10. 路徑、漏斗、歸因模型
路徑分析、漏斗分析、歸因分析和熱力圖分析原本是網站數據分析的常用分析方法，但隨著認知計算、機器學習、深度學習等方法的應用，原本很難衡量的線下用戶行為正在被識別、分析、關聯、打通，使得這些方法也可以應用到線下客戶行為和轉化分析。

⑼ 故障案例的大數據分析模型該從哪些方面入手

1、SQL資料庫的基本操作，會基本的數據管理
2、會用Excel/SQL做基本的數據提取、分析和展示
3、會用腳本語言進行數據分析，Python or R
4、有獲取外部數據的能力加分，如爬蟲或熟悉公開數據集
5、會基本的數據可視化技能，能撰寫數據報告
6、熟悉常用的數據挖掘演算法：回歸分析、決策樹、分類、聚類方法

⑽ 怎樣在期貨里看大數據

不管雲復計算還是人工制智能都是大數據，大數據在不同行業有不同名稱，在期貨來看最多提到的就是智能投顧。大數據用一種技術和手段來找到未來不確定性中的確定性，為期貨發展帶來很多新的機會。
大數據在期貨行業的運用，陳新河舉例利用大數據預測飼料價格，用於期貨決策，就是用了大數據的外部性作用。此外，通過網路整體行業消費量景氣指數等建立一個模型，就能用大數據預測經濟形勢。