A. 數據抓取，分析的常用方法有哪些
第二種是可以的，拿R可以實現，這個回調地址寫127.0.0.1 就可以。 你可以搜索下，有成功的例子你可以看看。
B. 如何抓取和分析互聯網公開數據
導讀：互聯網蘊藏著豐富的公開數據資源，通過獲取這些數據，作為城市研究的輔助支撐，是未來城市研究者必備的技能之一，近期我們也會繼續介紹一些簡單有趣的公開數據分析應用。
在互聯網領域，對數據的抓取叫做「採集」，在採集工具的作用下，可以很快的抓取一個網站的整站數據，而如果這些數據能夠輔助我們的部分決策，那麼這個工具和方法值得一學。（本文中數據抓取工具為「火車頭」軟體）
西安建築科技大學城市體驗、模擬與分析實驗中心的鄭曉偉為我們分享了他在開放數據獲取方法及應用分析技術中的經驗。
開放數據（大數據）的相關基礎知識
開放數據和大數據的區別
開放數據：商業網站（大眾點評、安居客等）數據、地圖開放平台數據、社交媒體（新浪微博）數據、政府政務公開數據等。
大數據：手機信令數據、浮動車數據（例如車載GPS、公交刷卡、地鐵刷卡）等。
大數據是近似全樣本數據，而開放數據是非全樣本數據：
C. 如何將數據挖掘技術應用與互聯網金融
互聯網金融，目前需要演算法的是主要是風控模型。能查到的有IPC、FICO、WeCash之類的。
當然你可以版自己拿一些權模型比如」邏輯回歸「來實現對用戶打分卡及細分，計算貸款利率、期限、額度。數據挖掘嘛，首先是要定位一個商業問題，然後再評估該問題在進度、資源、數據等各個約束下的可行性，往往還是分析思路是關鍵。數據挖掘和互聯網金融相結合需要軟體作為橋梁，目前好一些的軟體公司有高達軟體，百會，用友，金蝶等
D. 淺談數據抓取的幾種方法
方法一：直接抓取網頁源碼
方法二：模擬瀏覽器操作
方法三：使用工具Fidder script
E. 如何進行互聯網金融運營數據的分析
做運營必須要對數據敏感，以下指標需要關註：
1、用戶注冊數，首先你要知內道你的注冊數據
2、注容冊成本，就是單個用戶成功注冊的成本
3、投資成本，就是注冊用戶到投資的成本
4、復投率，這個很重要，投資人數再多，如果沒有復投意義不大，因為拉新的成本比留住老用戶要大的多。
5、ROI，其實說了這么多，企業管理者就看重一個指標就是投資回報率，衡量一個推廣渠道的優劣，這個是核心指標
知道了哪個渠道的ROI最高，就可以對你的推廣策略做參考，這樣就能形成良性循環。
F. 如何進行互聯網金融運營數據的分析，都有哪些方法
來源於：知乎
大部分的互聯網金融公司最為糾結的一點是，流量這么大，獲客成本這么高，為什麼最後的的轉化率和成單量卻這么低？怎樣才能提高用戶運營效率？用戶行為數據分析怎樣把處在不同購買決策階段的用戶挑選出來，幫助互聯網金融公司做到精益化運營？
我們的客戶中很大一部分來自互聯網金融，比如人人貸等行業前 10 的互聯網金融公司。在服務客戶的過程中，我們也積累了大量的數據驅動業務的實踐案例，來幫助客戶創造價值。
一 、互聯網金融用戶四大行為特徵
互聯網金融平台用戶有四大行為特徵：
第一流量轉化率低，下圖是某互聯網金融公司網站上，新客戶過去 30 天整體購買轉化漏斗，其轉化率只有 0.38%：
而這並非個例，實際上，絕大多數互聯網金融公司，在 web 端購買的轉化率基本都在 1% 以下，APP購買率在 5% 左右，遠遠低於電商或者其他在線交易的購買率。
第二，雖然轉化率低，但是客單價卻很高。一般來說，電商行業客單價在幾十到幾百，而互聯網金融客戶，客單價從幾千到幾萬，某些特殊領域甚至高達幾十萬。而客單價高，就意味著用戶購買決策會更復雜，購買周期也會更長。
第三，用戶購買行為有很強周期性。電商的客戶下次購買時間是不確定的，但是互聯網金融平台上，真正購買的用戶，是有理財需求的用戶，在資金到期贖回產品後，一定還會進行下一次購買，只不過未必發生在你的平台上。
可以看到，每隔一段時間，這個用戶就會有一段集中的、大量的交互行為。當用戶購買完成後，用戶的交互行為又變得很少，可能偶爾來看看產品的收益率，但整體的交互指標不會太高，直到他下一次購買。這個用戶理財需求的周期是一個月左右。
最後一個特點是「很強的特徵性」，主要包括兩個特徵：
A：用戶的購買偏好比較容易識別，理財產品數量和品類都很少，所以用戶購買的需求或者偏好，很容易從其行為數據上識別出來。
B：用戶購買過程中的三個階段特別容易識別：
用戶在購買決策階段，有大量的交互事件產生，他會看產品，比對不同產品的收益率和風險，比對不同產品的投資期限等等；
但是一旦他完成了產品的購買，就不會有大量的交互行為產生，他可能僅是回來看一看產品的收益率。
當用戶的產品資金贖回之後，又有大量的交互事件產生，實際上他處在下一款產品購買的決策期。
二、互聯網金融用戶運營的三大步驟
針對互聯網金融用戶行為的四個特徵，在用戶運營上有三個比較重要的階段性工作：
1.首先，獲取可能購買的目標用戶，合理配置在渠道上的投放預算，以提高高質量用戶獲取的比例：
渠道工作的核心，主要是做好兩方面的工作：宏觀層面，優化整個渠道的配置；微觀層面，單一渠道角度來說，根據渠道配置的策略，有針對性地實施和調整。
具體渠道的實施，大家都比較熟悉，但是對於整個渠道組合配置的優化，很多人接觸的其實並不多。
這張圖是整體轉化漏斗，從不同維度可以做對比，比如我們先選出流量前 10 的渠道：
以渠道一為例，總體的轉化率是 0.02%；在過去 30 天站內總體的流量是 18.9K，漏斗第一級到第二級的轉化率是 3.36%，這樣一共是五級，我們看到最終渠道一帶來總體的成交用戶一共是 4 人。
類似的，前 10 的渠道數據都很清晰。不同渠道帶來的流量，不同渠道總體的轉化率，以及不同渠道在整個轉化路徑上每步的轉化率都可以看到。
這裡面有幾個渠道很有特點：
渠道一的特點，渠道一帶來的流量是所有 10 個渠道里最大的，但是它的總體轉化率卻是低的；
渠道二和渠道七，渠道二的量很大，但是轉化率是零。渠道七量比較一般，轉化率也是零；
渠道九和渠道十，這兩個渠道是所有渠道里轉化率最高的。但是這兩個渠道特點，是帶來流量不是特別大……
第一象限（右上角）渠道質量又高，帶來流量又大的，這裡面渠道三四五是符合這個特徵的，渠道策略應該是繼續保持和提高渠道的投入。
第二象限（左上角）渠道的質量比較高，但帶來的流量比較小，這裡麵包含的主要渠道就是八九十。對應的主要策略是，加大渠道的投放，並且在加大投放的過程中，要持續關注渠道質量的變化。
我們先看第四象限（右下角），渠道質量比較差，但是帶來流量比較大，這裡面主要有渠道一和渠道二。相對應的渠道策略，應該在渠道做更加精準的投放，來提高整個渠道的質量。
第三象限（左下角）這個象限里渠道質量又差，帶來流量又小，比如渠道六跟渠道七。我們是否要直接砍掉？這里建議是，策略上要比較謹慎一些。所以在具體渠道的策略上，業績保持監測，然後小步調整。
根據上面數據分析得出的結果，做過渠道優化後，就會為我們帶來更多高質量的用戶。
2.接下來就要把高價值的用戶——真正有購買需求，願意付費、購買的用戶找出來。
將資源與精力投入到真正可能購買的用戶上的前提是，我們要能夠識別出，哪些是真正有價值的用戶？哪些是價值偏低的用戶？
其實對於互聯網金融平台來說，甚至所有包含在線交易的平台，用戶的購買意願，是可以從用戶的行為數據上識別出來的。由於互聯網金融平台的特殊性，相比於電商平台來說，商品品類更少，平台功能也更為簡單，所以用戶的行為數據，也更能反應出互聯網金融平台上用戶的購買意願。
把用戶在平台上的所有行為總結一下，核心的行為其實並不多，具體包括：
用戶查看產品列表頁，說明有一些購買意願，點擊某個產品，說明用戶希望有進一步的了解。用戶最終確認了支付，完成了購買，購買流程就走完了，他的理財需求已經得到了滿足。每一種行為都表示出用戶不同程度的購買意願，所以獲得用戶在產品里的行為數據就十分重要。
既然用戶行為數據這么重要，那麼怎樣獲取呢？GrowingIO 以無埋點的方式，全量採集用戶所有的行為數據，根據我們對業務的需求，配比成不同的權重系數，並按照每個用戶購買意願的強弱，進一步分群。
這是我們一個客戶製作的用戶購買意願指標的範例，剛才的前 5 個行為，都是用戶在購買前典型的行為：
每種典型事件的權重系數不一樣，用戶購買意願是越來越強的：用戶點了投資按紐，甚至點了提交的按鈕，顯然要比他單單看產品列表頁，或者單單看產品頁、詳情頁的意願強。越能反應用戶購買意願的事件，你給它分類的權重應該是最大的，這是大的原則，0.05 還是 0.06 影響並不大，所以不必糾結。
這樣通過這種方式，我們就可以按照每個用戶的所有行為，給用戶做購買意願打分的指標，最終形成用戶購買意願的指標。
這是我們從高到低截取部分用戶購買意願打分的情況，第一列是每個用戶的 ID，第二列是按照購買意願給每個用戶打分的情況。得分高的，就是購買意願最強烈的用戶。
拿到所有用戶購買意願之後，我們就可以按照用戶購買意願的強烈與否，把所有的用戶分成不同的群體，來做針對性的運營。
這是在把用戶在過去 14 天內，由其產生的所有行為數據，按照購買意願打分的權重，把打分大於 5 的用戶找出來，在總體用戶里，這部分用戶購買意願排名前 20% ，我們給它起個名字，叫購買意願強烈的用戶。
類似我們還做了購買意願中等的用戶分群，這是購買意願排名在 20-60% 之間的用戶；購買意願排名在最後 40% 的用戶，是購買意願最弱的用戶分群。
分群之後，點擊任意一個分群，都會以用戶 ID 的形式列出來。因為你要有用戶的 ID ，才能對這些用戶施加運營策略。每個用戶最近 30 天的訪問次數，最近的訪問地點，最後一次訪問時間都可以看到。
接下來針對這些購買意願強烈的用戶，怎樣推動用戶的轉化呢？
3.採取針對性的運營策略，提高高價值用戶的轉化率。
首先我們來看一下購買偏好，互聯網金融平台商品品類是比較少的，用戶購買的目的性也比較清晰，一般商品的品類有這么幾種：
第一種：債券型理財產品
第二種：股票型理財產品
第三種：貨幣型理財產品
第四種：指數型理財產品
第五種：混合型理財產品…
我們把用戶在不同品類商品上的訪問時長佔比算出來，就能比較好地了解用戶的購買偏好。比如下圖，我們用用戶訪問債券型產品詳情頁的訪問時長，除以用戶在站內總體的訪問時長，就能夠得到用戶在債券產品上訪問時長佔比的指標。
我們還是使用用戶分群的工具，把在債券型產品上的訪問時長佔比大於40%的用戶分出來，這是有非常強烈表徵的客戶，他購買的偏好就是債券型的產品。
同時我們再設定另外一個指標，比如用戶購買意願指標，之前我們做過大於5，也就是購買意願排名在前 20% 的。
通過這兩個條件，我們就可以把購買偏好是債券型產品，同時有強烈購買意願的用戶找出來，這兩個指標的關系是並（and）的關系。同樣我們可以按照用戶的購買偏好，把關注其他品類的用戶，都做成不同的用戶分群，然後形成不同購買偏好的用戶群體。
針對這些用戶，其實在運營策略上，我們可以從三個層面來展開來進行做：
從購買階段的角度，首先我們把所有用戶可以分成新客和老客。對於這兩個群體來說，運營策略和運營重點是非常不一樣的。
新客群體，是從來沒有在平台上發生過購買的用戶，我們要根據用戶的購買意願，做進一步的運營。
老客群體，也就是在平台上已經發生過產品購買的用戶，除了關注用戶的購買意願之外，用戶的資金狀態（資金是否贖回）也是非常重要的參數。
用戶是否購買過產品？購買產品的用戶是否已經贖回資金？這兩個內容，其實是一個用戶當前的屬性。在我們分群的工作里，這有個維度的菜單，通過這個維度菜單，我們就可以把具有某種屬性的用戶找出來：
這里我做了一個分群，我們可以看一下。在維度的菜單里，我們把是否購買過產品的維度值設置成了 1 。把資金是否已經贖回這個維度的值，也設置成了 1 。實際上是把那些資金已經贖回的老用戶找出來；同樣在指標這個菜單里，我們同時也把有強烈購買意願的用戶找出來，時間是過去 14 天，指標大於 5 。
這樣我們就製作了一個用戶分群，而這個用戶分群里所有用戶，要滿足下面的三個特徵：
特徵一：購買過產品的老客。
特徵二：他們的資金，目前已經贖回了。
特徵三：過去 14 天內的行為數據，表明這個用戶有著強烈的購買意願。
同理我們把所有用戶，整理為下面幾個不同類別，對應不同的運營策略：
比如新客里，當前有購買意願的，其實他屬於購買決策期的新用戶。應該根據用戶的購買偏好，推薦這種比較優質的理財產品。並給予一定的購買激勵，來促進這些新客在平台上的第一次購買，這個對於新客來說是非常重要的，以此類推。
相比於電商或者其他行業，互聯網金融平台結合行業和用戶的特點，從用戶行為數據分析的角度，驅動產品業務以及提高用戶的轉化率，有更加重要的意義。
G. 企業如何最快的抓取互聯網數據
找網路，或者一些專門提供數據參考的公司。
H. 求推薦幾本關於「互聯網金融數據抓取方法研究」這個主題的中、外文獻 越多越好
你好，互聯網金融數據的抓取歸根結底屬於網頁數據抓取的范疇，因此選擇一款通用的網頁數據採集軟體即可，例如八爪魚採集器
如果覺得答案有用，請採納，謝謝！
I. 互聯網金融爬蟲怎麼寫
Previous on 系列教程：
互聯網金融爬蟲怎麼寫－第一課 p2p網貸爬蟲（XPath入門）
互聯網金融爬蟲怎麼寫－第二課 雪球網股票爬蟲（正則表達式入門）
互聯網金融爬蟲怎麼寫－第三課 雪球網股票爬蟲（ajax分析）
哈哈，一小時不見，我又來了，話說出教程就是這么任性，咱們乘熱打鐵，把上節課分析完成但是沒寫的代碼給完成了！
工具要求：教程中主要使用到了 1、神箭手雲爬蟲 框架 這個是爬蟲的基礎，2、Chrome瀏覽器和Chrome的插件XpathHelper 這個用來測試Xpath寫的是否正確 3、Advanced REST Client用來模擬提交請求
基礎知識：本教程中主要用到了一些基礎的js和xpath語法，如果對這兩種語言不熟悉，可以提前先學習下，都很簡單。
還記得我們在遙遠的電商系列爬蟲教程的第一課里提到具體寫爬蟲的幾個步驟嗎？我們沿著路徑再來走一遍：
第一步：確定入口URL
暫且使用這個第一頁的ajax的url鏈接：
[html] view plain
http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12
第二步：區分內容頁和中間頁
這次大家有點犯難了，雖然說每一個股票都有一個單獨的頁面，但是列表頁的信息已經蠻多的了，光爬取列表頁信息就已經夠了，那怎麼區分內容頁和中間頁呢？其實我們只需要將內容頁和中間頁的正則設置成一樣的既可。如下：
[html] view plain
http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12
在提醒大家一下，這里之所以轉義符用了兩個是因為在神箭手中，設置正則時，是字元串設置，需要對轉義符再做一次轉義。
第三步：內容頁抽取規則
由於ajax返回的是json，而神箭手是支持jsonpath的提取方式的，因此提取規則就很簡單了。不過這里要特殊注意的是，由於我們是在列表頁抽取數據，因此數據最頂層相當於是一個列表，我們需要在頂層的field上設置一個列表數據的值。具體抽取規則如下：
[javascript] view plain
fields: [
{
name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代碼",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名稱",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"當前價格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高價格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低價格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}
]
}
]
我簡單抽取了一些信息，其他信息都類似。
好了，主要的代碼基本已經寫好了，剩下的還需要解決兩個問題
1.爬取前需要先訪問一下首頁獲取cookie
2.雖然可以直接加入下一頁，但是一共有多少頁並不知道。
首先對於第一點，我們只需要在beforeCrawl回調中訪問一下首頁即可，神箭手會自動對cookie進行處理和保存，具體代碼如下：
[javascript] view plain
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};
好了，除了下一頁基本已經沒什麼問題了，我們先測試一下看看效果：
數據已經出來了，沒問題，第一頁的數據都有了，那下一頁怎麼處理呢？我們有兩個方案：
第一個方案：
我們可以看到json的返回值中有一個count欄位，這個欄位目測應該是總數據量的值，那沒我們根據這個值，再加上單頁數據條數，我們就可以判斷總共有多少頁了。
第二個方案：
我們先訪問一下，假設頁數很大，看看會雪球會返回什麼，我們嘗試訪問第500頁，可以看到返回值中的stocks是0個，那麼我們可以根據是否有數據來判斷需不需要加下一頁。
兩個方案各有利弊，我們這里選擇用第一個方案來處理，具體代碼如下：
[javascript] view plain
configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一頁
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
好了，通過三課的艱苦奮戰，終於完成了雪球滬深一覽的征服。先看下跑出來的效果。
完整代碼如下：
[javascript] view plain
var configs = {
domains: ["xueqiu.com"],
scanUrls: ["http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12"],
contentUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
helperUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
fields: [
{
name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代碼",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名稱",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"當前價格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高價格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低價格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}
]
}
]
};
configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一頁
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};
var crawler = new Crawler(configs);
crawler.start();