金融數據爬蟲公司

❶ 互聯網金融概念股龍頭有哪些

互聯網金融平台概念股：用友軟體(600588)、內蒙君正(601519)、上海鋼聯(300229)、生意寶(002095)、焦點科技回(002315)、東方財富(300059)、同花順答(300033)、贏時勝(300377)、歐浦鋼網(002711)、匯金股份(300368)、小商品城(600415)、三六五網(300295)等

❷ 公司最近在做金融行業的輿情監控，有沒有推薦的平台

之前來也做過輿情因子的源分析。主要有這么幾個渠道吧：
1. 一些互聯網平台或者數據提供商：比如網路指數、通聯數據的輿情部分；
2.萬得、choice等數據終端的輿情功能；
3.自己寫Python爬蟲在網路上進行實時爬取新聞、提取關鍵字並監控。

專業性來講1-3由簡到難

❸ 如何用python 爬蟲抓取金融數據

獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。

本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。

一、網頁源碼的獲取

很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。

為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之間的所有代碼pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之間的所有信息

其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。

語法 說明

. 匹配任意除換行符「 」外的字元

* 匹配前一個字元0次或無限次

？ 匹配前一個字元0次或一次

s 空白字元：[<空格> fv]

S 非空白字元：[^s]

[...] 字元集，對應的位置可以是字元集中任意字元

(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容

正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。

三、所得結果的整理

通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。

stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data=='':
stock_last.remove('')

最後，我們可以列印幾列數據看下效果，代碼如下

print('代碼',' ','簡稱',' ',' ','最新價',' ','漲跌幅',' ','漲跌額',' ','5分鍾漲幅')for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

❹ 大數據時代，玩「爬蟲」可能觸犯哪些法律

可能會侵犯一些別人的個人信息和網路安全吧。

❺ 互聯網金融爬蟲怎麼寫

Previous on 系列教程：

互聯網金融爬蟲怎麼寫－第一課 p2p網貸爬蟲（XPath入門）

互聯網金融爬蟲怎麼寫－第二課 雪球網股票爬蟲（正則表達式入門）
互聯網金融爬蟲怎麼寫－第三課 雪球網股票爬蟲（ajax分析）

哈哈，一小時不見，我又來了，話說出教程就是這么任性，咱們乘熱打鐵，把上節課分析完成但是沒寫的代碼給完成了！

工具要求：教程中主要使用到了 1、神箭手雲爬蟲 框架 這個是爬蟲的基礎，2、Chrome瀏覽器和Chrome的插件XpathHelper 這個用來測試Xpath寫的是否正確 3、Advanced REST Client用來模擬提交請求
基礎知識：本教程中主要用到了一些基礎的js和xpath語法，如果對這兩種語言不熟悉，可以提前先學習下，都很簡單。
還記得我們在遙遠的電商系列爬蟲教程的第一課里提到具體寫爬蟲的幾個步驟嗎？我們沿著路徑再來走一遍：

第一步：確定入口URL
暫且使用這個第一頁的ajax的url鏈接：

[html] view plain
http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12

第二步：區分內容頁和中間頁

這次大家有點犯難了，雖然說每一個股票都有一個單獨的頁面，但是列表頁的信息已經蠻多的了，光爬取列表頁信息就已經夠了，那怎麼區分內容頁和中間頁呢？其實我們只需要將內容頁和中間頁的正則設置成一樣的既可。如下：

[html] view plain
http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12
在提醒大家一下，這里之所以轉義符用了兩個是因為在神箭手中，設置正則時，是字元串設置，需要對轉義符再做一次轉義。

第三步：內容頁抽取規則
由於ajax返回的是json，而神箭手是支持jsonpath的提取方式的，因此提取規則就很簡單了。不過這里要特殊注意的是，由於我們是在列表頁抽取數據，因此數據最頂層相當於是一個列表，我們需要在頂層的field上設置一個列表數據的值。具體抽取規則如下：

[javascript] view plain
fields: [
{
name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代碼",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名稱",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"當前價格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高價格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低價格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}

]
}
]

我簡單抽取了一些信息，其他信息都類似。

好了，主要的代碼基本已經寫好了，剩下的還需要解決兩個問題
1.爬取前需要先訪問一下首頁獲取cookie
2.雖然可以直接加入下一頁，但是一共有多少頁並不知道。
首先對於第一點，我們只需要在beforeCrawl回調中訪問一下首頁即可，神箭手會自動對cookie進行處理和保存，具體代碼如下：

[javascript] view plain
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};
好了，除了下一頁基本已經沒什麼問題了，我們先測試一下看看效果：

數據已經出來了，沒問題，第一頁的數據都有了，那下一頁怎麼處理呢？我們有兩個方案：
第一個方案：
我們可以看到json的返回值中有一個count欄位，這個欄位目測應該是總數據量的值，那沒我們根據這個值，再加上單頁數據條數，我們就可以判斷總共有多少頁了。
第二個方案：
我們先訪問一下，假設頁數很大，看看會雪球會返回什麼，我們嘗試訪問第500頁，可以看到返回值中的stocks是0個，那麼我們可以根據是否有數據來判斷需不需要加下一頁。
兩個方案各有利弊，我們這里選擇用第一個方案來處理，具體代碼如下：

[javascript] view plain
configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一頁
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
好了，通過三課的艱苦奮戰，終於完成了雪球滬深一覽的征服。先看下跑出來的效果。

完整代碼如下：

[javascript] view plain
var configs = {
domains: ["xueqiu.com"],
scanUrls: ["http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12"],
contentUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
helperUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
fields: [
{

name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代碼",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名稱",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"當前價格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高價格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低價格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}

]
}

]
};

configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一頁
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};

var crawler = new Crawler(configs);
crawler.start();

❻ 如何用大數據分析金融數據

任何數據分析的前提是首先要理解業務模型，從你的金融數據是怎麼產生的，包括回哪些指標哪些數據，你的答分析是要為什麼業務服務的，也就是你的目的。比如你分析金融數據的目的是要找出最有價值的金融產品，還是最有價值的客戶，還是尋找最有效的成本節約途徑等

在弄清楚你的分析目的，和理解清楚你的業務模式等之後，再考慮你需要採用哪些數據，採用什麼方法來進行分析，這才涉及到如何進行具體的分析過程。

從整個大數據分析來看，前期的業務理解和數據整理大概要耗費一大半的精力和時間，弄清楚前期，後期的分析則會很快。

❼ 請問某些資訊網站的實時財經新聞（如金十數據)是如何做到的是用爬蟲對相關網頁實現的嗎

大部分都是通過通訊社的終端或者咨詢公司的終端（後台）收集信息，只進行簡單編輯就發送。四大社都是編輯世界新聞機構，以美聯社為例，全球200多個分社記者站，確保在世界范圍內有新聞都會第一時間得到消息，然後像金十數據這樣的金融服務終端和這些通訊社有合作，他們通過通訊社獲取到新聞源後再考慮是否投入能力進行深度報道，如果是簡訊的話，通訊社的信息編輯後發送即可。

❽ 會python，pandas，excel輸出，爬蟲能找什麼類型的工作

互聯網公司
風控相關
金融數據分析相關
後兩個對數學理論要求比較高，編程倒是其次了

❾ #數據分析專員#大家覺得在哪個行業做數據分析發展前景好985統計學本科畢業生，目前有咨詢公司，房

很多行業都可以數據分析，但是沒有it部門支撐的公司更本沒有數據可以分析，或者數據不能相互打通。很多電商由於是天貓京東的店鋪，其數據不在自己手上，因為網頁都是平台的。當然了一般的數據分析與數據挖掘還是有比較大的區別的。如果你所在的電商公司有自己app或網站是有很多分析的機會的。房地產更多是經濟數據與房地產銷售數據，其他需要爬蟲it。教育培訓我就不太了解了，如果有線上的就很像電商了，但沒用怎麼聽過與學習方法相關的數據分析。 來自職Q用戶：郭先生
電商會好點，咨詢公司面計較淺個人覺得 來自職Q用戶：李女士

❿ Python面試數據分析，爬蟲和深度學習一般都問什麼問題，筆試題目考哪些

一面: 技術面試

面試官是一個比較老練的技術總監，貌似80後：

1. 你先簡單做個自我介紹吧。

答：恩，好的，面試官你好，很高興能來到貴公司面試爬蟲工程師一職。我叫XXX，來自於***，畢業於****大學，**學歷。（如果專業不是計算機專業，就不要介紹自己的專業，如果是大專以下學歷，也不要說自己學歷，揚長避短這個道理大家應該都懂得）有2年多爬蟲工作經驗（如果真實是1年多，就說2年，如果真實是2年多就說3年），工作過2家公司（公司盡量不要說太多，如果2-3年經驗說2家就好，以免說的過多讓人覺得這人太容易干一段不幹，說的太少，可能在一個公司技術積累比較單一），第一家是從實習開始工作的。我就主要介紹下我上家公司的情況吧。我上家公司是****，是一家外包公司（如果是培訓班畢業的盡可能說外包，因為在外包公司，任何項目都可能做，方便後面很多問題的解釋），我在這家公司做了一年多，這家公司在****。我們這家公司是共有50多人。我在裡面負責公司的數據採集爬取，數據處理，繪圖分析等（爬蟲爬下來的數據很多都會進行一些清洗，可以把自己數據處理，繪圖的經驗說出來，增加優勢，如果沒有的話，就業余花時間去學習這方面，常規的方法都不難）。期間主要負責了集團對一些招聘網站、電商網站、金融網站、汽車網站（如果是單一業務的公司，你可能就說不了這么多種類了，一般採集的數據都會比較單一，這就體現了說外包的好處）。我之所以在上家公司離職是因為上家的公司項目基本都已經做完上線了，後面又接的項目感覺挑戰性不大，希望尋找一個平台做更多的項目（這個離職原因因人而異，如果換城市的話也可以簡單粗暴說我家人、朋友在這邊，如果還是同一個城市的話也可以按照我的那樣說，也可以其他方式，但是建議不要說公司經營不好之類的，不喜歡這家公司等等，經營不好可能跟公司員工也有關系，如果回答不喜歡上家公司，面試官會接著問，為什麼不喜歡，如果我們公司也是這種情況，你會不喜歡嗎，面試offer幾率就會大大減少）。因為來之前了解過貴公司，現在主要做金融數據採集的任務，後面也會進行一些大數據分析的工作，覺得項目規劃很有遠見就過來了。（面試前先查下公司底細，知己知彼）因為我在之前公司做過爬蟲、分析方面的工作，貴公司的這個項目也剛好是處於初期階段，我非常喜歡貴公司的這些項目。並且我認為我有能力將貴公司的項目做好，能勝任貴公司爬蟲工程師一職，我的情況大概就是這樣，您看您們這邊還需了解其他什麼嗎？

2.你主要採集的產業領域有哪些？接觸過金融行業嗎？

答：我之前主要接觸過汽車行業，招聘行業，電商行業，金融行業，金融行業也接觸過，但是說實話項目並不是很多，但是技術是相通的，可能剛開始不是很熟悉，只要適應一倆個星期都不是問題。

3.介紹爬蟲用到的技術

答：requests、scrapy：爬蟲框架和分布式爬蟲

xpath：網頁數據提取

re：正則匹配

numpy、pandas：處理數據

matplotlib:繪圖

mysql:數據存儲

redis：爬蟲數據去重和url去重

雲打：處理常規驗證碼

復雜驗證碼：用selenium模擬登陸、處理滑塊驗證碼等（滑塊驗證碼有方法，之前破解過滑塊驗證碼，有空我會出個基本使用教程，進行滑塊驗證碼破解，但不一定通用，因為每個網站反爬措施設置都不一樣）

4.處理過的最難的驗證碼？

答：12306點擊圖片驗證碼。原理：圖片發送給打碼平台，平台返回圖片位置數值，通過計算返回數字和圖片坐標的關系，進行模擬登陸

5.當開發遇到甩鍋問題怎麼解決？

答：如果是小問題自己感覺影響不大，背鍋就背了，畢竟如果是剛入公司很多不懂，可能會犯一些錯誤，如果是大問題，就找責任人（虛心點，不卑不亢）

二面：人事面試 主要問題:

1.你為什麼要從上家公司離職？

答：上家公司離職是因為上家的公司項目基本都已經做完上線了，後面又接的項目感覺挑戰性不大，希望尋找一個平台做更多的項目

2.來之前了解過我們公司嗎？

答：來之前了解過貴公司，現在主要做金融數據採集的任務，後面也會進行一些大數據分析的工作

3.簡單介紹一下你最大的缺點跟優點？

答：我的優點是對工作認真負責，團隊協作能力好，缺點是言辭表達需要提高，還有對一些細節的把握（我最大的缺點就是對細節過分追求，有多少人想這樣說的，能把自己的缺點說成這么好聽的優點，也是666了，這樣說面試成績減10分缺點就老老實實說一點模稜兩可的缺點就好了，不要過於滑頭，也不要太實在）

4.你怎麼理解你應聘的職位，針對你應聘的職位你最擅長的是什麼？

答：這份職位不僅僅是爬蟲方面的技術崗位，更是學習新知識，探索新領域的一條路，希望能有機會給公司貢獻一份力量。最擅長數據採集、處理分析

5.你對加班有什麼看法？除了工資，你希望在公司得到什麼？

答：1，適當的加班可以接受，過度的加班不能，因為要考慮個人，家庭等因素，同時我也會盡量在規定的時間內完成分配給我的任務，當然加班也希望獲得相應的加班費。2，希望這份工作能讓我發揮我的技能專長，這會給我帶來一種滿足感，我還希望我所做的工作能夠對我目前的技能水平形成一個挑戰，從而能促使我提升著急。

6.你的期望薪資是多少？

答：我的期望薪資是13K，因為上家公司已經是10k，而且自己也會的東西比較多，前端、後端、爬蟲都會，跳槽希望有一定的增長。

7.你什麼時候能到崗上班？

答：因為我已經從上家公司離職，可以隨時到崗。（想早上班就別托，先答應越早越好）

8.你還有什麼要問我的嗎？

答：問了公司的福利待遇，上班時間，培養計劃。（上班時間是5天制，沒有培養計劃，項目初創時期）最後結束面試，說這2天會電話通知，因為後面還好幾個競爭對手面試。

結論：面試是個概率事件，同時也跟運氣有關，在我的話術之上多進行面試總結，多面一些公司，相信大家都能找到理想工作