金融数据爬虫公司

❶ 互联网金融概念股龙头有哪些

互联网金融平台概念股：用友软件(600588)、内蒙君正(601519)、上海钢联(300229)、生意宝(002095)、焦点科技回(002315)、东方财富(300059)、同花顺答(300033)、赢时胜(300377)、欧浦钢网(002711)、汇金股份(300368)、小商品城(600415)、三六五网(300295)等

❷ 公司最近在做金融行业的舆情监控，有没有推荐的平台

之前来也做过舆情因子的源分析。主要有这么几个渠道吧：
1. 一些互联网平台或者数据提供商：比如网络指数、通联数据的舆情部分；
2.万得、choice等数据终端的舆情功能；
3.自己写Python爬虫在网络上进行实时爬取新闻、提取关键字并监控。

专业性来讲1-3由简到难

❸ 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

？ 匹配前一个字符0次或一次

s 空白字符：[<空格> fv]

S 非空白字符：[^s]

[...] 字符集，对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

❹ 大数据时代，玩“爬虫”可能触犯哪些法律

可能会侵犯一些别人的个人信息和网络安全吧。

❺ 互联网金融爬虫怎么写

Previous on 系列教程：

互联网金融爬虫怎么写－第一课 p2p网贷爬虫（XPath入门）

互联网金融爬虫怎么写－第二课 雪球网股票爬虫（正则表达式入门）
互联网金融爬虫怎么写－第三课 雪球网股票爬虫（ajax分析）

哈哈，一小时不见，我又来了，话说出教程就是这么任性，咱们乘热打铁，把上节课分析完成但是没写的代码给完成了！

工具要求：教程中主要使用到了 1、神箭手云爬虫 框架 这个是爬虫的基础，2、Chrome浏览器和Chrome的插件XpathHelper 这个用来测试Xpath写的是否正确 3、Advanced REST Client用来模拟提交请求
基础知识：本教程中主要用到了一些基础的js和xpath语法，如果对这两种语言不熟悉，可以提前先学习下，都很简单。
还记得我们在遥远的电商系列爬虫教程的第一课里提到具体写爬虫的几个步骤吗？我们沿着路径再来走一遍：

第一步：确定入口URL
暂且使用这个第一页的ajax的url链接：

[html] view plain
http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12

第二步：区分内容页和中间页

这次大家有点犯难了，虽然说每一个股票都有一个单独的页面，但是列表页的信息已经蛮多的了，光爬取列表页信息就已经够了，那怎么区分内容页和中间页呢？其实我们只需要将内容页和中间页的正则设置成一样的既可。如下：

[html] view plain
http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12
在提醒大家一下，这里之所以转义符用了两个是因为在神箭手中，设置正则时，是字符串设置，需要对转义符再做一次转义。

第三步：内容页抽取规则
由于ajax返回的是json，而神箭手是支持jsonpath的提取方式的，因此提取规则就很简单了。不过这里要特殊注意的是，由于我们是在列表页抽取数据，因此数据最顶层相当于是一个列表，我们需要在顶层的field上设置一个列表数据的值。具体抽取规则如下：

[javascript] view plain
fields: [
{
name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代码",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名称",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"当前价格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高价格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低价格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}

]
}
]

我简单抽取了一些信息，其他信息都类似。

好了，主要的代码基本已经写好了，剩下的还需要解决两个问题
1.爬取前需要先访问一下首页获取cookie
2.虽然可以直接加入下一页，但是一共有多少页并不知道。
首先对于第一点，我们只需要在beforeCrawl回调中访问一下首页即可，神箭手会自动对cookie进行处理和保存，具体代码如下：

[javascript] view plain
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};
好了，除了下一页基本已经没什么问题了，我们先测试一下看看效果：

数据已经出来了，没问题，第一页的数据都有了，那下一页怎么处理呢？我们有两个方案：
第一个方案：
我们可以看到json的返回值中有一个count字段，这个字段目测应该是总数据量的值，那没我们根据这个值，再加上单页数据条数，我们就可以判断总共有多少页了。
第二个方案：
我们先访问一下，假设页数很大，看看会雪球会返回什么，我们尝试访问第500页，可以看到返回值中的stocks是0个，那么我们可以根据是否有数据来判断需不需要加下一页。
两个方案各有利弊，我们这里选择用第一个方案来处理，具体代码如下：

[javascript] view plain
configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一页
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
好了，通过三课的艰苦奋战，终于完成了雪球沪深一览的征服。先看下跑出来的效果。

完整代码如下：

[javascript] view plain
var configs = {
domains: ["xueqiu.com"],
scanUrls: ["http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12"],
contentUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
helperUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],
fields: [
{

name: "stocks",
selector: "$.stocks",
selectorType:SelectorType.JsonPath,
repeated: true,
children:[
{
name:"code",
alias:"代码",
selector:"$.code",
selectorType:SelectorType.JsonPath,
},
{
name:"name",
alias:"名称",
selector:"$.name",
selectorType:SelectorType.JsonPath,
},
{
name:"current",
alias:"当前价格",
selector:"$.current",
selectorType:SelectorType.JsonPath,
},
{
name:"high",
alias:"最高价格",
selector:"$.high",
selectorType:SelectorType.JsonPath,
},
{
name:"low",
alias:"最低价格",
selector:"$.low",
selectorType:SelectorType.JsonPath,
}

]
}

]
};

configs.onProcessHelperPage = function(page, content, site){
if(page.url.indexOf("page=1&size=30") !== -1){
//如果是第一页
var result = JSON.parse(page.raw);
var count = result.count.count;
var page_num = Math.ceil(count/30);
if(page_num > 1){
for(var i = 2;i<=page_num;i++){
site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");
}
}
}
};
configs.beforeCrawl = function(site){
site.requestUrl("http://xueqiu.com");
};

var crawler = new Crawler(configs);
crawler.start();

❻ 如何用大数据分析金融数据

任何数据分析的前提是首先要理解业务模型，从你的金融数据是怎么产生的，包括回哪些指标哪些数据，你的答分析是要为什么业务服务的，也就是你的目的。比如你分析金融数据的目的是要找出最有价值的金融产品，还是最有价值的客户，还是寻找最有效的成本节约途径等

在弄清楚你的分析目的，和理解清楚你的业务模式等之后，再考虑你需要采用哪些数据，采用什么方法来进行分析，这才涉及到如何进行具体的分析过程。

从整个大数据分析来看，前期的业务理解和数据整理大概要耗费一大半的精力和时间，弄清楚前期，后期的分析则会很快。

❼ 请问某些资讯网站的实时财经新闻（如金十数据)是如何做到的是用爬虫对相关网页实现的吗

大部分都是通过通讯社的终端或者咨询公司的终端（后台）收集信息，只进行简单编辑就发送。四大社都是编辑世界新闻机构，以美联社为例，全球200多个分社记者站，确保在世界范围内有新闻都会第一时间得到消息，然后像金十数据这样的金融服务终端和这些通讯社有合作，他们通过通讯社获取到新闻源后再考虑是否投入能力进行深度报道，如果是简讯的话，通讯社的信息编辑后发送即可。

❽ 会python，pandas，excel输出，爬虫能找什么类型的工作

互联网公司
风控相关
金融数据分析相关
后两个对数学理论要求比较高，编程倒是其次了

❾ #数据分析专员#大家觉得在哪个行业做数据分析发展前景好985统计学本科毕业生，目前有咨询公司，房

很多行业都可以数据分析，但是没有it部门支撑的公司更本没有数据可以分析，或者数据不能相互打通。很多电商由于是天猫京东的店铺，其数据不在自己手上，因为网页都是平台的。当然了一般的数据分析与数据挖掘还是有比较大的区别的。如果你所在的电商公司有自己app或网站是有很多分析的机会的。房地产更多是经济数据与房地产销售数据，其他需要爬虫it。教育培训我就不太了解了，如果有线上的就很像电商了，但没用怎么听过与学习方法相关的数据分析。 来自职Q用户：郭先生
电商会好点，咨询公司面计较浅个人觉得 来自职Q用户：李女士

❿ Python面试数据分析，爬虫和深度学习一般都问什么问题，笔试题目考哪些

一面: 技术面试

面试官是一个比较老练的技术总监，貌似80后：

1. 你先简单做个自我介绍吧。

答：恩，好的，面试官你好，很高兴能来到贵公司面试爬虫工程师一职。我叫XXX，来自于***，毕业于****大学，**学历。（如果专业不是计算机专业，就不要介绍自己的专业，如果是大专以下学历，也不要说自己学历，扬长避短这个道理大家应该都懂得）有2年多爬虫工作经验（如果真实是1年多，就说2年，如果真实是2年多就说3年），工作过2家公司（公司尽量不要说太多，如果2-3年经验说2家就好，以免说的过多让人觉得这人太容易干一段不干，说的太少，可能在一个公司技术积累比较单一），第一家是从实习开始工作的。我就主要介绍下我上家公司的情况吧。我上家公司是****，是一家外包公司（如果是培训班毕业的尽可能说外包，因为在外包公司，任何项目都可能做，方便后面很多问题的解释），我在这家公司做了一年多，这家公司在****。我们这家公司是共有50多人。我在里面负责公司的数据采集爬取，数据处理，绘图分析等（爬虫爬下来的数据很多都会进行一些清洗，可以把自己数据处理，绘图的经验说出来，增加优势，如果没有的话，就业余花时间去学习这方面，常规的方法都不难）。期间主要负责了集团对一些招聘网站、电商网站、金融网站、汽车网站（如果是单一业务的公司，你可能就说不了这么多种类了，一般采集的数据都会比较单一，这就体现了说外包的好处）。我之所以在上家公司离职是因为上家的公司项目基本都已经做完上线了，后面又接的项目感觉挑战性不大，希望寻找一个平台做更多的项目（这个离职原因因人而异，如果换城市的话也可以简单粗暴说我家人、朋友在这边，如果还是同一个城市的话也可以按照我的那样说，也可以其他方式，但是建议不要说公司经营不好之类的，不喜欢这家公司等等，经营不好可能跟公司员工也有关系，如果回答不喜欢上家公司，面试官会接着问，为什么不喜欢，如果我们公司也是这种情况，你会不喜欢吗，面试offer几率就会大大减少）。因为来之前了解过贵公司，现在主要做金融数据采集的任务，后面也会进行一些大数据分析的工作，觉得项目规划很有远见就过来了。（面试前先查下公司底细，知己知彼）因为我在之前公司做过爬虫、分析方面的工作，贵公司的这个项目也刚好是处于初期阶段，我非常喜欢贵公司的这些项目。并且我认为我有能力将贵公司的项目做好，能胜任贵公司爬虫工程师一职，我的情况大概就是这样，您看您们这边还需了解其他什么吗？

2.你主要采集的产业领域有哪些？接触过金融行业吗？

答：我之前主要接触过汽车行业，招聘行业，电商行业，金融行业，金融行业也接触过，但是说实话项目并不是很多，但是技术是相通的，可能刚开始不是很熟悉，只要适应一俩个星期都不是问题。

3.介绍爬虫用到的技术

答：requests、scrapy：爬虫框架和分布式爬虫

xpath：网页数据提取

re：正则匹配

numpy、pandas：处理数据

matplotlib:绘图

mysql:数据存储

redis：爬虫数据去重和url去重

云打：处理常规验证码

复杂验证码：用selenium模拟登陆、处理滑块验证码等（滑块验证码有方法，之前破解过滑块验证码，有空我会出个基本使用教程，进行滑块验证码破解，但不一定通用，因为每个网站反爬措施设置都不一样）

4.处理过的最难的验证码？

答：12306点击图片验证码。原理：图片发送给打码平台，平台返回图片位置数值，通过计算返回数字和图片坐标的关系，进行模拟登陆

5.当开发遇到甩锅问题怎么解决？

答：如果是小问题自己感觉影响不大，背锅就背了，毕竟如果是刚入公司很多不懂，可能会犯一些错误，如果是大问题，就找责任人（虚心点，不卑不亢）

二面：人事面试 主要问题:

1.你为什么要从上家公司离职？

答：上家公司离职是因为上家的公司项目基本都已经做完上线了，后面又接的项目感觉挑战性不大，希望寻找一个平台做更多的项目

2.来之前了解过我们公司吗？

答：来之前了解过贵公司，现在主要做金融数据采集的任务，后面也会进行一些大数据分析的工作

3.简单介绍一下你最大的缺点跟优点？

答：我的优点是对工作认真负责，团队协作能力好，缺点是言辞表达需要提高，还有对一些细节的把握（我最大的缺点就是对细节过分追求，有多少人想这样说的，能把自己的缺点说成这么好听的优点，也是666了，这样说面试成绩减10分缺点就老老实实说一点模棱两可的缺点就好了，不要过于滑头，也不要太实在）

4.你怎么理解你应聘的职位，针对你应聘的职位你最擅长的是什么？

答：这份职位不仅仅是爬虫方面的技术岗位，更是学习新知识，探索新领域的一条路，希望能有机会给公司贡献一份力量。最擅长数据采集、处理分析

5.你对加班有什么看法？除了工资，你希望在公司得到什么？

答：1，适当的加班可以接受，过度的加班不能，因为要考虑个人，家庭等因素，同时我也会尽量在规定的时间内完成分配给我的任务，当然加班也希望获得相应的加班费。2，希望这份工作能让我发挥我的技能专长，这会给我带来一种满足感，我还希望我所做的工作能够对我目前的技能水平形成一个挑战，从而能促使我提升着急。

6.你的期望薪资是多少？

答：我的期望薪资是13K，因为上家公司已经是10k，而且自己也会的东西比较多，前端、后端、爬虫都会，跳槽希望有一定的增长。

7.你什么时候能到岗上班？

答：因为我已经从上家公司离职，可以随时到岗。（想早上班就别托，先答应越早越好）

8.你还有什么要问我的吗？

答：问了公司的福利待遇，上班时间，培养计划。（上班时间是5天制，没有培养计划，项目初创时期）最后结束面试，说这2天会电话通知，因为后面还好几个竞争对手面试。

结论：面试是个概率事件，同时也跟运气有关，在我的话术之上多进行面试总结，多面一些公司，相信大家都能找到理想工作