python获取所有股票历史数据
A. windpy python w.wsd获取哪些历史行情数据
获取哪些历史行情数据
结果显示：
[html]
root@zhou:/home/zhouqian/python# py value_keys.py test.txt
ssss
2 key3 => ['6', '33']
3 key2 => ['1', '2', '45']
3 key1 => ['4', '5', '13']
遇到的问题总结：
split的用法：line.split()就是分开出左右两边的值，在默认的情况下是以一个空格或者多个空格为分割符的，
has_key()的用法：是查看字典数据类型中有没有这么一个关键字。上面可知result={}是初始化了一个字典的数据类型。
B. python用什么方法或者库可以拿到全部股票代码
首先你需要知道哪个网站上有所有股票代码，然后分析这个网站股票代码的存放方式，再利用python写一个爬虫去爬取所有的股票代码
C. python的QSTK中，里面股票的历史数据是包含在包里面么，还是通过网络获取
在 Python的QSTK中，是通过 s_datapath 变量，定义相应股票数据所在的文件夹。一般可以通过 QSDATA 这个环境变量来设置对应的数据文件夹。
具体的股票数据来源，例如沪深、港股等市场，你可以使用免费的WDZ程序输出相应日线、5分钟数据到 s_datapath 变量所指定的文件夹中。然后可使用 Python的QSTK中，qstkutil.DataAccess进行数据访问。
D. 为什么pandas有国内股票数据
都是公开发行上市的股票，当然会有的，Pandas是数据分析工具包
TuShare是国内股票数据抓取工具，除了股票的实时和历史数据，还有基本面数据，加上自然语言处理（比如情绪分析），或者机器学习，就比较有趣了。
E. 怎样遍历任意股票历史数据要求使用循环。
以python+tushare为例：
import tushare as ts
一、遍历所有股票数据：
df=ts.get_stock_basics()
for i in range(len(df)):
df=ts.get_k_data(code=df.code[i], start='2015-12-15', end='2016-08-05')
（但此方法耗时较长，建议遍历之后用pd.to_csv保存到本地，然后每日更新，以后在本地读取数据速度会更快）
二、遍历指定股票数据：
stock_list=['000001','000002','000003']
for i in range(len(df)):
df=ts.get_k_data(code=stock_list[i], start='2015-12-15', end='2016-08-05')
F. 如何选取过去每个月股票的市值 python
类似，可以修改一下
股票涨跌幅数据是量化投资学习的基本数据资料之一，下面以python代码编程为工具，获得所需要的历史数据。主要步骤有：
（1） #按照市值从小到大的顺序活得N支股票的代码；
（2） #分别对这一百只股票进行100支股票操作；
（3） #获取从2016.05.01到2016.11.17的涨跌幅数据；
（4） #选取记录大于40个的数据，去除次新股；
（5） #将文件名名为“股票代码.csv”。
具体代码如下：
# -*- coding: utf-8 -*-
"""
Created on Thu Nov 17 23:04:33 2016
获取股票的历史涨跌幅，并分别存为csv格式
@author: yehxqq151376026
"""
import numpy as np
import pandas as pd
#按照市值从小到大的顺序活得100支股票的代码
df = get_fundamentals(
query(fundamentals.eod_derivative_indicator.market_cap)
.order_by(fundamentals.eod_derivative_indicator.market_cap.asc())
.limit(100),'2016-11-17', '1y'
)
#分别对这一百只股票进行100支股票操作
#获取从2016.05.01到2016.11.17的涨跌幅数据
#选取记录大于40个的数据，去除次新股
#将文件名名为“股票代码.csv”
for stock in range(100):
priceChangeRate = get_price_change_rate(df['market_cap'].columns[stock], '20160501', '20161117')
if priceChangeRate is None:
openDays = 0
else:
openDays = len(priceChangeRate)
if openDays > 40:
tempPrice = priceChangeRate[39:(openDays - 1)]
for rate in range(len(tempPrice)):
tempPrice[rate] = "%.3f" %tempPrice[rate]
fileName = ''
fileName = fileName.join(df['market_cap'].columns[i].split('.')) + '.csv'
fileName
tempPrice.to_csv(fileName)
G. python读取财经数据
提取日期数据基本语法
from WindPy import w
w.start()
当出现.ErrorCode==-103说明没连接上，要start一下
w.wsd(security, fields, startDate = None, endDate= None , options = None)
opion 可选（period, 日期类型， 货币类型，前后复权）
提取财务数据基本语法
w.wss(security, fields, options = None)
提取板块日序列基本语法
w.wses(sectorCode, fields, startDate = None, endDate = None, options = None)
提取板块日截面数据基本语法
w.wsee(sectorCode, fields, options=None)
提取宏观数据基本语法
w.edb(codes, startDate =None, endDate =None, options=None)
1.日期序列基本语法
ts.get_hist_data(stock,start,end)
注意：1.stock不能是集合,只能单个股票 2.需要带上.sz或.sh 3.没有field，只能取出数据后再切除.
2.pro用法
pro.daily(code, start, end, fields)
tushare引用语句
弊端也很明显，一方面不能stock集合输入，一次只能调取一个股票对应数据，另一方面tushare虽是免费试用，但有权限限制。
基本语法
wb.get_data_yahoo(code, start, end)
wb.DataReader(code, 'yahoo', start, end)
没法添加fields, 虽能集合适用，但出来的索引挺奇怪的
推荐使用定义函数或用for循环批量获取数据
总体感觉wind api最舒服，但需要账号，mac也不能直接调用wind api。还是推荐tushare的pro用法。
小白学习中，请指教=v=
H. 如何用python 爬虫抓取金融数据
获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。
本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。
一、网页源码的获取
很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。
为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。
pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息
其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。
语法 说明
. 匹配任意除换行符“ ”外的字符
* 匹配前一个字符0次或无限次
？ 匹配前一个字符0次或一次
s 空白字符：[<空格> fv]
S 非空白字符：[^s]
[...] 字符集，对应的位置可以是字符集中任意字符
(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容
正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。
三、所得结果的整理
通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。
stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')
最后，我们可以打印几列数据看下效果，代码如下
print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])
I. 股票池如何用python构建
股票池用python构建的方法是：使用第三方平台，目前可以使用的是聚宽，对比一下聚宽、优矿、大宽网（已经倒闭了），都大同小异，选哪个都一样。
虽然这些平台都大同小异，但是代码可不能简单复制粘贴，因为底层函数库是不一样的，有可能在别的平台根本用不了某个函数，并且简单复制到自己电脑中的python的话百分之百用不了。
代码的思路是，每个月底进行调仓，选出市值最小的股票交易，去掉ST/*ST/停牌/涨停的股票，然后选择最小市值的10只，基准是创业板综指，看看结果。
python构建数据获取方法是：
这里使用为了接下来的操作需要将一定历史范围的股票数据下载下来，这里下载起始时间为20160101，截至时间为运行代码的时间范围的历史日线数据。
这里以tushare为例, tushare获取历史数据有两种方式。
第一种是以迭代历史交易日的方式获取所有历史数据，假设获取三年的历史数据，一年一般220个交易日左右，那么3年需要请求660多次左右，如果以这种方式的话，就下载数据的时间只需要1分钟多点的样子。
第二种是以迭代所有股票代码的方式获取所有历史数据，股票数量有大概3800多个，需要请求3800多次，但是在积分有限的情况下一分钟最多请求500次，也就意味着仅下载数据的时间至少需要大概8分钟时间。
理论上，你获取的历史范围超过17.3年，那么使用第一种方式才比第二种方式快。