2、数据
数据是金融量化和人工智能的根基,海量、稳定、高效。
2.1 分类
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiIwczX0xiRGZkRGZ0Xy9GbvNGL2EzXlpXazxSPj1mYsp1VkBnRYRmb1cVWxg2MMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2X0hXZ0xCMx81dvRWYoNHLrdEZwZ1Rh5WNXp1bwNjW1ZUba9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnLyYTM1MDNzIjM2ETNwAjMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
注意:
Tick 数据如下,每隔 500 ms,就会得到一次最新数据(只是 500ms 后那一时刻的数据,没有 500ms 之间产生的数据)
2.2 数据采集
实时采集、Tushare 使用、通联数据(datayes)、wind 数据、RiceQuant、淘宝购买数据、网站共享爬网。
2.2.1 实时采集
2.2.2 Tushare
Tushare 是一个免费、开源的 python 财经数据接口包。
VNPY 主要实现对股票等金融日线数据的处理,从数据采集、清洗加工到数据存储的过程。其支持的数据种类比较丰富,API 设计也是围绕着 pandas 来进行的。
Tushare 使用了通联的接口,通联有tick数据,但是需要付费,Tushare没有tick,只有分钟级别的数据。
Tushare 股票大部分使用新浪的数据。
import tushare as ts
df = ts.get_hist_data("600000") #一次性获取全部日k线数据
print(df.head(10))
2.2.3 通联数据(DataYes)
通联数据是国内目前最大的开放金融数据平台,整合了包括股票、基金、期货和港股方面的全品类金融数据。
Data API 返回HTTP JSON 和 CSV 格式数据,任何语言都可以直接调用 HTTP API,以获得数据。
参考:https://www.liaoxuefeng.com/wiki/1022910821149312/1105000713418592
接口:
getFutureTickRTIntraDay:获取一只期货在本清算日内某时间段的行情信息
getFutureBarRTIntraDay:获取当日期货分钟线
getMktFutd:期货日行情(主力以持仓计算)
import sys
sys.path.append("..")
from ctaAlgo.datayesClient import DatayesClient
def demo():
datayes_client = DatayesClient()
path = "api/market/getMktFutd.json"
params = {}
params['ticker'] = 'rb1705'
params['beginDate'] = '20170101'
params['endDate'] = '20170315'
result = datayes_client.downloadData(path, params)
print result
if __name__ == '__main__':
demo()
2.2.4 WIND 数据
·Wind Datafeed 服务:老牌、服务好、收费
·中国市场的精准金融数据服务供应商,为量化投资与各类金融业务系统提供准确、及时、完整的落地数据、内容涵盖股票、债券、基金、衍生品、指数、宏观行业等各类金融市场数据。
·python API:
w.wsd:获取历史序列数据
w.wsi:获取分钟数据
w.wst:获取日内 tick 级数据
w.wss:获取历史界面数据(针对股票为主)
w.wsq:获取和订阅实时行情数据(需要指定回调函数)
目前,python API 只能在 windows 平台使用。
2.2.5 RICEQUANT
RiceQuant 是一家提供在线回测的量化科技公司,推出了 RQData 和 RQAlpha。
·RQData :提供所有的远程数据。(基于 python3)
·RQAlpha:本地运行策略,更安全,数据可以是RQData,也可以是本地数据。
RQDataC,供用户本地快速调用远程数据。
2.3 数据处理
如何有效的清洗、处理数据?
2.4 数据存储与服务
参考:
https://www.bilibili.com/video/BV1yJ411u7WG?from=search&seid=2047786539449537546