网页设计模板网站,网站建设措施,杭州建设网站 网站建设,网站常用插件数据是一切量化研究的前提。 做量化没有数据#xff0c;就相当于做饭时没有食材。
很多时候#xff0c;我们需要从大量的数据中寻找规律#xff0c;并从中开发出策略。如果我们每次使用的时候#xff0c;都从网上去找数据#xff0c;一方面效率低下#xff0c;另一方面短…数据是一切量化研究的前提。 做量化没有数据就相当于做饭时没有食材。
很多时候我们需要从大量的数据中寻找规律并从中开发出策略。如果我们每次使用的时候都从网上去找数据一方面效率低下另一方面短时间大量的数据请求也很有可能招致封禁。
因此搭建属于自己的金融数据库势在必行
很多人没有经验会不自觉地产生畏难情绪其实这个事情远没有大家想象的那么复杂。在这一系列文章中我会一步一步地教会大家如何搭建好属于自己的金融数据库。
这个过程中可能有些技能你从来没有接触过比如编程。但是没关系我之后会将过程中所有需要的代码打包提供出来也可以提供一些咨询服务。我也在准备录制一系列视频教程方便零基础的朋友更直观地学习每一个步骤。
接下来我先简单帮大家串一下搭建自用金融数据库的核心步骤有哪些。
一、部署数据库服务 我们的数据需要有一个载体就像储存水的时候需要一个容器一样。
根据老Q的经验上手成本最低的方法主要有两类一是用本地文件的形式来存储数据二是使用关系型数据库来存储数据。
通过本地文件来进行大数据研究是一种效率非常低下的形式数据的更新维护成本也相对较高因此我比较推荐第二种。
那么部署一个关系型数据库需要什么条件呢首先我们需要有一台设备 这个设备可以是你的个人电脑可以是一台服务器也可以是一台支持Docker服务的NAS。
这些方案都有什么优劣呢
方案优势劣势个人电脑成本较低可以直接使用平时做量化研究的电脑来部署数据库。存储空间可能受限且因为个人电脑一般不会随时随地开机并联网因此数据并不是随时随地可用的。服务器理论上云服务商的服务器甚至是数据库服务是最稳健的选择平台稳定、工具完善。成本较高访问速度受限于自己开通的服务器带宽以及家中网络的带宽。NAS空间大、成本低。24小时运行只要家中不断电断网数据随时随地可用。性能一般较差但大部分情况下也够用了。云服务商提供的数据库服务性能也就那样。组合使用狡兔三窟稳健随时可用。成本高。
我自己的方案是组合使用我在阿里云服务器、家中的个人服务器和NAS上都部署了数据库并且配置了主从同步。这样的一个好处是我把同一份数据在三个地方存储了一般来说总有一个地方可以用同时都出问题的概率比较低。
我平时在家做投研时主要使用家中的个人服务器毕竟性能强劲且内网带宽基本不存在什么瓶颈问题。但是如果你是一个零基础的研究者我建议选择个人电脑或者NAS强烈推荐 两千左右就能买到一台性能还不错的支持Docker的NAS。
在选择了硬件之后软件方面我建议大家直接选择开源免费的MySQL群众基础好文档资源丰富搭建过程比较简单。
之后的章节里我会手把手教大家如何在不同的设备上部署数据库服务。
二、找到可用的数据源
我罗列了一些常用的数据源大家可以根据自己的实际情况来进行选择。我自己是以tushare和爬虫抓取为主、理杏仁为辅。在之后的章节里我会详细演示如何从这些平台获取数据。
数据源获取方式费用难度维护成本券商网站爬虫免费高高财经网站爬虫免费高高tushare接口调用较低较低较低理杏仁接口调用适中较低较低量化平台掘金/聚宽/米筐/优矿……接口调用一般平台内使用免费本地获取收费昂贵。掘金量化可以本地免费使用但支持的数据有限。较低较低财经数据库Wind/iFind/iChoice接口调用金融终端下载昂贵较低较低量化交易工具QMT/Ptrade接口调用终端内使用券商开户免费有门槛较低较低官方统计网站爬虫/下载免费低较低
三、创建数据库和数据表
对于初学者来说想要数据库好用最核心的地方就是设计好表结构和索引。
比如我们可能会有多个数据库分别存放股票、指数、外汇等资产相关的数据同时在一个数据库下我们还会在不同表里存储行情、财务、基本资料、技术指标等数据。
一般来说我们为了提高数据的使用效率会把常常一起使用且主键一致的数据放到一张表里不常一起使用的数据则分开存放避免冗余的存储和扫描。
这些技术细节还是等后续我们讲到的时候再展开聊大家看不懂也没关系我会直接提供好这些常用数据表的创建语句。
四、写入数据并定期更新 比较理想的情况是在最开始一次性灌入历史所有数据然后再每天定时更新最新的数据。这种情况需要你有一台电脑能部署一些脚本。
不会编程的朋友也不必发愁这些我都会逐一讲到也会将全部脚本打包提供到时候大家就按照老Q的教程配置好就行。 做完上述这些步骤以后你就有了属于自己的好用的金融数据库了接下来就可以愉快地玩耍了关注后续更新老Q手把手带你完成量化研究的准备工作
