天天看点

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

量化开发期间,每次都获取券商数据,总是一个麻烦事。所以搭建一个本地的数据库进行存储,可以节约很多不必要的性能和资源开销。一般情况下,建议使用clickhouse数据库来当做你的数据库存储。不过本文章为了快速入门,就以postgresql为例来做数据库存储。

本地postgresql我使用的debian系统进行安装。使用debian的原因:debian的shell操作可以兼容更多的Linux系列操作系统,例如Ubuntu系列、华为欧拉系列、麒麟操作系统系列等。

步骤 1: 更新系统

首先,确保你的系统是最新的。打开终端并执行:

sudo apt update              sudo apt upgrade           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

步骤 2: 安装PostgreSQL

Debian的官方仓库中包含了PostgreSQL。你可以直接安装最新的PostgreSQL版本。运行以下命令来安装:

sudo apt install postgresql           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

步骤 3: 启动和启用服务

安装完成后,PostgreSQL服务通常会自动启动。你可以检查服务状态:

sudo systemctl status postgresql           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

如果服务没有运行,你可以启动并设置开机启动:

sudo systemctl start postgresql              sudo systemctl enable postgresql           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

步骤 4: 创建数据库和用户

安装完毕后,你可以开始创建数据库和用户。首先,切换到postgres用户:

sudo -i -u postgres           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

然后,你可以进入PostgreSQL命令行界面:

psql

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

在这里,你可以创建一个新的用户和数据库,并授予用户权限:

CREATE USER myuser WITH ENCRYPTED PASSWORD 'mypassword';              CREATE DATABASE mydb;              GRANT ALL PRIVILEGES ON DATABASE mydb TO myuser;           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

授予public的权限

-- 给予特定用户对schema 的使用权限

GRANT USAGE ON SCHEMA my_schema TO your_user;           

-- 给予特定用户对 schema 中所有表的所有权限

GRANT ALL ON ALL TABLES IN SCHEMA my_schema TO your_user;           

-- 设置默认权限,以确保将来在 schema 中创建的所有新表都将自动给予特定用户相应权限

ALTER DEFAULT PRIVILEGES IN SCHEMA my_schema GRANT ALL ON TABLES TO your_user;           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

退出psql使用\q,然后回到普通用户使用exit。

步骤 5: 配置远程访问

如果你需要远程连接到你的PostgreSQL数据库,你需要修改postgresql.conf和pg_hba.conf文件。这些文件通常位于/etc/postgresql/版本/main/目录中。

【备注】我当前最新版本是15版本,如果以后你们下载的可能不是15版本,请根据实际版本进行配置。例如配置默认路径里面的15是实际你自己的版本,例如16、17、18等等。

编辑postgresql.conf,设置listen_addresses为'*':

sudo vim /etc/postgresql/15/main/postgresql.conf           

在文件中找到listen_addresses并修改它:

listen_addresses = '*'           

改变前:

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

改变后:

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

编辑pg_hba.conf,添加或修改规则以允许远程连接:

sudo vim /etc/postgresql/15/main/pg_hba.conf           

在合适的位置添加:

# TYPE DATABASE USER ADDRESS METHOD

host all all 0.0.0.0/0 md5           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

重启PostgreSQL服务使更改生效:

sudo systemctl restart postgresql           
C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

然后可以使用一些客户端工具来连接数据库,例如DataGrip、Navicat、Dbeaver等等都可以。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

并且里面没有任何表结构等信息。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

实现根据表名称自动创建指定的表结构。用于存放所有大A的历史数据。先创建一个实体类,并用来指定表字段名称,用于统一生成所有股票的表结构。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

以及预留三个字段,存储DIF、DEA、MACD数据

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

创建一个简单的帮助类,用于操作数据库使用。并且实例创建以后,默认提供一个获取sqlsugarscope对象的方法,以及获取已有表信息的集合。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

最后提供一个创建表结构的方法,用于指定表结构所需要的实体类,以及表名称。表名称此处可以以股票代码为表名称

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

对之前获取股票清单的地方,做一个创建表的操作。此处为了简单操作,大佬们可以对帮助类做其他拓展,以便于支持依赖注入等。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

开始执行,可以看到表结构在持续性创建

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

展开任意一个表,可以看到字段都被成功创建了。后续这些表就会被用于存储对应表名称的股票代码的所有历史数据。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

执行完毕以后,可以看到总共5361个表。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

接下来,在数据库操作帮助类里面,新增CRUD有关操作

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

对获取历史数据的操作,做个改造,获取历史数据以后也计算DIF、DEA、MACD数据,并一起写入数据库:

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

执行获取历史任务job,可以看到刷刷刷的获取记录信息。

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

打开数据库表,查看数据,可以看见数据写入成功,并且dif、dea、macd数据也都记录成功。和通达信等app上面的数据也一致(app显示的是四舍五入以后的数据)

C#/.NET量化开发实现财富自由【5】搭建属于你自己的A谷数据库

等待程序执行完毕,整个历史数据就生成成功了。历史数据可以用来方便计算你的策略的历史模拟战绩,形成你的个人财富。

以上只是抛砖引玉,大家还可以自行保存分钟数据、周数据、每个交易日收盘以后自动新增当天数据等进行维护,此处就不一一列举了。

数据库核心操作帮助类,供参考:

public class DatabaseHelper              {              private DbTableInfo[] _initTables=new DbTableInfo[0];              private SqlSugarScope _sqlScope = ;                  public DatabaseHelper()              {              _sqlScope = GetDbScope();              GetTableList(_sqlScope);              }                  /// <summary>              /// 返回表名称              /// </summary>              /// <returns></returns>              public string[] GetStockTableNames()              {              return _initTables.Select(x => x.Name).ToArray();              }                      private SqlSugarScope GetDbScope()              {              var db = new SqlSugarScope(new ConnectionConfig()              {              ConnectionString = "Host=ip;Port=port;Username=username;Password=pwd;Database=dbname;",              DbType = DbType.PostgreSQL,              IsAutoCloseConnection = true,              InitKeyType = InitKeyType.Attribute              });              return db;              }                  /// <summary>              /// 获取已有的数据库表              /// </summary>              /// <param name="db"></param>              /// <param name="tableName"></param>              /// <returns></returns>              private void GetTableList(SqlSugarScope db)              {              _initTables = db.DbMaintenance.GetTableInfoList(false).ToArray();              }                  public void CreateTableWithCustomName<T>(string tableName)              {              try              {              if (!_initTables.Any(x => x.Name == tableName))              {                  _sqlScope.MappingTables.Add(typeof(T).Name, tableName);              // 通过动态指定表名来初始化或迁移表结构              _sqlScope.CodeFirst.InitTables<T>();                  // 解除映射              _sqlScope.MappingTables.Remove(new MappingTable() { EntityName = typeof(T).Name });                  }              else              {              Debug.WriteLine($"Table '{tableName}' already exists.");               

继续阅读