基于人工智能技术的《量化投资AI系统》集群架构设计与实现

98f451e1d8224aa5a4d372be6570e7fe.png

乔总:您好!

前些日子你我的共同朋友潘总,推荐您来聊聊将ChatGPT应用于量化投资的合作。在与您及您的团队进行了超过2个多小时的沟通后,恕我直言,不客气地说,感觉您的团队对人工智能技术几乎是空白。为了让您的团队对人工智能技术有一个更真实的了解,而不是“人云亦云”,特意将一些人工智能的真实信息写成技术型文章,作为对您的回复。作为普通的科学工作者和一个纯粹的程序员,历来说话直来直去,其中有冒昧之处请谅解。

本文中的很多内容仅仅是扼要介绍,如需详情,再叙。

 

一、真实的人工智能

1.1 人工智能的派别与简史

人工智能技术发展了几十年,实际上至今(2023年)从未取得突破性的进展,其根本原因是计算机器的“存算不均衡”。目前的计算机技术过渡依赖于“算”,而导致无法获得实质性突破。笔者对于“存算均衡”有过人的思考与想法,以后有机会再叙。本文主要关注于如何将人工智能技术应用于“量化投资”领域,并力求取得实际效果。

人工智能技术分为“逻辑派”与“经验派”。这两个派别自AI诞生起,就存在。专家系统是典型的逻辑派。ChatGPT是典型的经验派。逻辑派认为人类智能主要体现于知识与逻辑推理,因而期望构造严格的规则与逻辑关系来重现人类的智能。经验派则基于数据统计,认为人类的智能主要是训练出来的,只要有足够的数据,训练即可重现人类的智能。在ChatGPT等诞生之前的很多年,就已经出现过不少经验派的产品,但大多波澜不惊。

以美国IBM为首的逻辑派,长时间在医疗领域进行艰苦的尝试,最终以失败告一个段落(不是告终)。以互联网企业为主的经验派,在天生的大数据环境下,自然而然地进行了经验派的新尝试,创造出了轰动一时的ChatGPT这样的大玩具,是“大力出奇迹”的典型代表。

经验派的产品,基于统计学原理,在声、光(图片、照片、视频)、电等确定性物理数据范围内,是可以取得不错的应用效果的。但在基于文化、知识、情感等等非统计学范畴,甚至人自身都无法良好管控的领域,是无法取得实质性进步的。ChatGPT对于预测更是毫无价值。

经验派之所以短暂的成功在于其充分利用了唾手可得的大数据,而经验派目前之所以无法再前进一步也是有因为囹圄于大数据。ChatGPT已经走入死胡同了。

 

1.2 飞蛾扑火

国内的大模型无非更是在浪费资金与时间,因为:(1)算法就那么一个;无论怎么改进,无非是装修工程;(2)数据集也都差不多。无非是互联网数据(国内+国外)。

最要命的是,做过大数据的人都知道,互联网数据的质量实际上极其低下,千万分之一的数据可能才是有价值的,其他都是凑数而已。100T的数据,经过清洗,真正有用的不过GB级别。有些大模型号称是自有数据,比如医疗。然而,事实是,这些数据不是完整的“数据链”,没有证据也没有技术手段保证这些数据的可信。总之,就是一个“凑数”。没有好的数据,谈何训练?谈何推理?

飞蛾扑火一般地投入ChatGPT热潮的无非是机会主义者。

马上2024年了,现在还在跟风ChatGPT者,智商和前途都堪忧。

 

1.3 杞人忧天

参加过几次的人工智能会议,有不少学者(一般都不是数学、计算机方面的),唾沫横飞地谈论AI的风险、伦理等等。这个就是古人“杞人忧天”的重现。在ChatGPT等等的智能都达不到受精卵的程度,没有什么可以担心的。而且,事实是,这样的担心,在AI历史上,被假学者们炒作无数次了。

炒作风险与伦理者,无非是蹭热度写文章谋取不当之名利而已。

 

1.4 未来属于逻辑派

逻辑派是人工智能的唯一希望。

当然不是目前意义的专家系统级别的逻辑产品。以经验派产品为工具,对数据进行清洗与标注,提高知识到规则的自动转换效率是逻辑派未来的主要发展思路。

您是量化投资的翘楚,咱们就以量化投资为例,来简单描绘未来的人工智能系统在量化投资领域的应用前景和实现途径。

咱们先叙述几个事实:

(1)统计学是基于过去的数据;是过去式;是预测未来的基础;是辅助,不是核心;

(2)投资策略是人的智能;是日积月累的真智能;是预测未来的核心内容;

(3)但一个人的智能有限,如何快速、方便地集成团队成员的智能是主要挑战;

(4)投资策略不是万能的,精确无误的推理反而是不能的;基于模糊逻辑的推理是其中的内核;

可见,如果咱们能够获得国家、行业、企业的大量历史数据,进行基于统计学、NLP的数据清洗与预分析,结合数据与团队智能,就可以进行良好的投资策略计算。

 

二、量化投资的大数据与大数据应用

 

2.1 数据来源

量化投资依赖于各种各样的大数据。包括但不限于:

2.1.1 宏观数据

(1)全球及主要经济体 经济(总)数据;

(2)全球及主要经济体 金融市场数据;

(3)全球及主要经济体 大宗交易数据;

(4)全球及主要经济体 能源/交通——数据;

(5)全球及主要经济体 生产力数据;

(6)相关舆情数据;

2.1.2 实时数据

(1)金融市场数据;

(2)大宗交易数据;

(3)其他数据;

 

2.2 数据加工

各分系统获得的数据,无法直接用于决策与投资策略的计算;必须经过各种方式与算法的清洗与分析。

2.2.1 数据清洗

(1)金融数据 清洗;

(2)工业数据 清洗;

(3)舆情数据 清洗;

2.2.2 数据分析

(1)主资金 流向分析;

(2)模型 提取与分析;

(3)金融大模型 训练;

(4)工业大模型 训练;

(5)投资规则 人机互补库;

 

三、量化投资与人工智能

量化投资的人工智能应用主要有:

(1)投资策略 智能推理;

(2)长期投资 辅助决策;

(3)短期投资 辅助决策;

(4)实时投资 辅助决策

 

四、量化投资AI系统的集群架构

 

4.1 团队架构

人工智能项目中,人的智能人工智能(算法)要重要千万倍,因此请务必在人员架构方面舍得投资。

量化投资AI系统的核心成员有:

(1)有经验的量化投资顾问或实操专家;

(2)指定投资策略数据分析、标注的专家;

(3)基于逻辑推理的人工智能系统专家;

(4)大数据清洗专家;

 

4.2 系统架构

量化投资AI系统的核心包括大数据系统与AI系统。

大数据系统需要按集群设计,获取与清洗是重头;基于逻辑与推理的AI系统,无需大数据的训练,负担较轻;实时投资系统对网络与系统性能要求极高,另外给您提供资料。

系统架构的示意图在文章开头,可供参考。

 

4.3 系统预算

数据获取、清洗需要较多的服务器与网络带宽;其他的费用不算太多。

一般而言,这样的系统固定资产投资额在 5000-10000 万之间,每年的费用在1000万左右。

以上价格非常宽泛,仅供参考。

 

联高软件

2023.12

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/214170.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用linux CentOS本地部署SQL Server数据库

🌈个人主页:聆风吟 🔥系列专栏:数据结构、Cpolar杂谈 🔖少年有梦不应止于心动,更要付诸行动。 文章目录 📋前言一. 安装sql server二. 局域网测试连接三. 安装cpolar内网穿透四. 将sqlserver映射…

kubectl获取ConfigMap导出YAML时如何忽略某些字段

前言: 当我们在使用Kubernetes时,常常需要通过kubectl命令行工具来管理资源。有时我们也想将某个资源的配置导出为YAML文件,这样做有助于版本控制和资源的迁移。然而,默认情况下,使用kubectl get命令导出资源配置会包…

JVM 分析GC日志

GC日志参数 -verbose:gc 输出gc日志信息,默认输出到标准输出 -XX:PrintGC 输出GC日志。类似:-verbose:gc -XX:PrintGCDetails 在发生垃圾回收时打印内存回收详细的日志,并在进程退出时输出当前内存各区域分配情况 -XX:PrintGCTimeStam…

基于SpringBoot+uniapp微信小程序校园点餐平台详细设计和实现

博主介绍:✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专…

vue3 setup语法糖 多条件搜索(带时间范围)

目录 前言: setup介绍: setup用法: 介绍: 前言: 不管哪个后台管理中都会用到对条件搜索带有时间范围的也不少见接下来就跟着我步入vue的多条件搜索(带时间范围) 在 Vue 3 中,你…

3接上篇 我的自定义GPTs的改进优化 与物理世界连接成功 GPTs的创建与使用定义和执行特定任务的功能模块 通过API与外部系统或服务的交互

https://blog.csdn.net/chenhao0568/article/details/134875067?spm1001.2014.3001.5502 从服务器日志里看到请求多了一个“location” 23.102.140.123 - - [08/Dec/2023:14:02:20 0800] "GET /getWeather.php?location&locationNewYork HTTP/1.1" 200 337 &…

【基于ESP32无线蓝牙上传电脑Excel透传数据】

【基于ESP32无线蓝牙上传电脑透传数据】 1. 引言2. 环境搭建2.1 硬件准备:2.2 软件准备:2.3. 配置Excel端口接收功能3. 测试代码4. 连接电脑和 ESP324.1 烧录程序4.2 启动蓝牙服务4.3 测试数据透传5. 总结1. 引言 随着物联网技术的发展,越来越多的设备开始支持无线通信,其…

八路达林顿晶体管-ULN2803和ULN2804-笔记

八路达林顿晶体管的介绍 ULN2803示例 BULN2803LV 是专为低压系统设计的大电流达林顿管阵列,电路由八个独立的达林顿管组成,每个达林顿管带有续流二极管,可用于驱动继电器、步进电机等感性负载。单个达林顿管在输入电压低至 1.8V 状态下支持电…

京东数据运营(京东API接口):10月投影仪店铺数据分析

鲸参谋监测的京东平台10月份投影仪市场销售数据已出炉! 10月份,环同比来看,投影仪市场销售均上涨。鲸参谋数据显示,今年10月,京东平台投影仪的销量为16万,环比增长约22%,同比增长约8%&#xff1…

2022年第十一届数学建模国际赛小美赛D题野生动物贸易是否应长期禁止解题全过程文档及程序

2022年第十一届数学建模国际赛小美赛 D题 野生动物贸易是否应长期禁止 原题再现: 野生动物市场被怀疑是此次疫情和2002年SARS疫情的源头,食用野生肉类被认为是非洲埃博拉病毒的一个来源。在冠状病毒爆发后,中国最高立法机构永久性地加强了野…

Linux内核上游提交完整流程及示例

参考博客文章: 向linux内核提交代码 - 知乎 一、下载Linux内核源码 通过git下载Linux内核源码,具体命令如下: git clone git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git 实际命令及结果如下: penghaoDin…

【linux系统编程】编辑器gcc/g++

目录 Linux下的编辑器 介绍: 1,编辑器gcc/g 1-1,系统的编译过程 1-2,预处理过程 1-3,编译过程 1-4,汇编过程 1-5,链接过程 Linux下的编辑器 介绍: Linux系统下可支持很多高…

生成式AI赋能千行百业加速创新,2023亚马逊云科技re:Invent行业盘点

2023亚马逊云科技re:Invent全球大会已于上周圆满闭幕,在本次大会中,亚马逊云科技又为大家带来了很多功能/项目迭代更新,也重磅发布了很多全新的功能。今天从行业视角来盘点回顾哪些重磅发布适用于垂直行业客户,以及面向汽车、制造…

MySQL 数据库如何实现 XA 规范?

本文我们来讨论 MySQL 的 XA 规范有哪些应用相关的内容。 MySQL 为我们提供了分布式事务解决方案,在前面的内容中提到过 binlog 的同步,其实是 MySQL XA 规范的一个应用,那么 XA 规范是如何定义的,具体又是如何应用的呢&#xff…

Si24R03—低功耗 SOC 芯片(集成RISC-V内核+2.4GHz无线收发器)

Si24R03是一款高度集成的低功耗SOC芯片,其集成了基于RISC-V核的低功耗MCU和工作在2.4GHz ISM频段的无线收发器模块。 MCU模块具有低功耗、Low Pin Count、宽电压工作范围,集成了13/14/15/16位精度的ADC、LVD、UART、SPI、I2C、TIMER、WUP、IWDG、RTC等丰…

Linux:进程优先级与命令行参数

目录 1.进程优先级 1.1 基本概念 1.2 查看系统进程 1.3 修改进程优先级的命令 2.进程间切换 2.1 相关概念 2.2 Linux2.6内核进程调度队列(了解即可) 3.命令行参数 1.进程优先级 1.1 基本概念 cpu资源分配的先后顺序,就是指进程的优…

MySql复习笔记03(小滴课堂) 事务,视图,触发器,存储过程

mysql 必备核心知识之事务的详细解析: 创建一个数据库表: 添加数据并开启事务。 添加数据并查询。 登录另一台服务器发现查不到这个表中的数据。 这是因为事务开启了,但是没有提交,只是把数据存到了内存中,还没有写入…

海外地区开启IPV6无法访问服务器问题

前言 最近有海外地区的用户反馈无法访问公司的网络,无法下载应用和系统进行升级。了解到浏览器可以正常访问公司域名,谷歌,油管等都能正常使用。日志分析GET请求服务器数据时没有得到应答,最终查询网络相关修改确认与网络IPV6有关…

【Jeecg Boot 3 - 保姆级】第1节 docker + redis + nginx + redis一键安装启动

一、前言 ▶ JEECG-BOOT 开源版难以吃透的原因 ▶ 为了针对上面痛点,笔者做了如下安排 ▶ 你能收获什么 二、效果(第一节效果) ▶ 启动后端 > 日志 > 接口文档 ▶ 启动前端 三、准备工作 四、实战 ▶ 1、服务器安装 Stag…

C#注册表技术及操作

目录 一、注册表基础 1.Registry和RegistryKey类 (1)Registry类 (2)RegistryKey类 二、在C#中操作注册表 1.读取注册表中的信息 (1)OpenSubKey()方法 (2)GetSubKeyNames()…