基于人工智能技术《量化投资AI系统》的集群架构设计与实现

乔总:

前些日子你我的共同朋友潘总,推荐您来聊聊将ChatGPT应用于量化投资的合作。在与您及您的团队进行了超过2个多小时的沟通后,恕我直言,不客气地说,感觉您的团队对人工智能技术几乎是空白。为了让您的团队对人工智能技术有一个更真实的了解,而不是“人云亦云”,特意将一些人工智能的真实信息写成技术型文章,作为对您的回复。作为普通的科学工作者和一个纯粹的程序员,历来说话直来直去,其中有冒昧之处请谅解。

本文中的很多内容仅仅是扼要介绍,如需详情,再叙。

一、真实的人工智能

1.1 人工智能的派别与简史

人工智能技术发展了几十年,实际上至今(2023年)从未取得突破性的进展,其根本原因是计算机器的“存算不均衡”。目前的计算机技术过渡依赖于“算”,而导致无法获得实质性突破。笔者对于“存算均衡”有过人的思考与想法,以后有机会再叙。本文主要关注于如何将人工智能技术应用于“量化投资”领域,并力求取得实际效果。

人工智能技术分为“逻辑派”与“经验派”。这两个派别自AI诞生起,就存在。专家系统是典型的逻辑派。ChatGPT是典型的经验派。逻辑派认为人类智能主要体现于知识与逻辑推理,因而期望构造严格的规则与逻辑关系来重现人类的智能。经验派则基于数据统计,认为人类的智能主要是训练出来的,只要有足够的数据,训练即可重现人类的智能。这个就是培养学生常用的”题海战术“,导致至今不能帮助国家更多的学者获得诺贝尔奖。在ChatGPT等诞生之前的很多年,就已经出现过不少经验派的产品。

以美国IBM为首的逻辑派,长时间在医疗领域进行尝试,最终以失败告一个段落(不是告终)。以互联网企业为主的经验派,在天生的大数据环境下,自然而然地进行了经验派的新尝试,创造出了轰动一时的ChatGPT这样的大玩具,是经验派“大力出奇迹”的典型代表。

经验派的产品,在声、光(图片、照片、视频)、电等确定性物理数据范围内,是可以取得不错的应用效果的。但在基于文化、知识、情感等等人自身都无法管控的领域,是无法取得实质性进步的。ChatGPT对于预测更是毫无价值。

经验派之所以短暂的成功在于其充分利用了唾手可得的大数据,而经验派目前之所以无法再前进一步也是有因为囹圄于大数据。ChatGPT已经走入死胡同了。

1.2 飞蛾扑火

国内的大模型无非更是在浪费资金与时间,因为:(1)算法就那么一个;无论怎么改进,无非是装修工程;(2)数据集也都差不多。无非是互联网数据(国内+国外)。

最要命的是,做过大数据的人都知道,互联网数据的质量实际上极其低下,千万分之一的数据可能才是有价值的,其他都是凑数而已。有些大模型号称是自有数据,比如医疗。然而,事实是,这些数据不是完整的“数据链”,没有证据也没有技术手段保证这些数据的可信。总之,就是一个“凑数”。没有好的数据,谈何训练?谈何推理?

飞蛾扑火一般地投入ChatGPT热潮的无非是机会主义者。

马上2024年了,现在还在跟风ChatGPT者,智商和前途都堪忧。

1.3 杞人忧天

参加过几次的人工智能会议,有不少学者(一般都不是数学、计算机方面的),唾沫横飞地谈论AI的风险、伦理等等。这个就是古人“杞人忧天”的重现。在ChatGPT等等的智能都达不到受精卵的程度,没有什么可以担心的?而且,事实是,这样的担心,在AI历史上,被假学者们炒作无数次了。

炒作风险与伦理者,无非是蹭热度写文章谋取不当之名利而已。

1.4 未来属于逻辑派

逻辑派是人工智能的唯一希望。

当然不是目前意义的专家系统级别的逻辑产品。以经验派产品为工具,对数据进行清洗与标注,提高知识到规则的自动转换效率是逻辑派未来的主要发展思路。

您是量化投资的翘楚,咱们就以量化投资为例,来简单描绘未来的人工智能系统在量化投资领域的应用前景和实现途径。

咱们先叙述几个事实:

(1)统计学是基于过去的数据;是过去式;是预测未来的基础;是辅助,不是核心;

(2)投资策略是人的智能;是日积月累的真智能;是预测未来的核心内容;

(3)但一个人的智能有限,如果快速、方面地集成团队成员的智能是主要挑战;

(4)投资策略不是万能的,精确无误的推理反而是不能的;基于模糊逻辑的推理是其中的内核;

可见,如果咱们能够获得国家、行业、企业的大量历史数据,进行基于统计学、NLP的数据清晰与预分析,结合数据与团队智能,就可以进行良好的投资策略规划。

二、量化投资的大数据与大数据应用

2.1 数据来源

量化投资依赖于各种各样的大数据。包括但不限于:

2.1.1 宏观数据

(1)全球及主要经济体 经济(总)数据;

(2)全球及主要经济体 金融市场数据;

(3)全球及主要经济体 大宗交易数据;

(4)全球及主要经济体 能源/交通——数据;

(5)全球及主要经济体 生产力数据;

(6)相关舆情数据;

2.1.2 实时数据

(1)金融市场数据;

(2)大宗交易数据;

(3)其他数据;

2.2 数据加工

各分系统获得的数据,无法直接用于决策与投资策略的计算;必须经过各种方式与算法的清洗与分析。

2.2.1 数据清洗

(1)金融数据 清洗;

(2)工业数据 清洗;

(3)舆情数据 清洗;

2.2.2 数据分析

(1)主资金 流向分析;

(2)模型 提取与分析;

(3)金融大模型 训练;

(4)工业大模型 训练;

(5)投资规则 人机互补库;

三、量化投资与人工智能

量化投资的人工智能应用主要有:

(1)投资策略 智能推理;

(2)长期投资 辅助决策;

(3)短期投资 辅助决策;

(4)实时投资 辅助决策

四、量化投资AI系统的集群架构

4.1 团队架构

人的智能比人工智能要主要千万倍,因此请务必在人员架构方面舍得投资。

量化投资AI系统的核心成员有:

(1)有经验的量化投资顾问或实操专家;

(2)指定投资策略数据分析、标注的专家;

(3)基于逻辑推理的人工智能系统专家;

(4)大数据清洗专家;

4.2 系统架构

量化投资AI系统的核心包括大数据系统与AI系统。

大数据系统需要按集群设计,获取与清洗是重头;基于逻辑与推理的AI系统,无需大数据的训练,负担较轻;实时投资系统对网络与系统性能要求极高,另外给您提供资料。

系统架构的示意图在文章开头,可供参考。

4.3 系统预算

数据获取、清洗需要较多的服务器与网络带宽;其他的费用不算太多。

一般而言,这样的系统固定资产投资额在 5000-10000 万之间,每年的费用在1000万左右。

以上价格非常宽泛,仅供参考。

联高软件

2023.12

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/211206.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring boot命令执行 (CVE-2022-22947)漏洞复现和相关利用工具

Spring boot命令执行 (CVE-2022-22947)漏洞复现和相关利用工具 名称: spring 命令执行 (CVE-2022-22947) 描述: Spring Cloud Gateway是Spring中的一个API网关。其3.1.0及3.0.6版本(包含)以前存在一处SpEL表达式注入漏洞,当攻击者可以访问A…

八、Lua数组和迭代器

一、Lua数组 数组,就是相同数据类型的元素按一定顺序排列的集合,可以是一维数组和多维数组。 在 Lua 中,数组不是一种特定的数据类型,而是一种用来存储一组值的数据结构。 实际上,Lua 中并没有专门的数组类型&#xf…

逢疫读史引以为鉴,防微杜渐警钟长鸣

世事变幻,皆有定数;生死福祸,必有因由。连日来,“多国又爆发大规模传染病”这个话题,不断地出现在网络空间,令人骇然。为此笔者花了很多时间和精力,查阅了许多相关文献、史料,在此仅…

vuepress-----2、初体验

2、初体验 目标 创建GitHub账号创建Github项目初体验vuepress默认主体的首页 初体验 (opens new window) --- home: true heroImage: /hero.png heroText: Hero 标题 tagline: Hero 副标题 actionText: 快速上手 → actionLink: /zh/guide/ features: - title: 简洁至上deta…

ChatGPT哪些行业需要学习?

2023年随着OpenAI开发者大会的召开,最重磅更新当属GPTs,多模态API,未来自定义专属的GPT。微软创始人比尔盖茨称ChatGPT的出现有着重大历史意义,不亚于互联网和个人电脑的问世。360创始人周鸿祎认为未来各行各业如果不能搭上这班车…

30、pytest入门内容回顾

整体结构 解读与实操 pytest30讲主要从四个方面由浅入深的进行解读, 开始 讲解了pytest的概述,安装前的准备工作(python,pycharm,pytest),运行方式(命令行),断言(assert…

算法通关村——原来这就是堆

堆结构是一种非常重要的基础数据结构,也是算法的重要内容,很多题目甚至只能用堆来进行,所以我们必须先明确什么类型的题目可以用堆,以及如何使用堆来解决。由于堆的构造和维护过程都非常复杂,因此面试时一般不需要手写…

漫步者开放式耳机怎么样?南卡、漫步者开放式耳机哪个好?

现在开放式耳机的市场越来越混杂,我们作为消费者在挑选的时候,一定要找准需求点才能把踩坑几率降到最低。实在不会挑选的也不要紧,我最近入了2款目前市面最畅销的百元款开放式耳机:南卡OE CC和漫步者comfo fit,亲身上耳…

【Java Web学习笔记】 1 - HTML入门

项目代码 https://github.com/yinhai1114/JavaWeb_LearningCode/tree/main/html 零、网页的组成 HTML是网页内容的载体。内容就是网页制作者放在页面上想要让用户浏览的信息,可以包含文字、图片视频等。 CSS样式是表现。就像网页的外衣。比如,标题字体、…

虹科干货 | 关于JSON数据库

来源:艾特保IT 虹科干货 | 关于JSON数据库 原文链接:https://mp.weixin.qq.com/s/NutCGWa32rOcEHrk3UDGcQ 欢迎关注虹科,为您提供最新资讯! 如何理解JSON数据库?作为NoSQL数据库的一种类型,JSON数据库有哪…

探索 IndexedDB 的世界:大规模数据存储的解决方案

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

【鸿蒙应用ArkTS开发系列】- 选择图片、文件和拍照功能实现

文章目录 前言创建多媒体Demo工程创建MediaBean 实体类创建MediaHelper工具类API标记弃用问题动态申请多媒体访问权限实现选择图片显示功能打包测试 前言 在使用App的时候,我们经常会在一些社交软件中聊天时发一些图片或者文件之类的多媒体文件,那在鸿蒙…

二手车销售技巧 如何卖好二手车

在后疫情时代,消费出现降级,很多原本计划购买新车的消费者,进而把目光投向了二手车,二手车市场遇到了难得的发展机遇。二手车市场作为汽车产业链的重要组成部分,也迎来了前所未有的发展机遇。然而,与此同时…

Git版本管理配置说明 - Visual Studio

一、 Git服务端配置 在源代码管理服务器新建文件夹,并配置共享访问权限Everyone(读取/写入)。 在本地访问这台服务器共享目录,确保正确打开。 在VS中打开项目,点选Git更改,点击“创建Git仓库”,创建项目初始版本。 弹出如下对话框: 因为我们只是在局域网中开发项…

【Linux】命令行参数

文章目录 前言一、C语言main函数的参数二、环境变量总结 前言 我们在Linux命令行输入命令的时候,一般都会跟上一些参数选项,比如l命令,ls -a -l。以前我总是觉得这是理所当然的,没深究其本质究竟是什么,今天才终于知道…

王者小游戏

游戏里的经验动物 Bear package beast; import sxt.GameFrame; public class Bear extends Beast {public Bear(int x, int y, GameFrame gameFrame) {super(x, y, gameFrame);setImg("C:\\Users\\辛欣\\OneDrive\\桌面\\王者荣耀图片(1)\\王者荣耀图片\\beast\\bear.jp…

输入通道数 和 输出通道数 的理解

输入通道数(in_channels)输出通道数(out_channels) 在卷积神经网络中通常需要输入 in_channels 和 out_channels ,即输入通道数和输出通道数,它们代表什么意思呢? 输入通道数(in_c…

软件设计之组合模式

组合模式:将对象组合成树形结构。 案例:公司管理。一个公司可以分总公司和分公司,无论是总公司还是分公司都有自己的部门,如人力资源管理部门、财务部门。分公司可以建立自己在不同地域的办事处。请使用组合模式打印出某个公司的…

JFrog Artifactory—高性能软件制品管理仓库

产品概述 JFrog Artifactory是一个可扩展的通用二进制存储库管理器,可在整个应用程序开发和交付过程中自动管理工件和依赖项。JFrog Artifactory支持大多数开发语言,是整个DevOps流水线中大多数软件包、容器映像和Helm图表的单一数据源。Artifactory对元…

使用Scanner扫描器和if语句来判断QQ等级的活跃程度

一、主要特点 总体使用try包围起来,用到了Scanner扫描器,还用到了若干if语句。 二、运行代码 import java.util.Scanner; public class QQtest {public static void main(String[] args){try (Scanner scan new Scanner(System.in)) {System.out.pr…