第三阶段量化工作总结与后续规划——复杂度与成本控制

第三阶段量化工作总结与后续规划——复杂度与成本控制

第三阶段完成了多因子量化系统全链路的开发与测试,准备上线。后续会补足多样化的alpha能力,探索多样化策略。

三阶段回顾

模拟盘

第三阶段实现了全链路自动化,并成功运行一个模拟盘,目前各项功能基本稳定。

全链路自动化第二阶段中,实际上已实现了因子例行生产。几个月来,偶尔出现数据断流情况,排查、修复了已知问题,目前顺利运行中。在因子例行化的基础上,完成了模型、组合优化的最佳参数管理,以及在线训练、推理、交易任务生成。最后是程序化交易部分,对接了讯投GT系统,实现账户管理与每日交易任务异步执行策略。这其中程序化交易是大坑,模拟盘运行初始,字面意义上地每天都会出现不同问题,在连续一两周的逐步修复后现在已趋于稳定。

策略落地 在第三阶段,尤其是交易算法相关的研发过程中,可以参考的外部资料是相当少的。因为这一过程是将策略理论收益落地的工程化过程,第一,很多工程化处理并不是什么高明技术,不足为外人道;第二,涉及到工程落地的机构都会严格保密。在这一阶段,我也完成了大量类似零股处理、科创板特有规则、监管规则以及涨跌停等特殊情形等等琐碎但必不可少的工作。

去芜存菁

在自营策略的研发过程中,添加自己能想到的所有强力组件是自然而然的冲动。但过犹不及,在第三阶段的最后,我策略的所有层面不约而同地经过了一次去芜存菁的简化过程。

策略上限与复杂度约束 策略能达到的上限由什么决定?任何系统或实体都具有其内在的限制。从宏观角度来看,alpha策略是一个从信息到决策的过程,一端是数据流,另一端是交易指令,在数据给定的情况下,不可能通过增加复杂度无限制地提升策略表现。虽然策略并不是一个端到端的学习过程,但正如所有机器学习算法一样,通过对既定数据的学习提升模型性能,只是在逼近数据所能达到的上限。数据是稀缺的,而模型复杂度在人的贪念下是泛滥的,所以策略在样本外的失败几乎一定是因为过拟合,而不是缺乏高级结构导致策略表达能力不足。从微观上看,添加更多特征,使用更深的网络层数,使用大量的风险因子,总是能在训练、验证集上把市场解释得更精准,但在回测、实盘阶段总会撞上无形壁障。

策略下限与成本优势 市场趋于有效时,什么样的策略能够生存?我认为答案一定是成本角度考虑。在信息安全领域,只要投入足够多的算力,没有密码是安全的,但只要破译成本超过了密文本身的价值,就可以认为信息足够安全。策略亦是如此。成本优势本质上是通过技术优势构建自身优势领域,在子领域低成本地研发策略,压低利润,最终让竞争对手失去研发动力。从这一角度看,策略性能衰减也未必是坏事。总之,技术水平决定了投研与执行效率,最终决定策略的生死,应该用相对技术优势开辟自身的生存空间。就个人而言,后续的主要工作方向不是在数据/模型规模/自研交易算法与同类策略正面对抗,而是继续保持精简的技术架构,在补齐基础的情况下,在我认为的优势领域开展研究。

错误与教训

总体来看,第三阶段的完成效率未达预期,主要有两方面原因。

第一对自研交易算法的研究投入从战略和战术上看都是错误的,损失大约四周人力。

  • 在项目开始之前没有对市场上算法交易服务的使用条件与绩效表现作全面调研,而是遵循一篇比较fancy的学术论文直接开始研发。其实从战略角度而言,专注于阿尔法挖掘,外包交易算法,更具成本优势。
  • 战术层面,选择端到端多智能体深度强化学习的框架,既超出了日内数据应用的复杂度上限,又超过了自身工程能力范围。

第二对低阶研究人员的招募与投入,产出不达预期,损失大约两周人力。尽管涉及到外部资源与人员管理,成本与产出难以控制,有多方面因素影响,但我认为也是由于自身原因影响了主线进度。

  • 尽管投入产出成正比,但考虑机会成本,应该限制时间投入,优先完成核心工作。
  • 人人平等只是在人格上,在技术领域尊重每一个研究人员想法、平等讨论问题是对整体效率的伤害。要开发、维护优秀的系统,Linus式的benevolent dictator是合理的。
  • 个人成长与事务性工作的冲突是不可避免的。

四阶段计划

基本面

是除量价信息外,基本面是策略的重要组成部分,能够提供大量信息。在下一阶段计划补全基本面因子,主要有两个重点。第一,寻找、归纳、建立相对统一的基本面因子计算框架。第二,引入盈利预测,对超预期事件快速反应。

关联动量

关联动量的理论部分此前已整理过,不再赘述,目前已初步验证了因子盈利能力。第四阶段中,计划用图论建立关联动量的算法、工程框架,需要能够统一、高效地处理截面上千万邻边的关联关系。在核心框架建立后,参考目前已有研报、论文填充具体关联关系,批量生产关联动量因子。

端到端

此前讨论过端到端的收益率模型,但最终没有实现。根本原因还是是受到复杂度限制,高阶特征+复杂模型的效果不佳,而已有公开工作由于缺乏因子库,都是低阶特征+复杂模型的模式。在下一阶段计划中,对此类模型的定位转换为“特征提取器”,不作为最终的收益率预测。这类模型的目标是在日频/日内数据的可导空间内,部分替代人工构造因子。

事件驱动

事件是市场内更符合人类直觉的一类超额来源,也更适宜自营策略使用。

在事件检验上,计划使用反事实框架与因子模型相结合的方法,将在后续文章进一步论述。成果转化方面,首先可以转化单独的事件驱动策略。在事件驱动的世界观中,更关注具体的投资机会,而不是截面上的相对价值,可以和多因子策略形成互补。其次对于截面上覆盖较广的事件,可以转化为事件因子。

后续展望

从大方向上看,最具性价比的投入方向是新市场与新策略。市场选择中,crypto目前市场无效性较强,值得一试。另外期待A股事件驱动研究成果转化而来的事件策略。由于事件发生时间随机,该策略从理论到落地的难度主要是仓位管理与响应速度。长期来看,以A股+crypto策略为核心,可以在地区、策略类型上平衡beta暴露,以此为基础引入其他优质策略完成资产配置。

具体技术上,个人看好LLM在文本分析中的应用。LLM提供了一种廉价的智能供给,在投资策略中用其替代低水平的人工分析是量化投资的题中应有之义。2025年,国外十万卡级集群建成后,LLM智能水平应当还会再上半个台阶,届时计划在策略中充分整合开源力量。

总的来说,未来计划围绕以下几点构成技术优势:

  • 以Polars为核心高频数据处理
  • 以图论为核心的截面关联动量发掘
  • 对稀疏事件超额收益检验&快速反应
  • 以LLM为核心的海量文本分析

第三阶段量化工作总结与后续规划——复杂度与成本控制

https://heth.ink/Summary2024-2/

作者

YK

发布于

2024-08-23

更新于

2024-08-23

许可协议