《Python金融大数据分析》一1.2 金融中的科技

简介:

本节书摘来异步社区《Python金融大数据分析》一书中的第1章,第1.2节,作者: 【德】Yves Hilpisch(伊夫 希尔皮斯科)译者: 姚军 责编: 傅道坤,更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.2 金融中的科技

现在,我们对Python已经有了大致的认识,回头简短地介绍一下科技在金融中的作用就很有意义了。这将使我们更好地评判Python在金融行业中已经承担的任务,更重要的是,还可以评判未来承担的任务。

在某种意义上,科技对于金融机构(例如与工业企业相比)或者财务部门(与其他企业职能部门相比,如后勤)没有什么特别的作用。然而,近年来,在创新和监管的刺激下,银行和其他金融机构(如对冲基金)越来越多地发展成为技术公司而不仅仅是金融中介机构。科技成为了全球几乎所有金融机构的重要资产,具备导致竞争优势和劣势的潜力。某些背景信息可以解释这种发展的原因。

1.2.1 科技开销

银行和金融机构共同组成了每年在科技上投入最多的行业。因此,下面的陈述不仅说明科技对金融行业的重要性,也说明了金融行业对科技的重要性:

据IDC分析师称,银行在2014年的科技投入比2013年多4.2%。这位分析师说,全球金融服务的总体IT花费在2014年将超过4300亿美元,2020年将会超过5000亿美元。

——Crosman 2013

当今的大型跨国银行通常雇佣数千名开发人员,以维护现有系统、构建新系统。具有大量科技需求的大型投资银行每年的科技预算往往达到数十亿美元。

1.2.2 作为业务引擎的科技
科技发展对金融行业的创新和效率增进也有贡献:

科技创新已经为更高效的衍生品市场做出了显著的贡献。通过交易技术的创新,尽管交易量和商品报价数量猛增,欧洲期货交易所(Eurex)的交易速度仍然远快于10年前…这些显著改进只有在衍生品交易所和票据交换所不断地在IT上投入巨额资金的情况下才可能实现。

——德意志交易所集团2008

效率提高的副作用之一就是,金融机构往往必须在更为复杂的产品或者交易中寻求竞争优势。这当然会使风险增大,并使风险管理和监控、监管越来越困难。2007年和2008年的金融危机说明了这些发展带来的潜在危险。同样,“算法和计算机失控”也给金融市场带来潜在的风险;2010年5月的所谓“闪电崩盘”事件戏剧性地展现了上述风险,自动化卖出导致某些股票和股票指数在当日大幅度下跌(http://en.wikipedia.org/wiki/2010_Flash_Crash)。

1.2.3 作为进入门槛的科技和人才
一方面,在其他条件不变的情况下,随着时间的推移,科技的进步会降低成本。另一方面,金融机构持续在科技上投入巨资,以增大市场份额、保持自身地位。在今天的金融市场上取得一席之地往往需要在科技和熟练人员上大规模投资。考虑衍生品分析领域的一个例子(也可参见本书第3部分的案例研究):

在整个软件生命期中,采用内部OTC[衍生品]定价策略的公司仅在一个完整的衍生品库的构建、维护和改进上就需要投入2500~3600万美元。

——Ding 2010

构建一个完善的衍生品分析库不仅成本高昂和费时,而且需要有足够的专业人士来进行这项工作。这些专业人士必须有正确的工具和技术,才能完成他们的任务。

我们以下引用的另一段有关美国长期资本管理公司(LTCM)的陈述进一步支持关于科技和人才的观点,LTCM曾是最受尊敬的计量对冲基金,但是在20世纪90年代末破产:

Meriwether在最新型计算机系统上花费了2000万美元,并雇用一个由一流金融工程师组成的团队在LTCM操纵该系统,他们在康涅狄格州的格林威治开始工作。这是行业级别的风险管理。

——Patterson 2010

Meriwether花费数百万美元才能得到的计算能力在今天可能只需要几千美元就能实现。另一方面,大型金融机构的交易、定价和风险管理已经变得非常复杂,以致于现在必须部署具有数万个计算核心的IT基础架构。

1.2.4 不断提高的速度、频率、数据量

金融行业有一个方面最受科技进步的影响:金融交易决策和执行的速度及频率。Lewis最近的著作(2014)生动而详细地描述了所谓的“闪电交易”——也就是以可能的最高速度进行的交易。

一方面,可用数据的尺度越来越小使实时反应成为必需的能力。另一方面,交易的速度和频率的提高使数据量进一步增大。这两方面相互补充,推动了金融交易平均时间标度的系统性下降:

复兴资本公司的“大奖章”基金在2008年获得了80%的惊人增长率,它以闪电般速度的计算机抓住了市场极端活跃的机会。Jim Simons是当年世界盈利最高的对冲基金管理人,收入达到25亿美元。

——Patterson 2010

单只股票30年的每日股价数据大致包含7500个报价。这类数据是大部分现代金融理论的基础。例如,现代投资组合理论(MPT)、资本定价模型(CAPM)和风险价值(VaR)等理论都以每日股价数据为基础。

相比之下,苹果公司(AAPL)典型交易日报价次数大约为15000——两倍于30年间日终报价的数量。这带来了许多挑战。

数据处理

考虑和处理股票日终报价或者其他金融计量是不够的;在每周的7天、每天的24个小时内,某些计量措施上发生的事情“太多了”。

分析速度

决策往往必须在几毫秒甚至更短的时间内作出,有必要构建个别分析能力,实时分析大量数据。

理论基础

虽然传统金融理论和概念远称不上完美,但是它们经受了时间的考验(有些时候受到排斥);对于毫秒级计量能力很重要的今天,仍然缺乏在很长时间内证明是稳定的一致性概念和理论。

原则上,上述挑战都只能由现代科技应对。令人有些惊讶的是,缺乏一致性理论的问题也常常通过技术方法处理,在这种情况下,高速算法利用的是市场微观结构要素(例如,订单流、买卖价差),而不依赖于某种金融推理方法。

1.2.5 实时分析的兴起

金融行业中有一个学科的重要性正在强劲增长:金融和数据分析。这种现象与行业中速度、频率和数据率飞速增长有紧密的关系。实际上,实时分析可以视为该行业对这种趋势的反应。

粗略地讲,“金融和数据分析”指的是应用软件和科技,与(可能是先进的)算法和数据收集、处理及分析方法相结合,以获得深刻理解、作出决策或者满足监管需求的学科。这类分析的例子包括银行零售部门中某个金融产品定价结构的变化对销售情况影响的估算。另一个例子是投资银行衍生品复杂投资组合信用价值调整(CVA)的大规模隔夜计算。

金融机构在这种环境下面对两种主要挑战。

大数据

甚至在“大数据”这一术语出现之前,银行和其他金融机构就必须处理海量数据;然而,单一分析任务所处理的数据量随着时间的推移而有了很大的增长,要求计算能力的提高和更大的内存与存储能力。

实时经济

过去,决策者只能依赖结构化的定期计划、决策和(风险)管理过程,而今天面对的是实时完成这些任务的需求;过去在后台通过隔夜批量运行可以完成的任务,现在已经转向前台实时执行。

同样,人们可以观察到科技和金融/商业方法发展之间的相互作用。一方面,有通过现代科技的应用不断改进分析方法速度和能力的需求。另一方面,科技方面的进步使几年甚至几个月之前认为不可能(或者由于预算约束而不可行)的新分析方法成为可能。

分析领域的一个重要趋势是利用CPU(中央处理单元)的并行结构和GPGPU(通用图形处理单元)的大规模并行结构。现在的GPGPU往往有超过1000个计算核心,有时候有必要彻底反思并行性对不同算法的意义。用户通常必须学习新的范型和技术才能利用这种硬件的能力[3],仍是这方面的障碍之一。

目录
打赏
0
0
0
0
1815
分享
相关文章
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
161 3
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
本文介绍了2023年中国高校大数据挑战赛赛题B的Python实现方法,该赛题涉及DNA存储技术中的序列聚类与比对问题,包括错误率分析、序列聚类、拷贝数分布图的绘制以及比对模型的开发。
158 2
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
本文探讨了金融资产波动率建模中的三种主流方法:GARCH、GJR-GARCH和HAR模型,基于SPY的实际交易数据进行实证分析。GARCH模型捕捉波动率聚类特征,GJR-GARCH引入杠杆效应,HAR整合多时间尺度波动率信息。通过Python实现模型估计与性能比较,展示了各模型在风险管理、衍生品定价等领域的应用优势。
395 66
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
144 35
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
113 7
大数据与金融风控:信用评估的新标准
【10月更文挑战第31天】在数字经济时代,大数据成为金融风控的重要资源,特别是在信用评估领域。本文探讨了大数据在金融风控中的应用,包括多维度数据收集、智能数据分析、动态信用评估和个性化风控策略,以及其优势与挑战,并展望了未来的发展趋势。
AI Agent 金融助理0-1 Tutorial 利用Python实时查询股票API的FinanceAgent框架构建股票(美股/A股/港股) AI Finance Agent
金融领域Finance AI Agents方面的工作,发现很多行业需求和用户输入的 query都是和查询股价/行情/指数/财报汇总/金融理财建议相关。如果需要准确的 金融实时数据就不能只依赖LLM 来生成了。常规的方案包括 RAG (包括调用API )再把对应数据和prompt 一起拼接送给大模型来做文本生成。稳定的一些商业机构的金融数据API基本都是收费的,如果是以科研和demo性质有一些开放爬虫API可以使用。这里主要介绍一下 FinanceAgent,github地址 https://github.com/AI-Hub-Admin/FinanceAgent
驾驭股市大数据:Python实战指南
【10月更文挑战第1天】随着信息技术的发展,投资者现在能够访问到前所未有的海量金融数据。本文将指导您如何利用Python来抓取当前股市行情的大数据,并通过分析这些数据为自己提供决策支持。我们将介绍从数据获取到处理、分析以及可视化整个流程的技术方法。
337 2