什么是大数据(big data)？

大量数据的激增和日益复杂的技术继续改变着行业的运营和竞争方式。在过去的几年里，世界上90%的数据都是由于每天产生25亿字节的数据而产生的。通常称为大数据，这种快速增长和存储为结构化和非结构化数据的收集、处理和分析创造了机会。

大数据的工作原理

在大数据的4v之后，组织使用数据和分析来获得有价值的洞察力，从而为更好的业务决策提供信息。采用大数据的行业包括金融服务、科技、营销和医疗等。大数据的采用继续重新定义行业的竞争格局。据估计，84%的企业认为，没有分析策略的企业有可能失去市场竞争优势。

尤其是金融服务业，已经广泛采用大数据分析方法，为更好的投资决策提供一致的回报。结合大数据，算法交易使用大量的历史数据和复杂的数学模型，以最大限度地提高投资组合的回报。继续采用大数据将不可避免地改变金融服务业的格局。然而，除了明显的好处之外，大数据捕获不断增长的数据量的能力仍然面临重大挑战。

大数据的4V

4V是大数据的基础：容量、多样性、准确性和速度。面对日益激烈的竞争、监管限制和客户需求，金融机构正在寻求利用技术提高效率的新方法。根据行业的不同，公司可以利用大数据的某些方面来获得竞争优势。

速度是必须存储和分析数据的速度。纽约证券交易所每天捕获1 TB的信息。到2016年，估计有189亿个网络连接，地球上每人大约有2.5个连接。 金融机构可以专注于高效、快速地处理交易，从而在竞争中脱颖而出。

大数据可以分为非结构化数据和结构化数据。非结构化数据是无组织的信息，不属于预先确定的模型。这包括从社交媒体来源收集的数据，这些数据有助于机构收集有关客户需求的信息。结构化数据由组织已经在关系数据库和电子表格中管理的信息组成。因此，必须积极管理各种形式的数据，以便为更好的业务决策提供信息。

不断增长的市场数据对金融机构构成了巨大挑战。除了大量的历史数据外，银行业和资本市场还需要积极管理股票数据。同样，投资银行和资产管理公司使用大量的数据来做出正确的投资决策。保险和退休公司可以访问过去的政策和索赔信息，以便进行积极的风险管理。

算法交易

由于计算机能力的不断增强，算法交易已经成为大数据的代名词。自动化的过程使计算机程序能够以人类交易者无法达到的速度和频率执行金融交易。在数学模型中，算法交易提供了以最佳价格执行的交易和及时的交易安排，并减少了由于行为因素造成的人工错误。

机构可以更有效地缩减算法以整合大量数据，利用大量历史数据对策略进行回溯测试，从而创造风险更低的投资。这有助于用户识别要保留的有用数据以及要丢弃的低值数据。鉴于算法可以用结构化和非结构化数据创建，将实时新闻、社交媒体和股票数据合并到一个算法引擎中可以生成更好的交易决策。与决策过程不同，决策过程会受到不同信息来源、人类情感和偏见的影响，算法交易仅在金融模型和数据上执行。

机器人顾问在数字平台上使用投资算法和大量数据。投资是通过现代投资组合理论来制定的，该理论通常支持长期投资以保持一致的回报，并且需要与人力财务顾问进行最少的互动。

挑战

尽管金融服务业越来越接受大数据，但该领域仍存在重大挑战。最重要的是，各种非结构化数据的收集支持对隐私的关注。个人信息可以通过社交媒体、电子邮件和健康记录来收集个人的决策。

具体到金融服务业，大多数批评都落在数据分析上。由于数据量巨大，为了获得准确的结果，需要更复杂的统计技术。特别是，批评家们高估了信号与噪声之间的伪相关模式，认为统计上的稳健结果纯粹是偶然的。同样，基于经济理论的算法通常会指出由于历史数据的趋势而带来的长期投资机会。有效地产生支持短期投资策略的结果是预测模型的固有挑战。

底线

大数据继续改变着各个行业的格局，尤其是金融服务业。为了保持竞争优势，许多金融机构正在采用大数据分析。通过结构化和非结构化数据，复杂算法可以使用许多数据源执行交易。人类的情感和偏见可以通过自动化最小化；然而，使用大数据分析进行交易有其特殊的挑战，由于该领域的相对新颖性，迄今为止产生的统计结果还没有被完全接受。然而，随着金融服务向大数据和自动化方向发展，统计技术的先进性将提高准确性。