大数据股票案例分析

⑴ 大数据时代的案例分析

个案一
你开心他就买你焦虑他就抛
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。
●通过乔希·詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来——有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
3、NoSQL，membase、MongoDb
商用大数据生态圈：
1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市：QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。

⑵ 金融领域七大数据科学应用实践案例

金融领域七大数据科学应用实践案例
近年来，数据科学和机器学习应对一系列主要金融任务的能力已成为一个特别重要的问题。 公司希望知道更多技术带来的改进以及他们如何重塑业务战略。
为了帮助您回答这些问题，我们准备了一份对金融行业影响最大的数据科学应用清单。 它们涵盖了从数据管理到交易策略的各种业务方面，但它们的共同点是增强金融解决方案的巨大前景。
自动化风险管理
风险管理是金融机构极其重要的领域， 负责公司的安全性，可信度和战略决策 。 过去几年来，处理风险管理的方法发生了重大变化，改变了金融部门的性质。 从未像现在这样，今天的机器学习模型定义了业务发展的载体。
风险可以来自很多来源，例如竞争对手，投资者，监管机构或公司的客户。 此外，风险的重要性和潜在损失可能不同。 因此，**主要步骤是识别，优先考虑和监控风险，这是机器学习的完美任务。 **通过对大量客户数据，金融借贷和保险结果的训练，算法不仅可以增强风险评分模型，还可以提高成本效率和可持续性。
数据科学和人工智能(AI)在风险管理中最重要的应用是识别潜在客户的信誉。 为了为特定客户建立适当的信用额度，公司使用机器学习算法来分析过去的支出行为和模式。 这种方法在与新客户或具有简短信用记录的客户合作时也很有用。
虽然金融风险管理流程的数字化和自动化处于早期阶段，但潜力巨大。 金融机构仍需要为变革做好准备，这种变革通过实现核心财务流程的自动化，提高财务团队的分析能力以及进行战略性技术投资。 但只要公司开始向这个方向发展，利润就不会让自己等待。
管理客户数据
对于金融公司来说，数据是最重要的资源。因此，高效的数据管理是企业成功的关键。今天，在结构和数量上存在大量的金融数据：从社交媒体活动和移动互动到市场数据和交易细节。金融专家经常需要处理半结构化或非结构化数据，手动处理这些数据是一个巨大的挑战。
然而，对于大多数公司来说，将机器学习技术与管理过程集成仅仅是从数据中提取真实知识的必要条件。**人工智能工具，特别是自然语言处理，数据挖掘和文本分析有助于将数据转化为智能数据治理和更好的业务解决方案，从而提高盈利能力。**例如，机器学习算法可以通过向客户学习财务历史数据来分析某些特定财务趋势和市场发展的影响。最后，这些技术可用于生成自动报告。
预测分析
分析现在是金融服务的核心。 值得特别关注的是预测分析，它揭示了预测未来事件的数据模式，可以立即采取行动。 通过了解社交媒体，新闻趋势和其他数据源，这些复杂的分析方法已经实现了预测价格和客户终生价值，未来生活事件，预期流失率和股市走势等主要应用。 最重要的是，这种技术可以帮助回答复杂的问题 - 如何最好地介入。
实时分析
实时分析通过分析来自不同来源的大量数据从根本上改变财务流程，并快速识别任何变化并找到对其的最佳反应。财务实时分析应用有三个主要方向：
欺诈识别
**金融公司有义务保证其用户的最高安全级别。**公司面临的主要挑战是找到一个很好的欺诈检测系统，罪犯总是会采用新的方法并设置新的陷阱。**只有称职的数据科学家才能创建完美的算法来检测和预防用户行为异常或正在进行的各种欺诈工作流程。**例如，针对特定用户的不寻常金融购买警报或大量现金提款将导致阻止这些操作，直到客户确认为止。在股票市场中，机器学习工具可以识别交易数据中的模式，这可能会指示操纵并提醒员工进行调查。然而，这种算法最大的优势在于自我教学的能力，随着时间的推移变得越来越有效和智能化。
消费者分析
实时分析还有助于更好地了解客户和有效的个性化。先进的机器学习算法和客户情绪分析技术可以从客户行为，社交媒体互动，他们的反馈和意见中获得见解，并改善个性化并提高利润。由于数据量巨大，只有经验丰富的数据科学家才能精确分解。
算法交易
这个领域可能受实时分析的影响最大，因为每秒都会受到影响。根据分析传统和非传统数据的最新信息，金融机构可以做出实时有利的决策。而且由于这些数据通常只在短时间内才有价值，因此在这个领域具有竞争力意味着使用最快的方法分析数据。
在此领域结合实时和预测分析时，另一个预期会开启。过去，金融公司不得不聘用能够开发统计模型并使用历史数据来创建预测市场机会的交易算法的数学家。然而，今天人工智能提供了使这一过程更快的技术，而且特别重要的是 - 不断改进。
因此， 数据科学和人工智能在交易领域进行了革命，启动了算法交易策略。 世界上大多数交易所都使用计算机，根据算法和正确策略制定决策，并考虑到新数据。 人工智能无限处理大量信息，包括推文，财务指标，新闻和书籍数据，甚至电视节目。 因此，它理解当今的全球趋势并不断提高对金融市场的预测。
总而言之，实时和预测分析显着改变了不同金融领域的状况。 通过hadoop，NoSQL和Storm等技术，传统和非传统数据集以及最精确的算法，数据工程师正在改变财务用于工作的方式。
深度个性化和定制
企业认识到，在当今市场竞争的关键步骤之一是通过与客户建立高质量的个性化关系来提高参与度。 这个想法是分析数字客户体验，并根据客户的兴趣和偏好对其进行修改。 人工智能在理解人类语言和情感方面取得重大进展，从而将客户个性化提升到一个全新的水平。 数据工程师还可以建立模型，研究消费者的行为并发现客户需要财务建议的情况。 预测分析工具和高级数字交付选项的结合可以帮助完成这项复杂的任务，在最恰当的时机指导客户获得最佳财务解决方案，并根据消费习惯，社交人口趋势，位置和其他偏好建议个性化服务。
结论
对于金融机构来说，数据科学技术的使用提供了一个从竞争中脱颖而出并重塑其业务的巨大机会。大量不断变化的财务数据造成了将机器学习和AI工具引入业务不同方面的必要性。
我们认为，我们主要关注金融领域的7大数据科学用例，但还有很多其他值得一提的。 如果您有任何进一步的想法，请在评论部分分享您的想法。