日归档：2013年11月7日

2013
11-07

书写SQL需要注意的若干问题（MySQL版）

一、基本问题 1，  在系统中运行的SQL查询，先考虑一下能不能在Slave上检索，目前各个项目中Master上的不可避免的查询量是其他所有的Slave总和还多。 但也不是一味的都是在Slave上查询。 EMT上出过一次查询数据的情况：在一个前后顺序执行的逻辑代码中，先更新Master的数据，再在Slave上查更新后的数据，这样的操作很多时候因服务器和网络环境而出现查询结果不一致的情况。这样的就不.... Read More >
2013
11-07

memcached完全剖析

利用memcached构建高性能的Web应用程序 面临的问题  对于高并发高访问的Web应用程序来说，数据库存取瓶颈一直是个令人头疼的问题。特别当你的程序架构还是建立在单数据库模式，而一个数据池连接数峰值已经达到500的时候，那你的程序运行离崩溃的边缘也不远了。很多小网站的开发人员一开始都将注意力放在了产品需求设计上，缺忽视了程序整体性能，可扩展性等方面的考虑，结果眼看着访问量一天天网上爬，可突然.... Read More >
2013
11-07

金融业大数据项目主要面临的风险

一、对传统金融数据管理技术的挑战 传统的数据库部署不能处理数TB 级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。 如何构建多地域的分布式数据库(Globally-Distributed Database) ，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。 二、传统数据库技术并没有考虑数据的多类别性（variety） SQL（结构化数据查.... Read More >
2013
11-07

国内外金融领域的发展现状

国外： 国外对大数据在金融业上的应用和研究都比较早。从大数据概念的提出到大数据概念为人所知不到几年的时间里，各行各业有关大数据的研究都进展迅速。国外基本形成了以大数据为背景的计算构架，如：Apache的Hadoop等。以美国为例，美国于 2012 年 3 月发布了“大数据的研究和发展计划”(Big Data Research and Development Initiative)。该计划涉及美国国.... Read More >
2013
11-07

金融大数据时代的主要性能指标

一、海量的交易数据的存储 毋庸置疑，金融行业天生拥有大数据，天然拥有优化大数据处理、进而降低信评与风控成本的动机。在利润最大化的追求下，大数据处理属于传统金融业的内在创新动力，随着互联网的发展，金融业的数据导向不在是传统的内在交易数据，更多的数据来源与社交网络和电商数据，这些数据的结构多样性给他们的存取带来了一些难题。然而，随着近年来云计算的兴起，云存储技术也日渐成熟，这为解决金融大数据的存取奠定.... Read More >