2016年11月21日 ,Apache软件基金会(the Apache Software Foundation,ASF)公布 Apache Geode已从Apache孵化器毕业 成为顶级项目(Top-Level Project),表明该项目标 社区和产物 已根据ASF的精英流程和原则得到精良 管理 。
2016年11月21日 ,Apache软件基金会(the Apache Software Foundation,ASF)公布 Apache Geode已从Apache孵化器毕业 成为顶级项目(Top-Level Project),表明该项目标 社区和产物 已根据ASF的精英流程和原则得到精良 管理。
初识Apache Geode
Apache Geode是一个相称 成熟 、矫健 的的数据管理平台,提供及时 的、同等 的、贯穿整个云架构地访问数据关键型应用。Geode自身功能比力 多 ,起首 它是一个基于JVM的NoSQL分布式数据处理 惩罚 平台,同时会合 间件 、缓存、消息队列、变乱 处理 惩罚 引擎、NoSQL数据库于一身的分布式内存数据处理 惩罚 平台 。可用来举行 完因素 布式缓存 、数据长期 化、分布式事物、动态扩展等功能。
如今 ,有高出 600家大中型企业级用户 ,利用 了Apache Geode。他们重要 是应用于必须满意 低耽误 和24x7高可靠要求的 、高可扩展性的关键业务应用体系 。
Apache Geode的技能 特性
缓存是一个抽象的概念, 在一个Geode分布式体系 中用于形貌 一个节点 。在每个缓存中,用户界说 数据regions。数据regions雷同 于传统关系型数据库中的“表”的概念,以分布式的方式来管理数据 ,表现 为名/值对情势 。在分布式体系 的每个缓存成员中,一个复制region生存 数据的拷贝;一个分区region跨缓存成员来同步数据 。在体系 设置 后,客户端应用可以或许 访问regions中的分布式数据, 而不必要 知道体系 团体 架构的知识。
用户可以或许 界说 监听器来吸取 关照 ,当数据发生变革 时,同时用户也可以或许 界说 超时标准 来删除在一个region中的废弃掉的数据。
Locators提供了发现和负载均衡 服务 。用户设置 带有locator服务列表的客户端,同时locators维护一个成员服务器的动态列表。默认环境 下 ,Geode客户端和服务器利用 端口40404和多播来相互 发现。
Geode池化了服务器上的内存、CPU、网络资源和本地 磁盘,跨多个进程 来管理应用对象和应用举动 。它利用 了动态数据复制和分区技能 来实现高可用 、高性能、高可扩展性、容错性。别的 ,对于一个分布式数据容器,Apache Geode是一个基于内存的数据管理体系 ,提供了可靠的异步变乱 关照 和可靠的消息投递。
Geode支持连合 冗余 、复制,和“shared nothing ”的同等 性架构来交付“主动 防故障”的可靠性和高性能 。它可以或许 程度 扩展到数千个缓存成员,具有多种缓存拓扑布局 来满意 差别 的企业级摆设 需求。缓存可以或许 跨多台呆板 举行 分布。还支持异步和同步缓存更新传播 。Delta传播 只分发新版本和旧版本的变革 量(delta) ,而不是整个对象,从而可以节流 大量的网络开销 。
Geode通过颠末 优化的、低延时的通讯 层举行 可靠的异步变乱 关照 ,提供了高保障的消息投递。在没有额外硬件的辅助下 ,应用可以加快 4~40000倍。Geode还集成了数据感知和及时 BI,当用户查询时,假如 数据变革 了 ,用户可以或许 立即 在体系 中望见 数据的变革 。它集成Spring框架来加快 和简化高可扩展、高并发和事件 型企业级应用的开辟 复杂度。提供了JTA兼容的事件 支持。集群的设置 可以写到文件中和导出到其他集群中 。通过HTTP举行 长途 集群管理。对Geode而言,滚动升级是可行的, 但是必要 服重新 特性的限定 题目 。
Geode的长处
性能扩展 、线性扩展、事物和读写低耽误 ;
通过全局的分布式应用举行 同等 的数据库操纵 ;
高可用性和高伸缩性,全局规模;
强大 的开辟 者特性;
简单 的分布式节点管理;
动态复制和分区技能 ;
可快速并行规复 的长期 化;
快速内存存储、优化的大堆内存、数据压缩 、磁盘溢出采取 和数据超机遇 制;
分布式位置感知功能;
分布式事物ACID;
支持类SQL和索引;
服务器可以将数据变乱 关照 客户端 ,同步大概 异步的相应 客户端,包管 变乱 次序 ;
高可扩展高坚固 性的集群技能 ,失败检测、网络分区检测 。
Gende利用 网格化的缓存集群,构成了同一 的、应用缓存体系 。全部 数据都放入到内存当中 ,全部 的缓存操纵 都被抽象化为对缓存集群的单点引用,换句话说,你的应用可以或许 与缓存集群中的单个逻辑单位 交互 ,而不消 思量 集群中到底有多少缓存集群。
Geode的发展汗青
Apache Geode由GemFire开源而来,最初在2002年由GemStone Systems公司开辟 (2010年被VMWare收购,2013年被Pivotal剥离) ,商标为GemFire 。此项技能 初期被广泛应用在金融范畴 ,用于华尔街买卖 业务 平台,作为事件 性 、低延时的数据引擎。
2015年4月GemGire的代码被提交给Apache孵化器作为孵化项目。但是这个开源是基于Gemstone 20年的技能 积聚 ,尚有 大量的金融用户(天下 500强绝大多数客户都在用Gemfire)的实践尚有 很多 通讯 、贩卖 等行业的生产环境 利用 。
作为天下 规模最大的及时 买卖 业务 体系 之一12306就是利用 的GemFire 。
Geode和GemFire是什么关系呢?Geode是Gemfire的开源版本,GemFire是贸易 版本。
Apache Geode都用在什么样的场景
大数据必要 一个可以处理 惩罚 巨大 数据流、拥有连续 不绝 的可用性和同等 性的技能 架构,该架构的关键之处是:在差别 数据管理体系 和位置下都可以机动 扩展。
而Apace Geode完全可以用来改变客户体验 、决定 本领 和盈亏的各种方式 。下面通过四个应用场景来相识 一些企业客户在不影响速率 和数据的安全性的环境 下是怎样 利用 Apache Geode支持高性能的及时 应用程序的。
买卖 业务 处理 惩罚
网购、装备 互联、证券买卖 业务 ,这些范例 的买卖 业务 处理 惩罚 应用程序要求超高的数据管理性能。随着越来越多的企业动手 举行 数字化转型,这些范例 的应用程序数量 只增不减,在这种环境 下,高度支持数据同等 性的内存数据网格是必须的 。Geode可以处理 惩罚 超大量的并发买卖 业务 业务 ,涉及兆兆字节的运行数据,为客户提供更快,更可靠的买卖 业务 体验。
与传统的关系数据库管理体系 相比力 ,Geode的可扩展性更强,可以或许 随着需求的不绝 进步 举行 相应的扩展。无论是第一位用户还是 第一万位用户,体系 都会在刹时 处理 惩罚 好您买卖 业务 哀求 。这种高速 、安全的本领 对于拥有在线购物、付出 处理 惩罚 、金融买卖 业务 业务的企业来说尤为紧张 。由于 每一秒等待 时间都意味着买卖 业务 数量 的低落 ,从而导致企业收入的低落 ,Geode利用 闪电般的速率 和机动 的可扩展性,为用户提供快速买卖 业务 ,从而可以进步 客户保存 率和参加 性。
印度铁路公司是天下 上第二大的铁路公司,他们就正在利用 GemFire举行 买卖 业务 处理 惩罚 。印度铁路公司每天 运行高出 12000辆列车,载客量高出 2300万人次。该公司的旧体系 每天 只能处理 惩罚 不高出 40000个并发互联网用户 ,而此中 很多 人网上预订车票仍需耗费 半小时。通过利用 GemFire支持其电子票务应用程序,该体系 如今 可以处理 惩罚 高出 12万个并发用户,如今 完成预订只需几秒钟。GemFire改变了印度铁路公司数百万名客户的体验,并带来高达60000万卢比的日收入增长 。
时间关照 和处理 惩罚
在像名誉 卡诈骗 、风险盘算 、车辆跟踪这些景象 中 ,数据可以复述现场及时 发生的各种变乱 。随着物联网成为各行各业强有力的数据源,把握热数据机会 变得尤为紧张 。然而,传统的数据管理体系 无法快速处理 惩罚 大数据 ,就无法及时 将紧张 变乱 转达 给客户端应用程序,传统的体系 也无法连合 汗青 和及时 数据举行 及时 分析和猜测 。
但是 ,假如 我们连合 内存数据网格与大规模并行处理 惩罚 数据存储 ,就可以像Pivotal Greenplum大概 开源Greenplum Database一样快速地处理 惩罚 及时 和汗青 数据集,让热数据分析成为大概 。银行、能源,以及电信等行业的高层无疑会对GemFire出色 的变乱 关照 和处理 惩罚 本领 倍感爱好 。
Geode强大 的内存数据网格可以管理高达兆兆字节的内存输入数据 ,并在服务器内部数据发生变革 时,超过 多个集群,将关照 推送至应用程序客户端 。这种快速 ,连续 的查询本领 使得体系 可以或许 快速,轻松地访问大量输入数据,并采取 举措 。
工业巨头通用电器公司就采取 了GemFire的内存变乱 处理 惩罚 和关照 功能来对其燃气轮机产物 举行 跟踪。其长途 水力和电力监控与诊断中心 如今 可以或许 处理 惩罚 和存储涡轮机上高速的时间序列传感器的大型数据流(每秒高出 10万个,内存10兆兆字节) 。
GemFire的连续 查询功能答应 通用电器公司通过各种传感器数据密切留意 涡轮故障信号。别的 ,通用电器公司已实行 快速归并 分析及时 和汗青 数据,来猜测 涡轮维护需求,防止装备 故障。利用 变乱 处理 惩罚 和分析功能 ,连合 及时 和汗青 数据,通用电器公司开始采取 精简的方式举行 监测和维护其舰队,而原有的体系 来是不大概 分析这些的 。
高可用性的分布式缓存
Geode的内存数据网格可以作为现有应用程序的缓存层利用 ,如许 ,应用程序就可以快速调用常常 访问的数据,不会在访问磁盘数据时发生卡顿。更紧张 的是 ,Geode可以或许 在服务器停机以及广域网的毗连 哀求 时举行 回应,这使得应用程序连续 可用从而低落 耽误 。岂论 是网络会话缓存还是 主机卸载,GemFire都支持复杂的缓存办理 方案。
人力资源和财务 职员 利用 这些应用程序来搜刮 和筛选员工信息 。他们必要 快速、可靠地访问各种数据子集 ,如员工住址或薪酬品级 。利用 搜刮 表格从数据库中查询这些信息是一个迟钝 而繁琐的过程。为了满意 高容量 、低耽误 的数据调用需求,开辟 者可以在应用程序中直接创建一个先辈 的的本地 缓存办理 方案,而且 可以通过GemFire来不绝 更新 。这个内存本地 缓存体系 的功能雷同 于单页面Web应用程序,让用户可以在几分之一秒的时间内搜刮 和筛选大量的数据 ,带来流畅 而高效的用户体验。
某大型保险公司由于 原有的体系 无法生存 填写中的表格,使得客户流失率连续 上升。GemFire美满 地办理 了这个题目 ,让该公司在北美地区 的三个数据中心 可以及时 缓存客户信息 。如今 ,他们的客户可以随时返回到申请表而没有任何的数据丢失,极大地进步 了保险在线提交申请的数量 。
盘算 /数据网格
蒙特卡罗模仿 (Monte Carlo simulation)、组合猜测 (Combined Forecasts)、代价 和性能指标的比力 ……金融服务行业是GemFire网格大数据的发展 沃土。利用 传统的数据库存储体系意味着处理 惩罚 和分析财务 数据必要 在各个独立的体系 之间来回 大量移动数据,很多 金融服务公司的陈旧体系 很难跟上客户数据不绝 增长 的步调 。GemFire可以在内存中处理 惩罚 非常大的数据流 ,无需将数据传输到一个单独的分析体系 中去,答应 快速地存取数据和充实 地分析数据。
某大型金融服务公司采取 GemFire在单一平台上快速处理 惩罚 兆兆字节级的内存数据,该公司的客户可以或许 快速查察 逼迫 组合指标中的差别 数据源。以代价 数据和性能指标为例 ,传统的数据库架构必要 额外步调 来处理 惩罚 这些指标,耗费 时间太长 。而GemFire的内存数据网格不必在各个单独数据库之间移动数据即可举行 复杂盘算 和分析,这为基金司理 、投资者和其他的平台用户提供了即时敏捷 的大规模分析本领 。
快速高容量的并发买卖 业务 、主动 及时 的变乱 关照 、以毫秒为单位 的大数据的告急 动态盘算 、内存缓存中尤为快速的数据传输、乃至 是跨广域网数据传输 ,这些都是像Geode这种内存网格的独特功能。
本日 荐文
点击下方图片即可阅读
你过年拍的那些照片,可以按如许 逼格满满的玩儿