Elasticsearch的诞生、发展和愿景

246

Elasticsearch是一款基于Apache Lucene构建的开源搜索引擎,它采用Java编写,并使用Lucene构建索引、提供搜索功能,Elasticsearch的目标是让全文搜索变得简单,开发者可以通过简单明了的RESTful API轻松地实现搜索功能,而不必去面对Lucene的复杂性。Elasticsearch能轻松地进行大规模横向扩展,以支撑PB级的结构化和非结构化海量数据的处理,最近来自S&S Media的 Diana Kupfer就Elasticsearch的发展历程采访了其创建者Shay Banon。

在谈到为什么会接触Lucene并开发Elasticsearch时,Shay Banon认为自己参与Lucene完全是一种偶然,当年他还是一个待业工程师,和自己的新婚妻子来到伦敦,妻子想成为一名厨师,而自己则想为妻子开发一个方便搜索菜谱的应用,所以才接触到Lucene。直接使用Lucene构建搜索引擎有很多问题,包含大量重复性工作,所以Shay便在Lucene的基础上不断地进行抽象,使Java程序嵌入搜索变得更容易,经过一段时间的打磨,他的第一个开源作品“Compass”诞生了。之后,Shay找到了一份面对高性能分布式开发环境的新工作,在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务,于是他决定重写Compass,将它从一个库打造成了一个独立的server,并将其改名为Elasticsearch。

对于开发开源分布式系统的一些最佳实践,以及需要特别注意的地方,Shay Banon认为构建一个分布式系统并不容易,在将Elasticsearch从一个个人项目变成一个公司项目之后,他们的首要任务是创建一个崭新的测试基础设施以测试并验证系统的行为。分布式系统需要在网络上的不同机器上运行,这意味着错误发生时很难调试,为此Elasticsearch花费了大量时间构建一个能将分布式测试作为“普通”集成测试的一部分运行的测试工具。Shay Banon认为“如果一个系统没有测试,何谈它的运行机理”,测试系统是构建分布式系统最重要的基础设施之一。

Shay Banon认为对于现在的企业而言数据是所有业务的生命源泉,企业想要通过最简单的方式从数据中获取尽可能多的价值,而搜索就是实现这一目标的一种非常好的方式。Elasticsearch能够对海量数据进行全文搜索,结构化的搜索和分析,并且已经被大量的组织所使用,包括Foursquare、Wikimedia、GitHub以及CERN。谈到Elasticsearch的成功,Shay Banon认为Elasticsearch通过构建一种能够允许用户将任意领域模型映射到“搜索”上的技术实现了用例的爆发式增长;通过标准化的JSON和RESTful接口,使用不同编程语言、不同框架的开发者可以将其应用到各种各样的用例中。另外,Elasticsearch不关心数据的类型,无论是传统的web页面、word文档、web服务器的日志,还是Foursquare上的一个位置,银行的一条交易记录都可以通过它进行索引并搜索。

今年夏天,Elasticsearch获得了7000万美元的C轮融资,对于该融资对公司路线图的影响,Shay Banon说: “正如你所看到的,作为一家公司我们有非常雄伟的目标。我们最高的目标就是尽快地为我们的用户交付实实在在的东西。在创建公司的时候我们做的第一件事就是确保所有流行的语言和框架都有正式的客户端驱动。现在,我们已经有可以与Ruby、Python、PHP、Perl、.NET和Java集成的客户端,将来会有更多。我们还在构建Kibana和Logstash,前者旨在让用户能够非常容易地可视化Elasticsearch中的数据,后者则是为了收集、分析和存储日志而设计,用户可以使用它将数据导入到Elasticsearch中。除此之外,我们还在开发一个能够将Elasticsearch与Hadoop集成到一起的模块,它支持所有的Hadoop发行版,包括Apache Hadoop、MapR、Cloudera和Hortonworks。这些都是大项目,大部分投资都进入到了这些项目的开发中。通过融资,我们不仅能够确保公司可以实现短期目标,同时还能够制定雄伟的长期计划并尽快地开始实施。”

来源:Jaxenter

当前文章:Search » Elasticsearch的诞生、发展和愿景