大师兄

068 | Hadoop三国之蜀国Hortonworks

我把Hortonworks类比为“蜀国”,主要有两个原因:一是它也算正统出身,是原来雅虎里面写Hadoop的那个团队被剥离以后成立的;二是“蜀中无大将,廖化作先锋”,Hortonworks和其他公司比起来,真是没什么大神。Cloudera有Hadoop的创始人在,MapR的CTO精通文件系统,而Hortonworks缺了一个标杆式的人物。

Hortonworks的起源要追溯到2011年,那年雅虎决定将Hadoop团队拆分出去,与人合资成立一家新公司。

我想,这在很大程度上是因为雅虎一直是Hadoop源代码的最大贡献者,而Cloudera则拿着雅虎的源代码赚钱。雅虎里面做Hadoop的人看着对方发财,心里肯定很不爽,起了单干的雄心壮志,这是可以理解的。

主导这次拆分的人是埃里克 · 巴尔德施维勒(Eric Baldeschwieler),他当年也是雅虎Hadoop软件开发副总裁,掌管了整个Hadoop团队。拆分后,他先后就任Hortonworks公司的CEO和CTO。下台以后的他很久没有再找一份正式的工作,而是以投资人和导师的身份混迹于硅谷的IT圈。直到最近,他终于去了亚马逊旗下的子公司A9做了搜索部门的一把手。

这个埃里克就是那个当年和道格 · 卡丁(Doug Cutting)不和的人,他在一定程度上导致了卡丁决定离开雅虎,加盟Cloudera。后来卡丁发达了,埃里克“没落”了,所谓人生起伏莫过于此,不知道两位相见是否会感触良多。

Hortonworks早年赚钱很困难。竞争对手Cloudera不但先一步进入了市场,挖到了Hadoop的精神领袖,而且更重要的是,很早就开始专注于一些企业需求,包括权限管理、资源管理,以及对用户行为的监督等企业级应用的必需品。这些东西当然一部分被Cloudera给贡献进了Hadoop,但另外一部分则成为了Cloudera收费的Cloudera Manager。

而写了Hadoop大部分程序的Hortonworks没有这个觉悟,他们认为“开源”就是好的。这个公司从一开始就打出口号:我们的东西100%是开源的。

“100%开源”这件事到底好不好,就是“仁者见仁,智者见智”的事了。但是不可否认,既然是“100%开源”的,那么其他人也很容易就能组个局,就可以卖自己的Hadoop了,为什么非要用Hortonworks的呢?事实上这事情英特尔干过,Oracle想过。

所以这样一看,Hortonworks的竞争优势,最后只剩下“更廉价”了。Hortonworks到处打价格战抢客户,这个生意显然也没做成功。我想主要原因还是有钱的不缺那点钱,没钱的希望更便宜。

而这种100%开源的做法,意味着Hortonworks的发行版并不能比开源版带来额外的附加价值,从而也使得Hortonworks的定价没有太多的空间。这让Hortonworks成了“廉价”的代名词。

Hortonworks成立的时候,最大的一单生意来自于微软。那个时候微软特别得恐慌,因为Hadoop只能跑在Linux上,不能跑在Windows上。长久下去,这必然会影响到Windows的销售。在那个以Windows为纲的年代里,微软对任何会影响到Windows销量的问题,都要想办法解决。

微软的解决方法就是:把Hadoop做到Windows上来。据说微软和几家商谈,Hortonworks开价最便宜,于是微软决定让Hortonworks来做Hadoop的Windows版本。2013年的时候,Hadoop终于能够在Windows上跑起来了,而微软的重点却已经从Windows转移到云计算了。

因为版权的问题,在云上,Windows的虚拟机比Linux的虚拟机更贵,所以大家都宁可用Linux而不用Windows。微软自己的Windows Azure也不得不加入对Linux的支持里来,因此让Hortonworks做Hadoop的Windows版本这单生意,并没有让Windows的销量上去多少,微软多少有点赔本赚吆喝,但是Hortonworks的确很需要微软的钱。

Hortonworks当时被投资人问的最多的问题就是:你们的钱从哪里赚的,是不是还是主要从微软来?而Hortonworks可能觉得自己出身于硅谷,硅谷的传统又是“反微软”,与微软绑定似乎就是硅谷的敌人了,因此虽然拿了微软的钱,但态度却依然暧昧。

具体的表现是Hortonworks一方面和微软的合作扭扭捏捏,不太愿意和微软保持类似Cloudera和Intel那样很紧密的合作关系,也不太愿意微软注资拿一部分股份。另外一方面,Hortonworks在投资人面前非常强调自己在如何如何地努力增加非微软的收入。

Hortonworks与微软暧昧踟躇的关系并不是好事。微软毕竟家大业大,有很多企业客户,而Hortonworks最缺的就是客户。Cloudera这方面明显聪明太多了,接受了英特尔的投资让其成为自己的大股东,从而获得了英特尔这家大企的支持。

当Hortonworks有了更多的合作伙伴,其他各处的总收入超过微软给的钱时,与微软的合作就从若即若离,变得同床异梦起来。而萨蒂亚 · 纳德拉(Satya Nadella)的上台也让微软从“以Windows为纲”彻底转向了云计算。Hadoop能不能在Windows上运行,这一点已经不是重点了。

于是,在某次宣传Windows Azure的活动里,Cloudera作为合作伙伴,也在邀请之列。这样一来,Hortonworks和微软的蜜月期结束了,之后两家公司渐行渐远。没有抱住微软的“大腿”,这是Hortonworks发展史上非常遗憾的一幕。

Hortonworks在Hadoop社区里有一场非常知名的“互撕事件”,事件的另一主角是Cloudera。这都要从2011年说起,曾经的雅虎Hadoop团队重要成员,后来的Hortonworks创始人之一,也就是欧文 · 奥马利(Owen O’Malley)写了一篇博文:“The Yahoo!Effect”。

这篇文章总结来说就是:Apache基金会很厉害,开源项目很多。但是,这篇文章同样传递出这样一个意思:雅虎在里面做了大部分的贡献。至于竞争对手Cloudera,在文中就显得非常惨不忍睹。

也许文章的本意是唤醒大家“Hortonworks才是Hadoop正统”的意识,但是Hortonworks已经没什么牛人了,即便正统又怎么样呢?

Cloudera看到此文,自然不干了,他们辛辛苦苦挖来了道格 · 卡丁装点门面,就是想让自己显得更为正宗。这篇文章却直接“打脸”,似乎是说他们不劳而获,拿了雅虎的东西卖钱。

Cloudera的辩解方式简单总结就是:这个当年写代码的人——“Hadoop之父”道格 · 卡丁,都在我们公司了,他所有写的代码,包括过去未被我们雇用时写的代码,现在也应该算是我们公司的贡献了。

经过这样修改之后,Cloudera迅速成为了第三大贡献者,当然前两位依然是Hortonworks和雅虎。但不管怎么说,这也只是让Cloudera显得好看一点而已。Cloudera一下子从不重要的贡献者跻身为第三位贡献者的地位,我想Cloudera大致也就只能修饰到如此程度了吧。

非常有意思的是,Hortonworks里面原本就最不爽道格 · 卡丁的埃里克跳了出来,也就是前雅虎Hadoop软件开发副总裁,后来又先后做了Hortonworks CEO和CTO的那位。

埃里克说Cloudera这个统计也有问题。因为这个统计里面,用的指标是每个公司分别给系统提交了多少个补丁,而在统计的过程中并没有考虑每个补丁的大小是不一样的。于是埃里克说,我们干脆来看看每个公司分别提交了多少行源代码吧。

这一统计,雅虎的源代码还是占据了大部分,Hortonworks和Cloudera基本上旗鼓相当。但是埃里克说Hortonworks作为一家公司成立,晚了好几年,可是提交的源代码数量已经和Cloudera旗鼓相当了。Cloudera单位时间内提交的代码数量不如Hortonworks,所以Cloudera自然是名不符实。

这次事件主要就是在争夺Hadoop的控制权。而两位主角因为忙于互撕,直接导致Hadoop在两年内没有什么新版本发布。这样一来围观者看不下去了:天天叫着Hadoop的新版本怎么还没来,我们没空看你们互撕。

我们必须说资本的力量是无穷的,道格 · 卡丁顺利荣升Apache基金会主席,他的影响力一时无二;而埃里克这次跳出来发表意见,难免引起公司内外包括投资人的一些反应,之后他也从Hortonworks离职,然后很长一段时间里没有找到全职的工作。

最后的结果是,阿帕奇Hadoop项目委员会的成员里,Hortonworks和Cloudera的人大致占了一半,谁也不是赢家。Hortonworks可能更惨一些,毕竟CTO因为跳出来发表意见,之后就辞职了。

更重要的是,“二虎相争”又让第三方的软件有机可乘,比如MapR就趁机拓展了地盘,亚马逊的Elastic MapReduce更是迅速占领市场。|因为Elastic MapReduce这个版本在云上面的服务是基于S3的,而不是原生的Hadoop文件系统。

另外一方面,随着大数据技术的发展,引领大数据潮流的谷歌新推出了一个叫作BigQuery的服务,它主要是提供交互式分析查询,而交互式分析查询在Hadoop的生态系统里也越来越重要,客户越来越需要。但是这种交互式查询HIVE做不了,因此Cloudera启动了Impala项目,MapR也以Drill项目来响应。

但是Hortonworks却坚持说:HIVE才是交互式分析查询最自然的选择。虽然现在HIVE因为性能问题做不到交互式,但是Hortonworks决定大举进军HIVE,提高它的性能。Hortonworks相信经过性能改造,HIVE能够提供交互式分析查询。

结果,这条路走得不但艰难,而且很失败。Hortonworks始终没能够把HIVE改造到可以和Impala或者Drill相提并论的程度。而在合适的时候没有开始新产品的开发,没有了“大杀器”的Hortonworks,其产品销售比起其他两家来越加困难。

因为产品销售困难,Hortonworks的融资之路也开始受困。在此背景下,Hortonworks决定率先IPO;既然拿不到投资者的钱,不妨去股市里找钱。资金链的危机,据说正是Hortonworks急速上市的重要原因。

但是,这个上市过程就显得有点“血淋淋”了:上市的时候大概10亿美金,上市后不到半年,就腰斩一半只剩下5亿美金了。

Hortonworks这个正统出身的Hadoop公司,今天混到这步田地,只能说是“小二黑过年,一年不如一年”了。

Hortonworks公司既无大公司支持,又没有自己独特的功能。100%的开源,没有自己主导的开源项目,也没有自己开发的闭源的套件,它的未来之路会好走吗?