通信人家园

标题: Hadoop跟Sector/Sphere对比 [查看完整版帖子] [打印本页]

时间: 2010-1-13 11:24

作者: 见龙在天 标题: Hadoop跟Sector/Sphere对比

实现语言：
hadoop： java
sector： c 和c++混合java
从实现语言看sector的速度应该会更好，java对于大数据计算来讲，内存是个灾难。

网络传输：
hadoop自己用java实现，当然最底层用的是linux的最新epoll事件驱动方式，TCP。
Sector/Sphere用的是UDT，开源的UDP传输代码。
单从速度上看UDT应该更有优势。
其实本人看好将来用SCTP实现的可靠报文传输。

文件系统：
都支持多种文件系统，都有实现自己的文件系统，最底层都用linux文件系统。同一个文件都可以有多个拷贝，所有都可以容错。
hadoop对于文件会分块存储。
sector不对文件分块。
单从文件处理来说，很难比较优劣，但是Hadoop在上面加入数据库层之后，数据库的大存储文件分块来讲会更有优势。

组网方式：
都是几个主节点，加上多个计算节点。都是客户端跟计算节点直接传输文件。都有操作shell。负载都可以自动平衡。
没有优劣。

安全：
都有安全考虑，但是sector考虑更全面。

map/reduce实现：
hadoop上面加入自己的map.reduce代码更简单。secotr用所谓UDF实现map、reduce，对于自己实现来说门槛更高。
另外hadoop提供了map实现时的默认比较类，排序类，分区类。secotr则都要自己实现，当然这样子就更灵活。

都有系统监控界面，hadoop加入jetty来实现web式监控，符合当前潮流，sector还是用文本方式监控，占用资源更少，但是不美观。

通信人家园 (https://www.txrjy.com/)