通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  列兵

注册:2010-1-11
跳转到指定楼层
1#
发表于 2010-1-14 14:02:12 |只看该作者 |倒序浏览
最底层用linux作为本地文件系统。

用UDT这种成熟的UDP传输方式实现网络传输。

用google的protobuf这种高效的文本序列化和反序列化方式实现文件读写。

用KFS的meta. data这种有冗余的方式来实现文件元数据。

这样设计应该比HADOOP这种方式的存储效率和存储速度高,跟sector应该有得一拼。



如果上面再采用HADOOP的map reduce来实现计算呢。

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-11-16 01:56 , Processed in 0.075611 second(s), 15 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部