实战派带你玩真正的大数据,14周高强度特训!

锋云网

 找回密码
 快速注册

QQ登录

只需一步,快速开始

搜索
查看: 10001|回复: 16

淘宝架构师岑文初:分布式计算开源框架Hadoop介绍

  [复制链接]
发表于 2010-10-28 08:29:17 | 显示全部楼层 |阅读模式
SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对于海量日志分析的工作,还是需要有所准备。现在最火的技术词汇莫过于云计算,在OpenAPI日益盛行的今天,互联网应用的数据将会越来越有价值,如何去分析这些数据,挖掘其内在价值,就需要分布式计算来支撑海量数据的分析工作。
    回过头来看,早先那种多线程,多任务分解的日志分析设计,其实是分布式计算的一个单机版缩略,如何将这种单机的工作进行分拆,变成协同工作的集群,其实就是分布式计算框架设计所涉及的...

下载: 分布式计算开源框架Hadoop介绍.rar (60.28 KB, 下载次数: 96)
学大数据 到大讲台
回复

使用道具 举报

发表于 2010-11-10 13:54:35 | 显示全部楼层
初略看了一下,这个比较经典
建议大家下载学习
学大数据 到大讲台
回复 支持 反对

使用道具 举报

发表于 2010-11-12 11:37:01 | 显示全部楼层
顶一下,东西要了~~
学大数据 到大讲台
回复 支持 反对

使用道具 举报

 楼主| 发表于 2010-11-14 07:22:00 | 显示全部楼层
顶起来,岑文初是大佬,JAVA高手,经常关注他的博客
学大数据 到大讲台
回复 支持 反对

使用道具 举报

发表于 2011-3-11 15:11:55 | 显示全部楼层
看了看 挺不错的~
学大数据 到大讲台
回复 支持 反对

使用道具 举报

发表于 2011-6-10 16:25:43 | 显示全部楼层
学习先,谢谢楼主
学大数据 到大讲台
回复 支持 反对

使用道具 举报

发表于 2011-7-12 22:09:02 | 显示全部楼层
多谢楼主分享!!
学大数据 到大讲台
回复 支持 反对

使用道具 举报

发表于 2011-7-24 15:13:53 | 显示全部楼层
怎么这么小的附件?
学大数据 到大讲台
回复 支持 反对

使用道具 举报

发表于 2011-11-13 18:20:34 | 显示全部楼层
lz,thx~~~
学大数据 到大讲台
回复 支持 反对

使用道具 举报

发表于 2012-1-31 10:04:45 | 显示全部楼层
下来看看
学大数据 到大讲台
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

在线咨询|关于锋云|联系我们|手机版|投诉建议|版权声明|云计算|Hadoop|大数据|锋云网 ( 京ICP备13050990号 )

这是云计算时代的精英部落,这是中国最大的云计算社区 —— 锋云网(sharpcloud.cn)!

本站CDN/存储服务由本站CDN/存储服务由又拍云提供提供

Powered by Discuz! X3.2

© 2001-2015 Sharpcloud.cn

 

锋云网官方QQ群

中国云计算精英群(ID:64924638)中国云计算精英群      Hadoop技术交流群②(ID:25728812)Hadoop技术交流群②      Spark技术交流群(ID:413581066)Spark技术交流群

Hadoop技术交流群(ID:113156288,2000人群已满)

返回顶部