|
源代码网推荐
源代码网整理以下大家知道Google是世界上访问最大的网站之一,但有谁知道它每天处理多少数据呢? 这里可以告诉你一个大致的数据,约20PB(20000TB,1TB=1024GB).的确是非常惊人的一个数字.这些数据每天通过巨大的群集来处理,截至2007年9月,Google的集群数量已经达到11000台. 这些服务器的配置大多采用两颗英特尔至强(HT)处理器和4GB内存,两个160GB的硬盘,并采用以太网连接,每台大约在2400美元左右,以下是详细的统计表格.
源代码网整理以下
MapReduce statistics for different months
| |
|
|
|
| Number of jobs (1000s) |
29 |
171 |
2,217 |
| completion time ()completion time () completion time () |
634 |
874 |
395 |
| Machine years used |
217 |
2,002 |
11,081 |
map input data ())) |
3,288 |
52,254 |
403,152 |
map output data ())) |
758 |
6,743 |
34,774 |
reduce output data ())) |
193 |
2,970 |
14,018 |
| machines per jobmachines per job machines per job |
157 |
268 |
394 |
| Unique implementations |
map |
395 |
1,958 |
4,083 |
reduce |
269 |
1,208 |
2,418 |
源代码网供稿. |