用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向科技前沿
关键字  范围   
 
加州大学圣地亚哥分校打破“太字节障碍”创数据分类速度纪录
来源:《科技日报》 | 作者:毛黎 | 2010/8/1 7:48:27 | 浏览:1672 | 评论:0

  美国加州大学计算机科学家打破了“太字节(Terabyte)障碍”,创造了在60秒内对超过太字节数据进行分类的世界纪录。在被誉为“数据分类的世界杯”的“分类基准”比赛中,他们还追平了最快数据分类率的世界纪录,172分钟内数据分类量达到1万亿字节,不过使用的计算机资源只有原纪录创造者计算机资源的1/4。

  寻求新趋势、高效率和其他竞争优势的公司致力于发展大数据量的分类途径,通常此项工作需要超强的数据中心。互联网的运行显示了数据分类的重要性,社会网络的广告、亚马逊网站的推荐以及谷歌的搜索结果均源自对多达数拍字节(petabyte)数据组的分类。1拍字节等于1000太字节。

  研究项目负责人、加州大学圣地亚哥分校计算机科学教授阿敏·瓦达特表示,如果某家大公司需要查询所有相关的网页或产品销售,这需要对多达数拍字节的数据组进行分类,而数据组本身每天可呈千兆字节的速度增长。公司在不断地将其数据分类的数量和速度推向极限。瓦达特认为,实时的数据分析需要更好的分类技术。在数据中心,分类常常是许多更高级活动的“瓶颈”。

  计算机科学家面对的数据分类挑战不同于其他的利用现成数据库软件参加的比赛,它们之间最大的差异是在太字节和拍字节分类中,数据远远超过了计算机做分类所具有的内存容量。为了建立自己的大数据量分类系统,瓦达特他们专门设计了高速且平衡的计算机系统。所谓平衡系统是指系统内的技术资源如内存、存储和网络宽带等被全量使用,做到尽可能没有浪费。

  为打破“太字节障碍”,瓦达特他们建立的计算机系统拥有52个计算机节点,每个节点为1台装有两个4核处理器的服务器,其内存为24千兆字节,16块每块为500千兆字节的硬盘组成了存储空间。作为合作者,美国思科公司为研究小组提供了Nexus 5020交换机。

相关栏目:『科技前沿
神秘大模型一夜刷屏,能力太强被疑GPT-4.5,奥特曼避而不答打哑谜 2024-05-02 [18]
《Science》封面挑战现代教科书,一个长达数十年的谜团被解开了 2024-05-02 [18]
数不清的蜘蛛!欧空局探测器在火星“古城废墟”中拍到惊悚照片 2024-05-02 [19]
根据线粒体基因进行过滤 2024-05-02 [19]
把10万块AI 芯片部署在同一地区电网就会崩溃 2024-04-29 [120]
十个伟大的物理实验,你知道多少个? 2024-04-28 [80]
《npj-CAS》| AI模型的预报效果超越了物理数值模式吗? 2024-04-28 [53]
ChatGPT 之父最新演讲:GPT-5即将迎来史诗级提升,碾压众多AI初创公司 2024-04-26 [132]
AI成功改写人类DNA,全球首个基因编辑器震撼开源! 2024-04-24 [99]
这就是OpenAI神秘的Q*?斯坦福:语言模型就是Q函数 2024-04-24 [80]
相关栏目更多文章
最新图文:
:摄影师苏唐诗与寂寞百年的故宫对话6年,3万张照片美伦美奂 :大数据分析图解:2019中国企业500强 张梦然:英国惠康桑格研究所:人体内的微生物与出生方式有关 :美众议院将调查华裔部长赵小兰“利用职权为家族谋利“ :UCLA CCS 2019 Fall Quarter Lecture Series Overview 谭晶晶:美国科技界高度关注中国科技创新进展 :推荐:2019年底前中国高校重要学术论坛(10月 - 12 月) :黄奇帆:今后10年,中国经济将发生5个历史性变化
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2024 ScholarsUpdate.com. All Rights Reserved.