加州大學(xué)圣地亞哥分校研究員Dionysios Logothetis在日前舉行的Usenix年度會(huì)議上表示，MapReduce可以在服務(wù)器上直接被用來(lái)分析日志數(shù)據(jù)，無(wú)需在各個(gè)集群上單獨(dú)分析，也可以大幅縮短分析數(shù)據(jù)的時(shí)間。

MapReduce結(jié)構(gòu)

利用該方法，“數(shù)據(jù)分析可以從專業(yè)集群上轉(zhuǎn)移到日志服務(wù)器上，從而避免昂貴的數(shù)據(jù)遷移成本支出”，Logothetis表示。MapReduce首先是由谷歌公司推出來(lái)的，它越來(lái)越多地被用來(lái)分析跨服務(wù)器和節(jié)點(diǎn)的大規(guī)模數(shù)據(jù)。目前，它主要擔(dān)當(dāng)Hadoop數(shù)據(jù)處理平臺(tái)的一個(gè)組成部分。

雖然MapReduce大部分都使用在專業(yè)集群上，但研究人士表示分析軟件的框架版本也可以成為網(wǎng)絡(luò)服務(wù)器的一部分。當(dāng)前商業(yè)網(wǎng)頁(yè)關(guān)于用戶的詳細(xì)日志信息，可以為廣告定位、網(wǎng)站安全監(jiān)控和調(diào)試提供數(shù)據(jù)支持。

根據(jù)統(tǒng)計(jì)，為繁忙的電子商務(wù)網(wǎng)站提供服務(wù)的單個(gè)服務(wù)器，在每秒鐘時(shí)間內(nèi)能生成1MB至10MB有價(jià)值的日志數(shù)據(jù)。而在一天之內(nèi)，它可以生成幾十兆兆字節(jié)有價(jià)值的數(shù)據(jù)量。平均而言，1000臺(tái)這樣的服務(wù)器在一天之內(nèi)能生成86TB容量的數(shù)據(jù)信息。比如著名的社交網(wǎng)站Facebook一天所產(chǎn)生的數(shù)據(jù)量為100TB。

通常來(lái)說(shuō)，大型公司比如Facebook這樣的站點(diǎn)都會(huì)收集不同服務(wù)器上的數(shù)據(jù)，然后載入到Hadoop集群并使用 MapReduce分析其結(jié)果。

MapReduce實(shí)例

以往“先存儲(chǔ)后查詢”的方法具有諸多弊端。傳輸不同服務(wù)器上的數(shù)據(jù)會(huì)耗費(fèi)大量的帶寬資源，對(duì)網(wǎng)絡(luò)構(gòu)成巨大壓力。在進(jìn)行數(shù)據(jù)分析之前，F(xiàn)acebook會(huì)丟棄80％的日志數(shù)據(jù)。通過(guò)使用這種新技術(shù)，這些數(shù)據(jù)就無(wú)需再進(jìn)行傳輸了，更不會(huì)發(fā)生數(shù)據(jù)丟失的嚴(yán)重問(wèn)題。

MapReduce在未來(lái)的服務(wù)器上可能將會(huì)成為一種標(biāo)準(zhǔn)配備，它將對(duì)數(shù)據(jù)進(jìn)行分析并將分析后的結(jié)果傳達(dá)給中央數(shù)據(jù)采集點(diǎn)。研究人士將這一方法稱之為“in-situ MapReduce (iMR)”。

iMR旨在補(bǔ)充而不是取代傳統(tǒng)的集群架構(gòu)，它是為了完成分布式存儲(chǔ)系統(tǒng)中的日志數(shù)據(jù)和其他數(shù)據(jù)后續(xù)分析。作為一項(xiàng)程序，iMR能復(fù)制所有的MapReduce APIs，并執(zhí)行MapReduce相類似的功能、對(duì)過(guò)濾的數(shù)據(jù)進(jìn)行命名并匯集分析結(jié)果 。不同之處在于，它能基于最新數(shù)據(jù)的基礎(chǔ)上持續(xù)進(jìn)行分析。

目前，研究員已經(jīng)創(chuàng)建了一個(gè)iMR原型，通過(guò)iMR用戶可以指定需要分析處理的數(shù)據(jù)范圍，比如過(guò)去60秒鐘收集的所有信息。此外，用戶還可以設(shè)定多久提交一次分析結(jié)果并進(jìn)行傳送，比如可以指定每15秒鐘分析一次等。

Logothetis表示，網(wǎng)絡(luò)服務(wù)器可能花費(fèi)絕大多數(shù)資源在他們本應(yīng)進(jìn)行的工作上，被稱為給用戶提供服務(wù)。但是iMR可以利用剩下的循環(huán)處理日志數(shù)據(jù)。

據(jù)悉，研究員為此專門(mén)制定了一個(gè)計(jì)劃以建立處理速度和結(jié)果完整性之間的平衡，如果需要更快地獲得結(jié)果，那么每個(gè)服務(wù)器可以忽略掉一些很耗費(fèi)時(shí)間的數(shù)據(jù)，從何得到一個(gè)不那么完全，但仍是有意義的結(jié)果。而如果想得到一個(gè)全面的分析，則需要很長(zhǎng)的時(shí)間和很大的服務(wù)器資源去完成。

當(dāng)然，一個(gè)只運(yùn)行少量服務(wù)器的組織可能不會(huì)從iMR中受益。但是大的運(yùn)營(yíng)商，例如搜索引擎，社交網(wǎng)絡(luò)和電子商務(wù)網(wǎng)站將會(huì)體驗(yàn)到iMR的價(jià)值。

原文鏈接

成都網(wǎng)站設(shè)計(jì)公司 成都網(wǎng)站建設(shè)公司 成都網(wǎng)站制作公司 成都網(wǎng)站設(shè)計(jì) 成都網(wǎng)站建設(shè) 成都網(wǎng)站制作  成都精品網(wǎng)站制作 成都精典網(wǎng)站制作

網(wǎng)站題目：【成都網(wǎng)站設(shè)計(jì)】MapReduce將會(huì)成為服務(wù)器的新朋友
文章URL：http://www.2m8n56k.cn/news16/175266.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián)，是專注品牌與效果的網(wǎng)站制作，網(wǎng)絡(luò)營(yíng)銷seo公司；服務(wù)項(xiàng)目有網(wǎng)站設(shè)計(jì)等

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)