阿里巴巴在11月6日宣布，其大數(shù)據(jù)團(tuán)隊(duì)開發(fā)的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺Galaxy目前每秒擁有超過500萬條運(yùn)營數(shù)據(jù)。預(yù)計(jì)每秒操作數(shù)將超過1000萬條，每天處理的消息數(shù)將超過1萬億條。對于每筆交易數(shù)據(jù)，系統(tǒng)都會實(shí)時(shí)反復(fù)檢查70多次，確保數(shù)據(jù)質(zhì)量。
一分鐘成交額突破1億，1000多萬人涌入天貓。這是2013雙十一購物狂歡節(jié)的第一分鐘。這些數(shù)據(jù)在杭州淘寶城的大屏幕上實(shí)時(shí)播放。在大屏幕上跳動的每一個(gè)數(shù)字，都來自于阿里內(nèi)部60多個(gè)系統(tǒng)的緊密配合：在你以最快速度秒殺雙十一熱銷產(chǎn)品的同時(shí)，這些系統(tǒng)已經(jīng)完成了無數(shù)輪的數(shù)據(jù)采集、傳輸、處理、計(jì)算和對頁面的反饋。這是阿里未公開的技術(shù)——如何在保證數(shù)據(jù)質(zhì)量的前提下實(shí)現(xiàn)實(shí)時(shí)計(jì)算？
Galaxy是阿里巴巴開發(fā)的通用增量計(jì)算平臺，可以提供從分鐘級延遲到秒級甚至毫秒級的實(shí)時(shí)數(shù)據(jù)計(jì)算能力。Galaxy解決了計(jì)算通用性、開發(fā)成本、數(shù)據(jù)質(zhì)量等諸多問題，提供了可擴(kuò)展、大規(guī)模的集群服務(wù)能力。
目前，Galaxy每秒可計(jì)算500萬條數(shù)據(jù)，每天處理的記錄數(shù)超過2500億條，每天的數(shù)據(jù)處理量接近2PB。想象一下：當(dāng)你還在想10241024等于多少的時(shí)候，Galaxy已經(jīng)得到了數(shù)據(jù)，完成了計(jì)算，并在這一秒內(nèi)交出了500萬次的結(jié)果。今年雙十一，用戶瀏覽、交易、移動應(yīng)用等產(chǎn)生的數(shù)據(jù)量。會大規(guī)模增加。那一天，Galaxy的計(jì)算量預(yù)計(jì)將超過每秒1000萬條，每天處理的消息數(shù)將超過1萬億條。
阿里巴巴數(shù)據(jù)質(zhì)量團(tuán)隊(duì)介紹：“銀河不僅要計(jì)算快，還要保證不會錯?！背薌alaxy，阿里還開發(fā)了一個(gè)可以實(shí)時(shí)檢測線上數(shù)據(jù)的系統(tǒng)，可以在一秒鐘內(nèi)完成從數(shù)據(jù)生成到驗(yàn)證的過程，每筆交易都可以實(shí)時(shí)建議70多次，確保雙十一的數(shù)據(jù)不會出錯。
例如，一個(gè)美國用戶在“雙十一”活動中下了訂單，并且剛剛支付了費(fèi)用?？赡苁怯捎趪H網(wǎng)絡(luò)突然中斷，“已付費(fèi)”狀態(tài)數(shù)據(jù)沒有傳回。此時(shí)，買方可能會被呈現(xiàn)“交易失敗”的狀態(tài)。但是，通過實(shí)時(shí)數(shù)據(jù)檢測系統(tǒng)，可以在消費(fèi)者發(fā)現(xiàn)問題之前報(bào)警?；蛟S，這個(gè)問題在消費(fèi)者回心轉(zhuǎn)意之前就已經(jīng)得到了糾正，他們并沒有覺得‘交易失敗’曾經(jīng)發(fā)生過。
此外，Galaxy還設(shè)計(jì)了數(shù)據(jù)“防漏”措施，可以保證即使服務(wù)器突然宕機(jī)，數(shù)據(jù)也不會丟失，快速恢復(fù)后繼續(xù)工作。想象一下：如果你晚上約朋友看電影，突然發(fā)高燒暈倒，正常情況下，你要去醫(yī)院治療，還要休息好幾天。銀河不僅可以自我修復(fù)，還可以把時(shí)間轉(zhuǎn)回那天晚上，你和朋友繼續(xù)看電影的時(shí)候。
目前，Galaxy已逐步支持阿里巴巴集團(tuán)大部分實(shí)時(shí)服務(wù)和應(yīng)用，包括淘寶、天貓、阿里巴巴云、菜鳥、巨化、無線、搜索、廣告、數(shù)據(jù)立方體等服務(wù)提供實(shí)時(shí)計(jì)算服務(wù)。
