富士通開發出業界首個為大數據自動提供分析方案的技術
上海,2012年9月5日 — Fujitsu (富士通)今日宣布開發出一項業界領先技術:通過使用數據分析師開發的分析方案模板,自動根據需要分析數據的內容和屬性,推薦適用的分析模板以及附加數據的使用組合。
近年來,人們越來越期望借助信息系統學習、挖掘和其它技術進行大數據分析,然后將這些分析結果作為公司業務及管理決策流程的一部分加以運用。順應這一趨勢的發展,收集、存儲和分析數據的平臺、技術和工具均取得了迅猛發展。同時,要促進大數據的應用,需要相關人員了解、統計和挖掘相關的分析并掌握具體垂直行業和工作流程的相關業務知識。如何培訓和留住此類人才已經成為整個行業面臨的一個重大挑戰。
憑借Fujitsu (富士通)最新開發的分析模板的優越特性,用戶可以保存和再次使用含有數據分析師開發的分析方案的分析模板。這些分析方案提供了一系列指南,如可以組合使用的數據種類,以及詮釋和應用分析結果的最佳方式。由于該項技術可以根據數據的內容和屬性推薦適用的分析模板和可能有用的附加數據,因此用戶可以利用保存的分析模板輕松進行分析和預測,甚至無需任何相關知識或技術。
富士通株式會社計劃將該項技術作為Interstage Business Analytics Modeling Server(構建分析解決方案的中間件文件包)的一部分投入市場。
背景
近年來,人們越來越期望借助信息系統學習、挖掘和其它分析技術進行大數據分析,然后將這些數據與公司的業務和管理決策流程相結合。針對各種大量的無結構數據,如社會媒體和傳感器數據以及已有的業務數據,高頻率和實時收集、存儲和分析的平臺、技術和工具已取得迅猛發展。展望未來,如何在業務中運用大數據將成為促進業務發展和獲得競爭優勢的關鍵因素。
技術問題
分析方案以及用于數據分析的平臺、技術和工具,對于從大數據分析中獲取寶貴的信息至關重要。
這些分析方案為您提供一系列指南,如哪類數據可以組合使用,如何預處理分析數據,應該應用何種技術和工具,以及詮釋和利用分析結果的最佳方式。擁有一個專家團隊對于構建此類分析方案是必不可少的。這些專家需要掌握具體垂直行業和工作流程的業務知識,以及有關統計和挖掘分析的知識。如何培訓和留住此類人才已經成為整個行業的一個重大挑戰。
富士通的技術成果
Fujitsu (富士通)開發出一項分析模板優越特性,以模板的形式設計和保存分析流程,可輕松地實現數據分析的先進知識和技術的再次使用。根據用戶想要分析的數據的內容和特性,該項技術能夠自動推薦適用的分析模板和可能有用的附加數據。
因此,用戶能夠運用保存的分析模板輕松地進行分析,甚至無需任何相關知識或技術(圖 1)。

圖1:通過分析模板的推薦實現對分析數據的再次利用
富士通大數據自動分析技術的特性
1.基于數據模型的分析模板管理。在該項新技術中,分析流程(分析處理程序)設計為分析模板的形式,結合了包括預處理和分析流程在內的不同分析組件。這些分析模板代表著分析組件組合和分析組件參數。這些分析組件參數以專門的分析技術為基礎,例如,哪類數據可以組合使用,如何進行數據預處理,應該應用何種技術和工具,以及詮釋和利用分析結果的最佳方法。利用該項新技術建立模板時,垂直行業/工作流程分類、分析目標,以及其它元數據,和需要分析數據的內容和屬性,均予以編碼以匹配標準數據模型,因而分析模板的優越特性得以實現。(圖 2)

圖2:基于數據模型的分析模板管理
2.基于數據剖析的分析模板推薦。開始一項新的分析時,可以使用元數據推薦分析模板,如垂直行業/工作流程分類和分析目標。然而,這種方法并不適用于涉及多個業務領域或復雜流程的分析問題,而且也不支持在分析開始階段分析目標尚未完全定義的情況。另一方面,為了處理這些情況(迄今為止分析人員已有成功先例),Fujitsu (富士通)開發的技術采取了一種全新方式,根據需要分析數據的內容和屬性推薦分析模板。(圖 3)

圖3:基于數據剖析的分析模板推薦
通過明確要分析的數據(圖3)和使用數據剖析技術,Fujitsu (富士通)開發的新技術可以提取并評估數據的內容(數據項的含義)和屬性(例如數據量及其分布等屬性)(圖 3.2)。通過將這些剖析的內容和屬性與數據模型匹配的流程,能夠為正在分析的數據推薦適用的模板(圖 3.3)。
3.關于附加數據可能使用組合的建議。運用大數據時,常見的做法是,對各種異構數據的組合進行多層面的分析,以發現和分析從單一的數據集中無法察覺的隱藏的因果關系(影響)。迄今為止,發現這些數據組合需要專門的分析技術和反復試驗。
利用Fujitsu (富士通)開發的新技術,在分析模板的推薦流程中,系統不僅會搜索可能使用的分析模板,而且也將搜索適用于超出特定數據集的附加數據的分析模板。通過為這類附加數據提供建議,能夠發現各種數據組合類型(圖 4)。

圖4:對于附加數據的建議
結果
該項新技術能夠讓用戶再次使用和恢復數據分析的專門技術。只要數據能夠進行分析,基于數據剖析的推薦就可以實現循環分析流程,從數據集中發現分析模板并應用于分析模板,然后加入可能的附加數據組合,實現分析模板的再次應用。
反之,這可以實現新的分析應用程序的創立和使用,同時也擴展了分析目標范圍和可用數據范圍(圖 5)。

圖5:基于數據模型的分析模板管理
未來發展
通過使用應用該項新技術的分析系統,目前,Fujitsu (富士通)正在開發分析組件和分析模板,以適用于更大范圍的工作流程,包括物流業和制造業的客戶管理、市場營銷、產品推薦、質量保證,和風險管理。Fujitsu (富士通)已經根據迄今為止開發的大量專有技術執行分析方案,這些專有技術包括市場中的缺陷跡象檢測技術和風險情景分析技術。展望未來,公司將繼續致力于將技術應用于現實世界的問題,同時擴展垂直行業及其所支持工作任務的范圍。
富士通株式會社計劃將該項技術作為Interstage Business Analytics Modeling Server(構建分析解決方案的中間件文件包)的一部分投入市場。
關于Fujitsu(富士通)集團
Fujitsu(富士通)是世界領先的日本信息通信技術(ICT)企業,提供著全方位的技術產品、解決方案和服務。在全球擁有超過17萬名員工,客戶遍布世界100多個國家。我們憑借在ICT領域的豐富經驗和實力,致力于與客戶攜手共創美好的未來社會。富士通集團(東京證券交易所上市代碼:6702)截至2012年3月31日財政年度的合并收益為4.5兆日元(540億美元)。
如需更多資訊,請瀏覽:http://www.fujitsu.com
關于富士通(中國)信息系統有限公司
富士通(中國)信息系統有限公司為Fujitsu(富士通)集團在中國設立的獨資公司,也是Fujitsu(富士通)在中國業務的核心公司之一。憑借全球強大的技術背景、對高品質產品的一貫專注,以及完善的咨詢和支持服務,Fujitsu(富士通)為客戶提供技術前沿的系統架構,全力協助中國企業解決信息化建設問題,并精心打造滿足核心業務需求的解決方案,幫助客戶提高競爭優勢,開創無限的商機。
如需更多資訊,請瀏覽:http://cn.fujitsu.com
文章版權歸西部工控xbgk所有,未經許可不得轉載。