
文 李夢娟 蔡一煒
大數據時代,人們不滿足于依靠數據隨機抽樣和采集得出結果,大數據時代的數據處理過程,不僅注重微觀的精確性,還更加關注用粗略、估算的方式獲得的宏觀層面的各種關系;不僅注重數據之間的因果關系,還更加關注事物之間的相關關系,從而改變人們對社會和經濟等多方面的認知。大數據的價值在于數據的深度挖掘和應用,并已經應用于諸多領域。
尋找海量數據的關聯
數據關聯是數據庫中存在的一類重要的可被發現的知識。若兩個或多個變量的取值之間存在某種規律性,就稱為關聯。關聯可分為簡單關聯、時序關聯、因果關聯。關聯分析的目的是找出數據庫中隱藏的關聯網。人們有時并不知道數據庫中數據之間的關聯函數,即便知道也是不確定的、欠缺系統性歸納的關聯函數。因此,關聯分析生成的規則帶有一定的可信度,通過關聯規則挖掘可以發現兩個或多個變量之間有趣的關聯或相關聯系。
加州大學圣塔芭芭拉分校計算機科學系教授阿格拉沃爾(A?鄄grawal)等研究專家于1993年最早提出了挖掘顧客交易數據庫中各變量之間的關聯規則問題,以后的研究人員對關聯規則的挖掘問題進行了大量的研究,并對原有的算法進行優化,如引入隨機采樣、并行的思想和處理方法,以提高算法挖掘規則的效率。當前,數據關聯挖掘的相關關聯規則和研究成果已經廣泛應用于實踐。數據挖掘通過對大量數據的分析,揭示出數據之間隱藏的關系、模式和趨勢,從而為決策者提供新的知識或信息,推動人類認知范圍從“已知”擴大到“未知”,從“過去”推向“將來”,更好地滿足各種決策活動。
美國零售巨頭沃爾瑪公司通過數據分析發現,跟尿布一起搭配銷售最多的商品竟然是啤酒。通過對兩種商品銷售數據關系的分析,發現兩者存在的關聯性在于年輕的父親去購買嬰兒尿布時,會有30%至40%的父親順便買點啤酒來犒勞自己。之后,沃爾瑪公司調整銷售策略,將尿布和啤酒放在一起進行銷售,使兩者的銷售量大為增加。
服務于生產經營決策
大數據能夠服務于預測和決策。人們根據大數據來探尋事物之間的關聯性,從而提升判斷能力和決策有效性。大數據已經成為人們優化決策的必要工具,大數據分析也成為推動科學決策的一種科學方法。例如,美國醫生已經利用計算機大數據分析進行醫療方案的優化選擇,并推動醫療服務更加有效。華爾街“德溫特資本市場”公司首席執行官保羅·霍廷通過利用電腦程序分析全球34億個網絡賬戶的留言判斷民眾情緒,并給情緒打分,最后通過情緒打分結果決定如何處理手中的股票。其基本判斷原則是情緒好壞與股票買賣行為有關,情緒好時會快速買入股票,情緒壞時會拋售股票。通過這種分析,他在當年第一季度獲得了7%的投資收益率。無獨有偶,Data Sift(社交媒體監測平臺)監測Facebook(臉譜)首次公開募股(IPO)當天Twitter(推特)上的情感傾向與Facebook(臉譜)股價波動的關聯性,通過監測發現:情感變化會影響Facebook的股價,當情感轉向負面時,股價會下跌,當情感轉向正面時,股價會上升。BM(北京美福潤醫藥科技公司)通過分析藥品、價格、運輸里程之間的關系,降低了昂貴藥品的庫存成本,而將節省的成本用于支付藥品的空運費用,從而改善了整個藥品分銷網絡的績效。上述案例分析表明,大數據及其分析手段,可以輔助人們做出行為決策,提高決策的準確性,并提高運營效率。
優化社會經濟“生態圈”
大數據在本質上為人們提供了一種全新分析社會經濟“生態圈”的方法。例如,麥當勞、肯德基以及蘋果公司等旗艦專賣店的選址決策都是建立在大數據分析基礎之上的。通用電氣公司利用物聯網收集各個業務環節的數據,提升生產經營效率;通過軟件和技術服務對機器實施維護和升級,實現財務利益的精打細算,每年增加收益400億美元。沃爾瑪公司通過數據挖掘,重塑并優化了供應鏈,亞馬遜等也通過對海量數據的掌握和分析,描繪出銷售環境“生態圈”,為用戶提供更加專業化、個性化的服務。
大數據本身也成為各個產業發展的重要支撐,企業管理層通過對消費者需求進行數據分析,能夠提供更加符合消費者需求的產品,從而優化整個產業鏈,延長產品的生命周期,推動產業分工和未來更加細化的發展,降低企業運行成本和風險。大數據已經成為產業轉型升級的重要驅動因素。大數據分析,將提升優化產品和產業的經濟“生態圈”,推動提升企業和產業的價值創造能力。
提升社會智能系統能力
大數據在社會服務領域應用廣泛,如政府管理城市,實現科學化治理,皆離不開大數據管理平臺,大數據也為人類生活創造前所未有可量化的維度。一方面,數據的互通互聯使建設智慧城市成為可能,是智慧城市運行維護、管理、決策、服務的核心技術;另一方面,大數據將提高政府在城市管理、運行方面的能力,支撐著智能交通、智能醫療、智能電網、物聯網等一系列的智能化社會服務。這不僅能夠優化城市管理布局,更能提高服務社會能力,節省更多的社會資源。譬如,在智能電網方面,智能電表每隔5分鐘就從用戶終端讀取一次數據,從而產生電力行業的大數據。通過獲取人們的用電行為,電力企業將有助于優化電力的生產、分配及消耗,有助于實現對電網系統的安全控制,實現節能減排。大數據也能幫助用戶合理安排用電計劃,改變用電時間,降低用電成本。除此之外,智能醫療系統利用大數據,不僅可以預測醫療人員的培養、醫療機構的配置,還能夠更好地幫助政府制定公共衛生政策,提高整個社會的衛生健康水平。
隨著大數據技術的不斷發展,大數據應用領域越來越廣泛,大數據已經滲透進經濟、社會管理的各個領域。大數據技術使人們更加便捷地獲得可靠信息,為整個社會創造價值、創新商業模式和管理方式起到重要的支撐作用,進而成為社會進步的重要引擎。