巨量資料(英語:Big data),指的是傳統資料處理應用軟體不足以處理它們的大或複雜的資料集的術語。在總資料量相同的情況下,與個別分析獨立的小型資料集(Data set)相比,將各個小型資料集合併後進行分析可得出許多額外的資訊和資料關聯性,可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等;這樣的用途正是大型資料集盛行的原因。
巨量資料的定義取決於持有資料組的機構之能力,以及其平常用來處理分析資料的軟體之能力。「對某些組織來說,第一次面對數百 GB 的資料集可能讓他們需要重新思考資料管理的選項。對於其他組織來說,資料集可能需要達到數十或數百 TB 才會對他們造成困擾。」
隨著大數據越來越常被提及,2012 年《紐約時報》的一篇專欄中寫到,大數據時代已經降臨,在商業、經濟及其他領域中,決策將日益基於資料和分析而作出,而非基於經驗和直覺。
巨量資料時代的來臨帶來無數的機遇,但是與此同時,個人或機構的隱私權也極有可能受到衝擊,大數據包含各種個人資訊資料,現有的隱私保護法律或政策無力解決這些新出現的問題。有人提出,巨量資料時代,個人是否擁有「被遺忘權」,被遺忘權即是否有權利要求資料商不保留自己的某些資訊,巨量資料時代資訊為某些網際網路巨頭所控制,但是資料商收集任何資料未必都獲得用戶的許可,其對資料的控制權不具有合法性。2014 年 5 月 13 日歐盟法院就「被遺忘權」(right to be forgotten)一案作出裁定,判決 Google 應根據用戶請求刪除不完整的、無關緊要的、不相關的資料以保證資料不出現在搜尋結果中。
巨量資料必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。美國在 2012 年就開始著手大數據,美國當時的總統歐巴馬更在同年投入 2 億美金在大數據的開發中,更強調巨量資料會是之後的未來石油。
資料探勘(data mining)則是在探討用以解析巨量資料的方法。
有的學者會用「4V」或「4Vs」來定義:Volume(資料大小)、Velocity(資料輸入輸出的速度)、Variety(多樣性)和 Veracity(真實性)。處理速度快、來源多元、具備真實性的大量數據,能產生 Value(價值),可以在多種層面應用,這就是大數據的特質。
大數據特性,謹記四字箴言:「大、快、雜、疑」:資料量龐「大」、變化飛「快」、種類繁「雜」、真偽存「疑」。
大數據的資料來源不只網際網路服務,只要是可以連上網路的裝置 ,都可能是大數據的資料來源,未來物聯網時代來臨後,包括家裡的冰箱、電視、烤箱,廠商分析由智慧家電回傳的資料,就能瞭解用戶開冰箱的頻率、看那些節目、溫度都怎麼控制,所有的日常行為都可以數據化。
Airbnb 如何應用大數據?
Airbnb 蒐集了在自家網站上的眾多數據,利用照片分析、數據資料整合分析後,開發出一套名為 Aerosolve 的演算法工具,來幫助之後的屋住制訂房間的出租價格。
租金要訂多少錢,其實是一門很大的學問,從床的尺寸大小、屋內的裝潢、房子的位置、附近的交通,都是考量點,Airbnb 原本以為,房屋的地點決定了房價,所以這套系統會自動把房子歸在「市區」或是「郊區」,不過經由反複驗算之後,他們發現地點並不是重點,房子內部的規劃以及整體條件搭配,才會影響出租價格,而且多上傳房間的照片,拍攝風格又是溫暖色調,更能吸引其他人的目光,因此出租價格也可以訂的比較高,有了過去龐大用戶的資料,後來的屋主在制訂出租價格時,就不用傷腦筋了。
A machine learning package built for humans. Aerosolve 的開放原始碼:http://airbnb.github.io/aerosolve/
更多應用大數據的舉例:
● 許多老舊的人孔蓋是不定時炸彈,但其中有些更容易闖禍,運用大數據分析及早有效地找出它們悠關公共安全。
● 在公共衛生上,Google 搜尋的關鍵字,可以預測流感的蔓延,讓官方掌控疫情。
● 預測機票的價格,美國網站 Farecast.com, 讓使用者可以依據機票浮動的機率,決定是否下單。
● 美國零售商 Target 用大數據可以預測女生是否懷孕,以便提前進行郵寄孕婦嬰兒用品折價卷等策略。
● 規劃快遞的送貨路線, 尋找節約能源或省時的路線。

