- 智能云存儲系統(tǒng) 您現(xiàn)在的位置 :首頁 -- 技術(shù)論壇 -- 智能云存儲系統(tǒng)
- 上一篇:5G的超大帶寬將推動存儲行業(yè)的變革
- 下一篇:云存儲架構(gòu)
數(shù)據(jù)存儲在大數(shù)據(jù)時代的思維轉(zhuǎn)變和應(yīng)對
發(fā)表于:2019-09-10 瀏覽578次 |
大數(shù)據(jù)這個概念早在1980年就由美國的Alvin Toffler提出,因為作為一個未來學家,所提出的僅僅是概念性的理論,所以在信息資源并不是那么豐富的當時沒有受到很大的關(guān)注。麥肯錫公司于2011年發(fā)布了一份大數(shù)據(jù)調(diào)研報告,題目是《大數(shù)據(jù):下一個創(chuàng)新、競爭和生產(chǎn)力的前沿》。這份大數(shù)據(jù)調(diào)研報告顯示出大數(shù)據(jù)慢慢受到人們的關(guān)注,其將大數(shù)據(jù)定義為一種超出傳統(tǒng)數(shù)據(jù)庫軟件采集、儲存、管理和分析能力的數(shù)據(jù)集。之后在2012年出版的《大數(shù)據(jù)時代》中給出大數(shù)據(jù)的一種特性,指出大數(shù)據(jù)注重全面性和整體性,而不是在小規(guī)模數(shù)據(jù)上分析利用。
大數(shù)據(jù)的產(chǎn)生具有天時地利人和的有利條件。天時:大數(shù)據(jù)的產(chǎn)生具有時間上的連續(xù)性。以往的數(shù)據(jù)都是與一定的運營活動相伴出現(xiàn)的,并且需要進行專門的存儲階段。這個時期的數(shù)據(jù)是被動產(chǎn)生的,這些數(shù)據(jù)是運營式的傳統(tǒng)數(shù)據(jù)。但是在大數(shù)據(jù)時代,隨著計算機技術(shù)、云計算存儲技術(shù)和自媒體技術(shù)的迅猛發(fā)展,大量的數(shù)據(jù)會通過移動終端和網(wǎng)絡(luò)終端即時存儲,這個階段的數(shù)據(jù)呈現(xiàn)出自發(fā)性和主動性。數(shù)據(jù)的這個發(fā)展過程中慢慢脫離了人類主動存儲的活動,打破了以往的時間限制,可以自發(fā)地、不中斷地產(chǎn)生數(shù)據(jù)。
人和:在人物方面,大數(shù)據(jù)的產(chǎn)生是人、機、物協(xié)同作用的結(jié)果。在數(shù)據(jù)不斷發(fā)展過程中,數(shù)據(jù)的主體從以往的具有主體性的人慢慢演變?yōu)槿藱C物三者以及三者的統(tǒng)一體。首先,人類的生產(chǎn)活動和生存活動都會產(chǎn)生大量的數(shù)據(jù)。其次,信息系統(tǒng)本身也產(chǎn)生大量的數(shù)據(jù),這些數(shù)據(jù)以文件、圖片、視頻等形式存在,比如文件的復(fù)制和數(shù)據(jù)備份都屬于這類數(shù)據(jù),這部分系統(tǒng)本身的數(shù)據(jù)基數(shù)很大,不應(yīng)該被我們忽視。
最后,我們生活中的各類物品也會產(chǎn)生數(shù)據(jù),比如各種地理信息采集設(shè)備、傳感器和攝像頭等數(shù)據(jù)采集設(shè)備,這些物品雖然是由人類生產(chǎn)制造出來的,但是一經(jīng)成型便成為世界中的獨立存在物。這人機物三者的相互作用是大數(shù)據(jù)產(chǎn)生的根本原因。大數(shù)據(jù)產(chǎn)生后,我們必須了解大數(shù)據(jù)與大數(shù)據(jù)技術(shù)定義辨析。
然后我們來了解大數(shù)據(jù)技術(shù)的定義:大數(shù)據(jù)技術(shù)是指在大數(shù)據(jù)的采集、傳輸、處理、和應(yīng)用過程中所使用的一系列技術(shù),其本質(zhì)是利用大數(shù)據(jù)的各種方法和工具。大數(shù)據(jù)技術(shù)可以處理海量數(shù)據(jù),是新興的數(shù)據(jù)服務(wù)模式與組織架構(gòu),包括對數(shù)據(jù)的獲取、傳遞、處理、再生、再利用等功能,但是與傳統(tǒng)數(shù)據(jù)處理技術(shù)不同在于數(shù)據(jù)的采集和處理速度的要求越來越快,數(shù)據(jù)量龐大,數(shù)據(jù)結(jié)構(gòu)也越來越復(fù)雜。
除了在大數(shù)據(jù)采集、傳輸、處理和應(yīng)用中所使用的技術(shù)外,國家政策、企業(yè)政策及公共項目規(guī)劃都會影響大數(shù)據(jù)技術(shù)的發(fā)展。大數(shù)據(jù)技術(shù)不僅是國家宏觀層面的通用技術(shù),同時是產(chǎn)業(yè)層面的行業(yè)共性技術(shù),還是企業(yè)及項目涉及的專有技術(shù)。大數(shù)據(jù)到來了,我們?nèi)艘惨季S轉(zhuǎn)變。下面我們分3個部分詳細說明大數(shù)據(jù)時代如何轉(zhuǎn)變我們思維。
然而,在大數(shù)據(jù)時代,如果我們繼續(xù)用傳統(tǒng)的思維模式來思考的話,就可能會錯過更重要信息。大數(shù)據(jù)技術(shù)的高擴展性的數(shù)據(jù)存儲能力,成本更低,能夠存儲所有基礎(chǔ)信息,我們擁有的數(shù)據(jù)庫更全面,幾乎囊括與該現(xiàn)象相關(guān)的全部數(shù)據(jù)。因此,我們不必擔心數(shù)據(jù)點會對整個數(shù)據(jù)分析產(chǎn)生不利影響。我們應(yīng)該擁抱這些混雜的數(shù)據(jù),并從中受益。在大數(shù)據(jù)技術(shù)高速發(fā)展時代,我們需要通過數(shù)據(jù)的普遍性來追求更精確的數(shù)據(jù)分析結(jié)果。
大數(shù)據(jù)思維方式與傳統(tǒng)思維邏輯大不相同。大數(shù)據(jù)技術(shù)是針對大規(guī)模數(shù)據(jù)進行聚類、搜索、分類以及比較等統(tǒng)計性的歸納分析,它的分析結(jié)果與使用的分析工具和分析過程之間都存在著相關(guān)關(guān)系,這在一定程度上繼承了統(tǒng)計科學的一些特點。實際上,在大數(shù)據(jù)技術(shù)產(chǎn)生之前,就己經(jīng)有人證明了相關(guān)關(guān)系有大作用,但是對它的應(yīng)用卻相對較少。一方面,數(shù)據(jù)量相對較少,另一方面對數(shù)據(jù)的收集與儲存也相當費時費力。
因此,統(tǒng)計學家就找到一個關(guān)聯(lián)物,采集與這個關(guān)聯(lián)物相關(guān)的數(shù)據(jù)作相關(guān)關(guān)系處理,進而檢測該關(guān)聯(lián)物的優(yōu)劣。然而這個關(guān)聯(lián)物有時也只是專家的抽象物,一種假想,這種假想需要進行反復(fù)試驗。一方面這個過程過于繁瑣,另一方面也可能會帶來一種偏見蒙蔽我們的雙眼,造成我們在構(gòu)想假設(shè)以及選定關(guān)聯(lián)物的過程中出現(xiàn)偏差。
在大數(shù)據(jù)技術(shù)高速發(fā)展時代,我們擁有海量數(shù)據(jù),依靠大數(shù)據(jù)技術(shù)進行數(shù)據(jù)挖掘和計算分析,人們可以瞬間處理成千上萬結(jié)構(gòu)復(fù)雜的數(shù)據(jù)。我們己經(jīng)不再依賴人工挑選部分相似的數(shù)據(jù)或關(guān)聯(lián)物進行逐個分析。先前人類對世界的認識必須建立在對其的假設(shè)之上,而現(xiàn)在我們己經(jīng)不那么需要了。大數(shù)據(jù)相關(guān)關(guān)系分析的這種方法有助于我們對某事物的分析不再要求一定揭示其內(nèi)在的運行機制。通過對事物相關(guān)性分析,我們能最大程度地做到降低主觀因素對分析結(jié)果的影響。
總之,從上面大數(shù)據(jù)的產(chǎn)生和定義我們不難發(fā)現(xiàn)身邊的大數(shù)據(jù)技術(shù)在很多領(lǐng)域都起著重要作用,尤其在電商、金融、臨床等領(lǐng)域有著難以替代的作用。
金錢貓科技