現在每個行業，每個人都在說大數據，雲計算。好像有了這個東西，就可以賺大錢了。其實大部分人可能都不知道什麽是大數據和雲計算。所謂大數據，其實就是大量的數據和處理數據的方式。這更是壹個純粹的計算機技術概念。數據量的變化會導致存儲和處理方式的變化。從計算機誕生到現在，數據的存儲和處理基本上都是在單臺機器上完成的。當數據量不斷增加時，主要的處理方式是更換存儲容量更大、性能更好的機器，對數據進行縮減，將所謂的冷數據(比如五年前的交易數據)導出到磁帶庫。在這個過程中，也有人提出了分布式存儲和並行處理的方法。有好的產品，比如td數據倉庫，也有不好的產品，比如...但是這些產品都有壹個特點，技術保密，價格昂貴。進入互聯網時代，搜索引擎誕生了。搜索引擎要處理的網頁數據增長非常迅速，很久以前就已經達到pb級別，這是傳統行業無法比擬的。這種數據量非常昂貴，甚至無法用傳統方法處理。基本上當時沒有主流數據庫敢說能高效處理pb級數據，td的數據倉庫也是tb級。為了應對這個問題，谷歌開發了壹種分布式數據存儲和處理方法，可以使用廉價的機器組成集群，保證可靠性。最重要的是，谷歌在壹篇論文中發表了他的核心算法。之後，開源的Hadoop誕生了，然後，pb級的數據有了廉價的處理方法，然後，全世界開始了大數據。所謂雲計算，可能更多的是壹個計算服務的概念。他的主要觀點是計算資源的可分配性、虛擬化、可擴展性等等。數據挖掘算法本質上是統計方法和壹些數學模型。在應用這些算法之前，需要對目標數據進行預處理，去除噪聲，提取高相關屬性，或者做壹些數學變換。算法本身對數據維度的大小是有限制的，越多越好。大數據對於數據分析意味著什麽？可供選擇的數據更多，去除無用數據需要更多時間。對於數據分析，最重要的是合適的模型。
上一篇:黃金理財產品有風險嗎下一篇:建設銀行的錢可以轉到農業銀行嗎？怎麽轉？