山西天源豐電(diàn)子科技有限公司

  • 1
  • 2
  • 3
主頁 > 新聞動态 >
終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了
發布時間:2018-10-15     浏覽次數:     來源:大(dà)數據時代吧

我(wǒ)今天要講這三個話(huà)題,一(yī)個是雲計算,一(yī)個大(dà)數據,一(yī)個人工(gōng)智能,我(wǒ)爲什麽要講這三個東西呢?因爲這三個東西現在非常非常的火(huǒ),它們之間好像互相有關系,一(yī)般談雲計算的時候也會提到大(dà)數據,談人工(gōng)智能的時候也會提大(dà)數據,談人工(gōng)智能的時候也會提雲計算。所以說感覺他們又(yòu)相輔相成不可分(fēn)割,如果是非技術的人員(yuán)來講可能比較難理解說這三個之間的相互關系,所以有必要解釋一(yī)下(xià)。

一(yī)、雲計算最初是實現資(zī)源管理的靈活性

我(wǒ)們首先來說雲計算,雲計算最初的目标是對資(zī)源的管理,管理的主要是計算資(zī)源,網絡資(zī)源,存儲資(zī)源三個方面。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

1.1 管數據中(zhōng)心就像配電(diàn)腦

什麽叫計算,網絡,存儲資(zī)源呢?就說你要買台筆記本電(diàn)腦吧,你是不是要關心這台電(diàn)腦什麽樣的CPU啊?多大(dà)的内存啊?這兩個我(wǒ)們稱爲計算資(zī)源。

這台電(diàn)腦要能上網吧,需要有個網口可以插網線,或者有無線網卡可以連接我(wǒ)們家的路由器,您家也需要到運營商(shāng)比如聯通,移動,電(diàn)信開(kāi)通一(yī)個網絡,比如100M的帶寬,然後會有師傅弄一(yī)根網線到您家來,師傅可能會幫您将您的路由器和他們公司的網絡連接配置好,這樣您家的所有的電(diàn)腦,手機,平闆就都可以通過您的路由器上網了。這就是網絡。

您可能還會問硬盤多大(dà)啊?原來硬盤都很小(xiǎo),10G之類的,後來500G,1T,2T的硬盤也不新鮮了。(1T是1024G),這就是存儲。

對于一(yī)台電(diàn)腦是這個樣子的,對于一(yī)個數據中(zhōng)心也是同樣的。想象你有一(yī)個非常非常大(dà)的機房,裏面堆了很多的服務器,這些服務器也是有CPU,内存,硬盤的,也是通過類似路由器的設備上網的。這個時候的一(yī)個問題就是,運營數據中(zhōng)心的人是怎麽把這些設備統一(yī)的管理起來的呢?

1.2 靈活就是想啥時要都有,想要多少都行

管理的目标就是要達到兩個方面的靈活性。哪兩個方面呢?比如有個人需要一(yī)台很小(xiǎo)很小(xiǎo)的電(diàn)腦,隻有一(yī)個CPU,1G内存,10G的硬盤,一(yī)兆的帶寬,你能給他嗎(ma)?像這種這麽小(xiǎo)規格的電(diàn)腦,現在随便一(yī)個筆記本電(diàn)腦都比這個配置強了,家裏随便拉一(yī)個寬帶都要100M。然而如果去(qù)一(yī)個雲計算的平台上,他要想要這個資(zī)源的時候,隻要一(yī)點就有了。

所以說它就能達到兩個方面靈活性。

  • 第一(yī)個方面就是想什麽時候要就什麽時候要,比如需要的時候一(yī)點就出來了,這個叫做時間靈活性。
  • 第二個方面就是想要多少呢就有多少,比如需要一(yī)個很小(xiǎo)很小(xiǎo)的電(diàn)腦,可以滿足,比如需要一(yī)個特别大(dà)的空間,以雲盤爲例,似乎雲盤給每個人分(fēn)配的空間動不動就就很大(dà)很大(dà),随時上傳随時有空間,永遠用不完,這個叫做空間靈活性。

空間靈活性和時間靈活性,也即我(wǒ)們常說的雲計算的彈性。

爲了解決這個彈性的問題,經曆了漫長時間的發展。

1.3 物(wù)理設備不靈活

首先第一(yī)個階段就是物(wù)理機,或者說物(wù)理設備時期。這個時期相當于客戶需要一(yī)台電(diàn)腦,我(wǒ)們就買一(yī)台放(fàng)在數據中(zhōng)心裏。物(wù)理設備當然是越來越牛,例如服務器,内存動不動就是百G内存,例如網絡設備,一(yī)個端口的帶寬就能有幾十G甚至上百G,例如存儲,在數據中(zhōng)心至少是PB級别的(一(yī)個P是1024個T,一(yī)個T是1024個G)。

然而物(wù)理設備不能做到很好的靈活性。首先它不能夠達到想什麽時候要就什麽時候要、比如買台服務器,哪怕買個電(diàn)腦,都有采購的時間。突然用戶告訴某個雲廠商(shāng),說想要開(kāi)台電(diàn)腦,如果使用物(wù)理服務器,當時去(qù)采購啊就很難,如果說供應商(shāng)啊關系一(yī)般,可能采購一(yī)個月,供應商(shāng)關系好的話(huà)也需要一(yī)個星期。用戶等了一(yī)個星期後,這時候電(diàn)腦才到位,用戶還要登錄上去(qù)開(kāi)始慢(màn)慢(màn)部署自己的應用,時間靈活性非常差。第二是空間靈活性也不行,例如上述的用戶,要一(yī)個很小(xiǎo)很小(xiǎo)的電(diàn)腦,現在哪還有這麽小(xiǎo)型号的電(diàn)腦啊。不能爲了滿足用戶隻要一(yī)個G的内存是80G硬盤的,就去(qù)買一(yī)個這麽小(xiǎo)的機器。但是如果買一(yī)個大(dà)的呢,因爲電(diàn)腦大(dà),就向用戶多收錢,用戶說他隻用這麽小(xiǎo)的一(yī)點,如果讓用戶多付錢就很冤。

1.4 虛拟化靈活多了

有人就想辦法了。第一(yī)個辦法就是虛拟化。用戶不是隻要一(yī)個很小(xiǎo)的電(diàn)腦麽?數據中(zhōng)心的物(wù)理設備都很強大(dà),我(wǒ)可以從物(wù)理的CPU,内存,硬盤中(zhōng)虛拟出一(yī)小(xiǎo)塊來給客戶,同時也可以虛拟出一(yī)小(xiǎo)塊來給其他客戶,每個客戶都隻能看到自己虛的那一(yī)小(xiǎo)塊,其實每個客戶用的是整個大(dà)的設備上其中(zhōng)的一(yī)小(xiǎo)塊。虛拟化的技術能使得不同的客戶的電(diàn)腦看起來是隔離(lí)的,我(wǒ)看着好像這塊盤就是我(wǒ)的,你看這呢這塊盤就是你的,實際情況可能我(wǒ)這個10G和您這個10G是落在同樣一(yī)個很大(dà)很大(dà)的這個存儲上的。

而且如果事先物(wù)理設備都準備好,虛拟化軟件虛拟出一(yī)個電(diàn)腦是非常快的,基本上幾分(fēn)鍾就能解決。所以在任何一(yī)個雲上要創建一(yī)台電(diàn)腦,一(yī)點幾分(fēn)鍾就出來了,就是這個道理。

這個空間靈活性和時間靈活性就基本解決了。

1.5 虛拟世界的賺錢與情懷

在虛拟化階段,最牛的公司是Vmware,是實現虛拟化技術比較早的一(yī)家公司,可以實現計算,網絡,存儲的虛拟化,這家公司很牛,性能也做得非常好,然後虛拟化軟件賣的也非常好,賺了好多的錢,後來讓EMC(世界五百強,存儲廠商(shāng)第一(yī)品牌)給收購了。

但是這個世界上還是有很多有情懷的人的,尤其是程序員(yuán)裏面,有情懷的人喜歡做一(yī)件什麽事情呢?開(kāi)源。這個世界上很多軟件都是有閉源就有開(kāi)源,源就是源代碼。就是說某個軟件做的好,所有人都愛用,這個軟件的代碼呢,我(wǒ)封閉起來隻有我(wǒ)公司知(zhī)道,其他人不知(zhī)道,如果其他人想用這個軟件,就要付我(wǒ)錢,這就叫閉源。但是世界上總有一(yī)些大(dà)牛看不慣錢都讓一(yī)家賺了去(qù)。大(dà)牛們覺得,這個技術你會我(wǒ)也會,你能開(kāi)發出來,我(wǒ)也能,我(wǒ)開(kāi)發出來就是不收錢,把代碼拿出來分(fēn)享給大(dà)家,全世界誰用都可以,所有的人都可以享受到好處,這個叫做開(kāi)源。

比如最近蒂姆·伯納斯·李就是個非常有情懷的人,2017年,他因“發明萬維網、第一(yī)個浏覽器和使萬維網得以擴展的基本協議和算法”而獲得2016年度的圖靈獎。圖靈獎就是計算機界的諾貝爾獎。然而他最令人敬佩的是,他将萬維網,也就是我(wǒ)們常見的www的技術無償貢獻給全世界免費(fèi)使用。我(wǒ)們現在在網上的所有行爲都應該感謝他的功勞,如果他将這個技術拿來收錢,應該和比爾蓋茨差不多有錢。

例如在閉源的世界裏有windows,大(dà)家用windows都得給微軟付錢,開(kāi)源的世界裏面就出現了Linux。比爾蓋茨靠windows,Office這些閉源的軟件賺了很多錢,稱爲世界首富,就有大(dà)牛開(kāi)發了另外(wài)一(yī)種操作系統Linux。很多人可能沒有聽(tīng)說過Linux,很多後台的服務器上跑的程序都是Linux上的,比如大(dà)家享受雙十一(yī),支撐雙十一(yī)搶購的系統,無論是淘寶,京東,考拉,都是跑在Linux上的。

再如有apple就有安卓。apple市值很高,但是蘋果系統的代碼我(wǒ)們是看不到的。于是就有大(dà)牛寫了安卓手機操作系統。所以大(dà)家可以看到幾乎所有的其他手機廠商(shāng),裏面都裝安卓系統,因爲蘋果系統不開(kāi)源,而安卓系統大(dà)家都可以用。

在虛拟化軟件也一(yī)樣,有了Vmware,這個軟件非常非常的貴。那就有大(dà)牛寫了兩個開(kāi)源的虛拟化軟件,一(yī)個叫做Xen,一(yī)個叫做KVM,如果不做技術的,可以不用管這兩個名字,但是後面還是會提到。

1.6 虛拟化的半自動和雲計算的全自動

虛拟化軟件似乎解決了靈活性問題,其實不全對。因爲虛拟化軟件一(yī)般創建一(yī)台虛拟的電(diàn)腦,是需要人工(gōng)指定這台虛拟電(diàn)腦放(fàng)在哪台物(wù)理機上的,可能還需要比較複雜(zá)的人工(gōng)配置,所以使用Vmware的虛拟化軟件,需要考一(yī)個很牛的證書(shū),能拿到這個證書(shū)的人,薪資(zī)是相當的高,也可見複雜(zá)程度。所以僅僅憑虛拟化軟件所能管理的物(wù)理機的集群規模都不是特别的大(dà),一(yī)般在十幾台,幾十台,最多百台這麽一(yī)個規模。這一(yī)方面會影響時間靈活性,雖然虛拟出一(yī)台電(diàn)腦的時間很短,但是随着集群規模的擴大(dà),人工(gōng)配置的過程越來越複雜(zá),越來越耗時。另一(yī)方面也影響空間靈活性,當用戶數量多的時候,這點集群規模,還遠達不到想要多少要多少的程度,很可能這點資(zī)源很快就用完了,還得去(qù)采購。所以随着集群的規模越來越大(dà),基本都是千台起步,動辄上萬台,甚至幾十上百萬台,如果去(qù)查一(yī)下(xià)BAT,包括網易,包括谷歌,亞馬遜,服務器數目都大(dà)的吓人。這麽多機器要靠人去(qù)選一(yī)個位置放(fàng)這台虛拟化的電(diàn)腦并做相應的配置,幾乎是不可能的事情,還是需要機器去(qù)做這個事情。

人們發明了各種各樣的算法來做這個事情,算法的名字叫做調度(Scheduler)。通俗一(yī)點的說,就是有一(yī)個調度中(zhōng)心,幾千台機器都在一(yī)個池子裏面,無論用戶需要多少CPU,内存,硬盤的虛拟電(diàn)腦,調度中(zhōng)心會自動在大(dà)池子裏面找一(yī)個能夠滿足用戶需求的地方,把虛拟電(diàn)腦啓動起來做好配置,用戶就直接能用了。這個階段,我(wǒ)們稱爲池化,或者雲化,到了這個階段,才可以稱爲雲計算,在這之前都隻能叫虛拟化。

1.7 雲計算的私有與公有

雲計算大(dà)緻分(fēn)兩種,一(yī)個是私有雲,一(yī)個是公有雲,還有人把私有雲和公有雲連接起來稱爲混合雲,我(wǒ)們暫且不說這個。私有雲就是把虛拟化和雲化的這套軟件部署在别人的數據中(zhōng)心裏面,使用私有雲的用戶往往很有錢,自己買地建機房,自己買服務器,然後讓雲廠商(shāng)部署在自己這裏,Vmware後來除了虛拟化,也推出了雲計算的産品,并且在私有雲市場賺的盆滿缽滿。所謂公有雲就是虛拟化和雲化軟件部署在雲廠商(shāng)自己數據中(zhōng)心裏面的,用戶不需要很大(dà)的投入,隻要注冊一(yī)個賬号,就能在一(yī)個網頁上點一(yī)下(xià)創建一(yī)台虛拟電(diàn)腦,例如AWS也即亞馬遜的公有雲,例如國内的阿裏雲,騰訊雲,網易雲等。

亞馬遜呢爲什麽要做公有雲呢?我(wǒ)們知(zhī)道亞馬遜原來是國外(wài)比較大(dà)的一(yī)個電(diàn)商(shāng),它做電(diàn)商(shāng)的時候也肯定會遇到類似雙11的場景,在某一(yī)個時刻大(dà)家都沖上來買東西。當大(dà)家都沖上買東西的時候,就特别需要雲的時間靈活性和空間靈活性。因爲它不能時刻準備好所有的資(zī)源,那樣太浪費(fèi)了。但也不能什麽都不準備,看着雙十一(yī)這麽多用戶想買東西登不上去(qù)。所以需要雙十一(yī)的時候,創建一(yī)大(dà)批虛拟電(diàn)腦來支撐電(diàn)商(shāng)應用,過了雙十一(yī)再把這些資(zī)源都釋放(fàng)掉去(qù)幹别的。所以亞馬遜是需要一(yī)個雲平台的。

然而商(shāng)用的虛拟化軟件實在是太貴了,亞馬遜總不能把自己在電(diàn)商(shāng)賺的錢全部給了虛拟化廠商(shāng)吧。于是亞馬遜基于開(kāi)源的虛拟化技術,如上所述的Xen或者KVM,開(kāi)發了一(yī)套自己的雲化軟件。沒想到亞馬遜後來電(diàn)商(shāng)越做越牛,雲平台也越做越牛。而且由于他的雲平台需要支撐自己的電(diàn)商(shāng)應用,而傳統的雲計算廠商(shāng)多爲IT廠商(shāng)出身,幾乎沒有自己的應用,因而亞馬遜的雲平台對應用更加的友好,迅速發展成爲雲計算的第一(yī)品牌,賺了很多錢。在亞馬遜公布其雲計算平台财報之前,人們都猜測,亞馬遜電(diàn)商(shāng)賺錢,雲也賺錢嗎(ma)?後來一(yī)公布财報,發現不是一(yī)般的賺錢,僅僅去(qù)年,亞馬遜AWS年營收達122億美元,運營利潤31億美元。

1.8 雲計算的賺錢與情懷

公有雲的第一(yī)名亞馬遜過得很爽,第二名Rackspace過的就一(yī)般了。沒辦法,這就是互聯網行業的殘酷性,多是赢者通吃的模式。所以第二名如果不是雲計算行業的,很多人可能都沒聽(tīng)過了。第二名就想,我(wǒ)幹不過老大(dà)怎麽辦呢?開(kāi)源吧。如上所述,亞馬遜雖然使用了開(kāi)源的虛拟化技術,但是雲化的代碼是閉源的,很多想做又(yòu)做不了雲化平台的公司,隻能眼巴巴的看着亞馬遜掙大(dà)錢。Rackspace把源代碼一(yī)公開(kāi),整個行業就可以一(yī)起把這個平台越做越好,兄弟(dì)們大(dà)家一(yī)起上,和老大(dà)拼了。

于是Rackspace和美國航空航天局合作創辦了開(kāi)源軟件OpenStack,如圖所示OpenStack的架構圖,不是雲計算行業的不用弄懂這個圖,但是能夠看到三個關鍵字,Compute計算,Networking網絡,Storage存儲。還是一(yī)個計算,網絡,存儲的雲化管理平台。

當然第二名的技術也是非常棒的,有了OpenStack之後,果真像Rackspace想象的一(yī)樣,所有想做雲的大(dà)企業都瘋了,你能想象到的所有如雷貫耳的大(dà)型IT企業,IBM,惠普,戴爾,華爲,聯想等等,都瘋了。原來雲平台大(dà)家都想做,看着亞馬遜和Vmware賺了這麽多錢,眼巴巴看着沒辦法,想自己做一(yī)個好像難度還挺大(dà)。現在好了,有了這樣一(yī)個開(kāi)源的雲平台OpenStack,所有的IT廠商(shāng)都加入到這個社區中(zhōng)來,對這個雲平台進行貢獻,包裝成自己的産品,連同自己的硬件設備一(yī)起賣。有的做了私有雲,有的做了公有雲,OpenStack已經成爲開(kāi)源雲平台的事實标準。

1.9 IaaS, 資(zī)源層面的靈活性

随着OpenStack的技術越來越成熟,可以管理的規模也越來越大(dà),并且可以有多個OpenStack集群部署多套,比如北(běi)京部署一(yī)套,杭州部署兩套,廣州部署一(yī)套,然後進行統一(yī)的管理。這樣整個規模就更大(dà)了。在這個規模下(xià),對于普通用戶的感知(zhī)來講,基本能夠做到想什麽時候要就什麽什麽藥,想要多少就要多少。還是拿雲盤舉例子,每個用戶雲盤都分(fēn)配了5T甚至更大(dà)的空間,如果有1億人,那加起來空間多大(dà)啊。其實背後的機制是這樣的,分(fēn)配你的空間,你可能隻用了其中(zhōng)很少一(yī)點,比如說它分(fēn)配給你了5個T,這麽大(dà)的空間僅僅是你看到的,而不是真的就給你了,你其實隻用了50個G,則真實給你的就是50個G,随着你文件的不斷上傳,分(fēn)給你的空間會越來越多。當大(dà)家都上傳,雲平台發現快滿了的時候(例如用了70%),會采購更多的服務器,擴充背後的資(zī)源,這個對用戶是透明的,看不到的,從感覺上來講,就實現了雲計算的彈性。其實有點像銀行,給儲戶的感覺是什麽時候取錢都有,隻要不同時擠兌,銀行就不會垮。

這裏做一(yī)個簡單的總結,到了這個階段,雲計算基本上實現了時間靈活性和空間靈活性,實現了計算,網絡,存儲資(zī)源的彈性。計算,網絡,存儲我(wǒ)們常稱爲基礎設施Infranstracture, 因而這個階段的彈性稱爲資(zī)源層面的彈性,管理資(zī)源的雲平台,我(wǒ)們稱爲基礎設施服務,就是我(wǒ)們常聽(tīng)到的IaaS,Infranstracture As A Service。

二、雲計算不光管資(zī)源,也要管應用

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

有了IaaS,實現了資(zī)源層面的彈性就夠了嗎(ma)?顯然不是。還有應用層面的彈性。這裏舉個例子,比如說實現一(yī)個電(diàn)商(shāng)的應用,平時十台機器就夠了,雙十一(yī)需要一(yī)百台。你可能覺得很好辦啊,有了IaaS,新創建九十台機器就可以了啊。但是90台機器創建出來是空的啊,電(diàn)商(shāng)應用并沒有放(fàng)上去(qù)啊,隻能你公司的運維人員(yuán)一(yī)台一(yī)台的弄,還是需要很長時間才能安裝好的。雖然資(zī)源層面實現了彈性,但是沒有應用層的彈性,依然靈活性是不夠的。

有沒有方法解決這個問題呢?于是人們在IaaS平台之上又(yòu)加了一(yī)層,用于管理資(zī)源以上的應用彈性的問題,這一(yī)層通常稱爲PaaS(Platform As A Service)。這一(yī)層往往比較難理解,其實大(dà)緻分(fēn)兩部分(fēn),一(yī)部分(fēn)我(wǒ)稱爲你自己的應用自動安裝,一(yī)部分(fēn)我(wǒ)稱爲通用的應用不用安裝。

我(wǒ)們先來說第一(yī)部分(fēn),自己的應用自動安裝。比如電(diàn)商(shāng)應用是你自己開(kāi)發的,除了你自己,其他人是不知(zhī)道怎麽安裝的,比如電(diàn)商(shāng)應用,安裝的時候需要配置支付寶或者微信的賬号,才能别人在你的電(diàn)商(shāng)上買東西的時候,付的錢是打到你的賬戶裏面的,除了你,誰也不知(zhī)道,所以安裝的過程平台幫不了忙,但是能夠幫你做的自動化,你需要做一(yī)些工(gōng)作,将自己的配置信息融入到自動化的安裝過程中(zhōng)方可。比如上面的例子,雙十一(yī)新創建出來的90台機器是空的,如果能夠提供一(yī)個工(gōng)具,能夠自動在這新的90台機器上将電(diàn)商(shāng)應用安裝好,就能夠實現應用層面的真正彈性。例如Puppet, Chef, Ansible, Cloud Foundary都可以幹這件事情,最新的容器技術Docker能更好的幹這件事情,不做技術的可以不用管這些詞。

第二部分(fēn),通用的應用不用安裝。所謂通用的應用,一(yī)般指一(yī)些複雜(zá)性比較高,但是大(dà)家都在用的,例如數據庫。幾乎所有的應用都會用數據庫,但是數據庫軟件是标準的,雖然安裝和維護比較複雜(zá),但是無論誰安裝都是一(yī)樣。這樣的應用可以變成标準的PaaS層的應用放(fàng)在雲平台的界面上。當用戶需要一(yī)個數據庫的時候,一(yī)點就出來了,用戶就可以直接用了。有人問,既然誰安裝都一(yī)個樣,那我(wǒ)自己來好了,不需要花錢在雲平台上買。當然不是,數據庫是一(yī)個非常難的東西,光Oracle這家公司,靠數據庫就能賺這麽多錢。買Oracle也是要花很多很多錢的。然而大(dà)多數雲平台會提供Mysql這樣的開(kāi)源數據庫,又(yòu)是開(kāi)源,錢不需要花這麽多了,但是維護這個數據庫,卻需要專門招一(yī)個很大(dà)的團隊,如果這個數據庫能夠優化到能夠支撐雙十一(yī),也不是一(yī)年兩年能夠搞定的。比如您是一(yī)個做單車(chē)的,當然沒必要招一(yī)個非常大(dà)的數據庫團隊來幹這件事情,成本太高了,應該交給雲平台來做這件事情,專業的事情專業的人來自,雲平台專門養了幾百人維護這套系統,您隻要專注于您的單車(chē)應用就可以了。

要麽是自動部署,要麽是不用部署,總的來說就是應用層你也要少操心,這就是PaaS層的重要作用。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

雖說腳本的方式能夠解決自己的應用的部署問題,然而不同的環境千差萬别,一(yī)個腳本往往在一(yī)個環境上運行正确,到另一(yī)個環境就不正确了。

而容器是能更好的解決這個問題的。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

容器是 Container,Container另一(yī)個意思是集裝箱,其實容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點,一(yī)是封裝,二是标準。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

在沒有集裝箱的時代,假設将貨物(wù)從 A運到 B,中(zhōng)間要經過三個碼頭、換三次船。每次都要将貨物(wù)卸下(xià)船來,擺的七零八落,然後搬上船重新整齊擺好。因此在沒有集裝箱的時候,每次換船,船員(yuán)們都要在岸上待幾天才能走。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

有了集裝箱以後,所有的貨物(wù)都打包在一(yī)起了,并且集裝箱的尺寸全部一(yī)緻,所以每次換船的時候,一(yī)個箱子整體(tǐ)搬過去(qù)就行了,小(xiǎo)時級别就能完成,船員(yuán)再也不用上岸長時間耽擱了。

這是集裝箱“封裝”、“标準”兩大(dà)特點在生(shēng)活中(zhōng)的應用。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

那麽容器如何對應用打包呢?還是要學習集裝箱,首先要有個封閉的環境,将貨物(wù)封裝起來,讓貨物(wù)之間互不幹擾,互相隔離(lí),這樣裝貨卸貨才方便。好在 Ubuntu中(zhōng)的LXC技術早就能做到這一(yī)點。

封閉的環境主要使用了兩種技術,一(yī)種是看起來是隔離(lí)的技術,稱爲 Namespace,也即每個 Namespace中(zhōng)的應用看到的是不同的 IP地址、用戶空間、程号等。另一(yī)種是用起來是隔離(lí)的技術,稱爲 Cgroups,也即明明整台機器有很多的 CPU、内存,而一(yī)個應用隻能用其中(zhōng)的一(yī)部分(fēn)。

所謂的鏡像,就是将你焊好集裝箱的那一(yī)刻,将集裝箱的狀态保存下(xià)來,就像孫悟空說:“定”,集裝箱裏面就定在了那一(yī)刻,然後将這一(yī)刻的狀态保存成一(yī)系列文件。這些文件的格式是标準的,誰看到這些文件都能還原當時定住的那個時刻。将鏡像還原成運行時的過程(就是讀取鏡像文件,還原那個時刻的過程)就是容器運行的過程。

有了容器,使得 PaaS層對于用戶自身應用的自動部署變得快速而優雅。

三、大(dà)數據擁抱雲計算

在PaaS層中(zhōng)一(yī)個複雜(zá)的通用應用就是大(dà)數據平台。大(dà)數據是如何一(yī)步一(yī)步融入雲計算的呢?

3.1 數據不大(dà)也包含智慧

一(yī)開(kāi)始這個大(dà)數據并不大(dà),你想象原來才有多少數據?現在大(dà)家都去(qù)看電(diàn)子書(shū),上網看新聞了,在我(wǒ)們80後小(xiǎo)時候,信息量沒有那麽大(dà),也就看看書(shū),看看報,一(yī)個星期的報紙(zhǐ)加起來才有多少字啊,如果你不在一(yī)個大(dà)城市,一(yī)個普通的學校的圖書(shū)館加起來也沒幾個書(shū)架,是後來随着信息化的到來,信息才會越來越多。

首先我(wǒ)們來看一(yī)下(xià)大(dà)數據裏面的數據,就分(fēn)三種類型,一(yī)種叫結構化的數據,一(yī)種叫非結構化的數據,還有一(yī)種叫半結構化的數據。什麽叫結構化的數據呢?叫有固定格式和有限長度的數據。例如填的表格就是結構化的數據,國籍:中(zhōng)華人民共和國,民族:漢,性别:男,這都叫結構化數據。現在越來越多的就是非結構化的數據,就是不定長,無固定格式的數據,例如網頁,有時候非常長,有時候幾句話(huà)就沒了,例如語音,視頻(pín)都是非結構化的數據。半結構化數據是一(yī)些xml或者html的格式的,不從事技術的可能不了解,但也沒有關系。

數據怎麽樣才能對人有用呢?其實數據本身不是有用的,必須要經過一(yī)定的處理。例如你每天跑步帶個手環收集的也是數據,網上這麽多網頁也是數據,我(wǒ)們稱爲Data,數據本身沒有什麽用處,但是數據裏面包含一(yī)個很重要的東西,叫做信息Information,數據十分(fēn)雜(zá)亂,經過梳理和清洗,才能夠稱爲信息。信息會包含很多規律,我(wǒ)們需要從信息中(zhōng)将規律總結出來,稱爲知(zhī)識knowledge,知(zhī)識改變命運。信息是很多的,但是有人看到了信息相當于白(bái)看,但是有人就從信息中(zhōng)看到了電(diàn)商(shāng)的未來,有人看到了直播的未來,所以人家就牛了,你如果沒有從信息中(zhōng)提取出知(zhī)識,天天看朋友圈,也隻能在互聯網滾滾大(dà)潮中(zhōng)做個看客。有了知(zhī)識,然後利用這些知(zhī)識去(qù)應用于實戰,有的人會做得非常好,這個東西叫做智慧intelligence。有知(zhī)識并不一(yī)定有智慧,例如好多學者很有知(zhī)識,已經發生(shēng)的事情可以從各個角度分(fēn)析的頭頭是道,但一(yī)到實幹就歇菜,并不能轉化成爲智慧。而很多的創業家之所以偉大(dà),就是通過獲得的知(zhī)識應用于實踐,最後做了很大(dà)的生(shēng)意。

所以數據的應用分(fēn)這四個步驟:數據,信息,知(zhī)識,智慧。這是很多商(shāng)家都想要的,你看我(wǒ)收集了這麽多的數據,能不能基于這些數據來幫我(wǒ)做下(xià)一(yī)步的決策,改善我(wǒ)的産品,例如讓用戶看視頻(pín)的時候旁邊彈出廣告,正好是他想買的東西,再如讓用戶聽(tīng)音樂的時候,另外(wài)推薦一(yī)些他非常想聽(tīng)的其他音樂。用戶在我(wǒ)的應用或者網站上随便點點鼠标,輸入文字對我(wǒ)來說都是數據,我(wǒ)就是要将其中(zhōng)某些東西提取出來,指導實踐,形成智慧,讓用戶陷入到我(wǒ)的應用裏面不可自拔,上了我(wǒ)的網就不想離(lí)開(kāi),手不停的點,不停的買,很多人說雙十一(yī)我(wǒ)都想斷網了,我(wǒ)老婆在上面不斷的買買買,買了A又(yòu)推薦B,老婆大(dà)人說,“哎呀,B也是我(wǒ)喜歡的啊,老公我(wǒ)要買”。你說這個程序怎麽這麽牛,這麽有智慧,比我(wǒ)還了解我(wǒ)老婆,這件事情是怎麽做到的呢?

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

3.2 數據如何升華爲智慧

數據的處理分(fēn)幾個步驟,完成了才最後會有智慧。

第一(yī)個步驟叫數據的收集。首先得有數據,數據的收集有兩個方式,第一(yī)個方式是拿,專業點的說法叫抓取或者爬取,例如搜索引擎就是這麽做的,它把網上的所有的信息都下(xià)載到它的數據中(zhōng)心,然後你一(yī)搜才能搜出來。比如你去(qù)搜索的時候,結果會是一(yī)個列表,這個列表爲什麽會在搜索引擎的公司裏面呢,就是因爲他把這個數據啊都拿下(xià)來了,但是你一(yī)點鏈接,點出來這個網站就不在搜索引擎它們公司了。比如說新浪有個新聞,你拿百度搜出來,你不點的時候,那一(yī)頁在百度數據中(zhōng)心,一(yī)點出來的網頁就是在新浪的數據中(zhōng)心了。另外(wài)一(yī)個方式就是推送,有很多終端可以幫我(wǒ)收集數據,比如說小(xiǎo)米手環,可以将你每天跑步的數據,心跳的數據,睡眠的數據都上傳到數據中(zhōng)心裏面。

第二個步驟是數據的傳輸。一(yī)般會通過隊列方式進行,因爲數據量實在是太大(dà)了,數據必須經過處理才會有用,可是系統處理不過來,隻好排好隊,慢(màn)慢(màn)的處理。

第三個步驟是數據的存儲。現在數據就是金錢,掌握了數據就相當于掌握了錢。要不然網站怎麽知(zhī)道你想買什麽呢?就是因爲它有你曆史的交易的數據,這個信息可不能給别人,十分(fēn)寶貴,所以需要存儲下(xià)來。

第四個步驟是數據的處理和分(fēn)析。上面存儲的數據是原始數據,原始數據多是雜(zá)亂無章的,有很多垃圾數據在裏面,因而需要清洗和過濾,得到一(yī)些高質量的數據。對于高質量的數據,就可以進行分(fēn)析,從而對數據進行分(fēn)類,或者發現數據之間的相互關系,得到知(zhī)識。比如盛傳的沃爾瑪超市的啤酒和尿布的故事,就是通過對人們的購買數據進行分(fēn)析,發現了男人一(yī)般買尿布的時候,會同時購買啤酒,這樣就發現了啤酒和尿布之間的相互關系,獲得知(zhī)識,然後應用到實踐中(zhōng),将啤酒和尿布的櫃台弄的很近,就獲得了智慧。

第五個步驟就是對于數據的檢索和挖掘。檢索就是搜索,所謂外(wài)事不決問google,内事不決問百度。内外(wài)兩大(dà)搜索引擎都是講分(fēn)析後的數據放(fàng)入搜索引擎,從而人們想尋找信息的時候,一(yī)搜就有了。另外(wài)就是挖掘,僅僅搜索出來已經不能滿足人們的要求了,還需要從信息中(zhōng)挖掘出相互的關系。比如财經搜索,當搜索某個公司股票(piào)的時候,該公司的高管是不是也應該被挖掘出來呢?如果僅僅搜索出這個公司的股票(piào)發現漲的特别好,于是你就去(qù)買了,其實其高管發了一(yī)個聲明,對股票(piào)十分(fēn)不利,第二天就跌了,這不坑害廣大(dà)股民麽?所以通過各種算法挖掘數據中(zhōng)的關系,形成知(zhī)識庫,十分(fēn)重要。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

3.3 大(dà)數據時代,衆人拾柴火(huǒ)焰高

當數據量很小(xiǎo)的時候,很少的幾台機器就能解決。慢(màn)慢(màn)的當數據量越來越大(dà),最牛的服務器都解決不了問題的時候,就想怎麽辦呢?要聚合多台機器的力量,大(dà)家齊心協力一(yī)起把這個事搞定,衆人拾柴火(huǒ)焰高。

對于數據的收集,對于IoT來講,外(wài)面部署這成千上萬的檢測設備,将大(dà)量的溫度,适度,監控,電(diàn)力等等數據統統收集上來,對于互聯網網頁的搜索引擎來講,需要将整個互聯網所有的網頁都下(xià)載下(xià)來,這顯然一(yī)台機器做不到,需要多台機器組成網絡爬蟲系統,每台機器下(xià)載一(yī)部分(fēn),同時工(gōng)作,才能在有限的時間内,将海量的網頁下(xià)載完畢。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

對于數據的傳輸,一(yī)個内存裏面的隊列肯定會被大(dà)量的數據擠爆掉,于是就産生(shēng)了基于硬盤的分(fēn)布式隊列,這樣隊列可以多台機器同時傳輸,随你數據量多大(dà),隻要我(wǒ)的隊列足夠多,管道足夠粗,就能夠撐得住。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

對于數據的存儲,一(yī)台機器的文件系統肯定是放(fàng)不下(xià)了,所以需要一(yī)個很大(dà)的分(fēn)布式文件系統來做這件事情,把多台機器的硬盤打成一(yī)塊大(dà)的文件系統。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

再如數據的分(fēn)析,可能需要對大(dà)量的數據做分(fēn)解,統計,彙總,一(yī)台機器肯定搞不定,處理到猴年馬月也分(fēn)析不完,于是就有分(fēn)布式計算的方法,将大(dà)量的數據分(fēn)成小(xiǎo)份,每台機器處理一(yī)小(xiǎo)份,多台機器并行處理,很快就能算完。例如著名的Terasort對1個TB的數據排序,相當于1024G,如果單機處理,怎麽也要幾個小(xiǎo)時,但是并行處理209秒就完成了。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

所以說大(dà)數據平台,什麽叫做大(dà)數據,說白(bái)了就是一(yī)台機器幹不完,大(dà)家一(yī)起幹。随着數據量越來越大(dà),很多不大(dà)的公司都需要處理相當多的數據,這些小(xiǎo)公司沒有這麽多機器可怎麽辦呢?

3.4 大(dà)數據需要雲計算,雲計算需要大(dà)數據

說到這裏,大(dà)家想起雲計算了吧。當想要幹這些活的時候,需要好多好多的機器一(yī)塊做,真的是想什麽時候要,想要多少就要多少。例如大(dà)數據分(fēn)析公司的财務情況,可能一(yī)周分(fēn)析一(yī)次,如果要把這一(yī)百台機器或者一(yī)千台機器都在那放(fàng)着,一(yī)周用一(yī)次對吧,非常浪費(fèi)。那能不能需要計算的時候,把這一(yī)千台機器拿出來,然後不算的時候,這一(yī)千台機器可以去(qù)幹别的事情。誰能做這個事兒呢?隻有雲計算,可以爲大(dà)數據的運算提供資(zī)源層的靈活性。而雲計算也會部署大(dà)數據放(fàng)到它的PaaS平台上,作爲一(yī)個非常非常重要的通用應用。因爲大(dà)數據平台能夠使得多台機器一(yī)起幹一(yī)個事兒,這個東西不是一(yī)般人能開(kāi)發出來的,也不是一(yī)般人玩得轉的,怎麽也得雇個幾十上百号人才能把這個玩起來,所以說就像數據庫一(yī)樣,其實還是需要有一(yī)幫專業的人來玩這個東西。現在公有雲上基本上都會有大(dà)數據的解決方案了,一(yī)個小(xiǎo)公司我(wǒ)需要大(dà)數據平台的時候,不需要采購一(yī)千台機器,隻要到公有雲上一(yī)點,這一(yī)千台機器都出來了,并且上面已經部署好了的大(dà)數據平台,隻要把數據放(fàng)進去(qù)算就可以了。

雲計算需要大(dà)數據,大(dà)數據需要雲計算,兩個人就這樣結合了。

四、人工(gōng)智能擁抱大(dà)數據

4.1 機器什麽時候才能懂人心

雖說有了大(dà)數據,人的欲望總是這個不能夠滿足。雖說在大(dà)數據平台裏面有搜索引擎這個東西,想要什麽東西我(wǒ)一(yī)搜就出來了。但是也存在這樣的情況,我(wǒ)想要的東西不會搜,表達不出來,搜索出來的又(yòu)不是我(wǒ)想要的。例如音樂軟件裏面推薦一(yī)首歌,這首歌我(wǒ)沒聽(tīng)過,當然不知(zhī)道名字,也沒法搜,但是軟件推薦給我(wǒ),我(wǒ)的确喜歡,這就是搜索做不到的事情。當人們使用這種應用的時候,會發現機器知(zhī)道我(wǒ)想要什麽,而不是說當我(wǒ)想要的時候,去(qù)機器裏面搜索。這個機器真像我(wǒ)的朋友一(yī)樣懂我(wǒ),這就有點人工(gōng)智能的意思了。

人們很早就在想這個事情了。最早的時候,人們想象,如果要是有一(yī)堵牆,牆後面是個機器,我(wǒ)給它說話(huà),它就給我(wǒ)回應,我(wǒ)如果感覺不出它那邊是人還是機器,那它就真的是一(yī)個人工(gōng)智能的東西了。

4.2 讓機器學會推理

怎麽才能做到這一(yī)點呢?人們就想:我(wǒ)首先要告訴計算機人類的推理的能力。你看人重要的是什麽呀,人和動物(wù)的區别在什麽呀,就是能推理。我(wǒ)要是把我(wǒ)這個推理的能力啊告訴機器,機器就能根據你的提問,推理出相應的回答,真能這樣多好。推理其實人們慢(màn)慢(màn)的讓機器能夠做到一(yī)些了,例如證明數學公式。這是一(yī)個非常讓人驚喜的一(yī)個過程,機器竟然能夠證明數學公式。但是慢(màn)慢(màn)發現其實這個結果,也沒有那麽令人驚喜,因爲大(dà)家發現了一(yī)個問題,數學公式非常嚴謹,推理過程也非常嚴謹,而且數學公式很容易拿機器來進行表達,程序也相對容易表達。然而人類的語言就沒這麽簡單了,比如今天晚上,你和你女朋友約會,你女朋友說:如果你早來,我(wǒ)沒來,你等着,如果我(wǒ)早來,你沒來,你等着。這個機器就比比較難理解了,但是人都懂,所以你和女朋友約會,你是不敢遲到的。

4.3 教給機器知(zhī)識

所以僅僅告訴機器嚴格的推理是不夠的,還要告訴機器一(yī)些知(zhī)識。但是知(zhī)識這個事兒,一(yī)般人可能就做不來了,可能專家可以,比如語言領域的專家,或者财經領域的專家。語言領域和财經領域知(zhī)識能不能表示成像數學公式一(yī)樣稍微嚴格點呢?例如語言專家可能會總結出主謂賓定狀補這些語法規則,主語後面一(yī)定是謂語,謂語後面一(yī)定是賓語,将這些總結出來,并嚴格表達出來不久行了嗎(ma)?後來發現這個不行,太難總結了,語言表達千變萬化。就拿主謂賓的例子,很多時候在口語裏面就省略了謂語,别人問:你誰啊?我(wǒ)回答:我(wǒ)劉超。但是你不能規定在語音語義識别的時候,要求對着機器說标準的書(shū)面語,這樣還是不夠智能,就像羅永浩在一(yī)次演講中(zhōng)說的那樣,每次對着手機,用書(shū)面語說:請幫我(wǒ)呼叫某某某,這是一(yī)件很尴尬的事情。

人工(gōng)智能這個階段叫做專家系統。專家系統不易成功,一(yī)方面是知(zhī)識比較難總結,另一(yī)方面總結出來的知(zhī)識難以教給計算機。因爲你自己還迷迷糊糊,似乎覺得有規律,就是說不出來,就怎麽能夠通過編程教給計算機呢?

4.4 算了,教不會你自己學吧

于是人們想到,看來機器是和人完全不一(yī)樣的物(wù)種,幹脆讓機器自己學習好了。機器怎麽學習呢?既然機器的統計能力這麽強,基于統計學習,一(yī)定能從大(dà)量的數字中(zhōng)發現一(yī)定的規律。

其實在娛樂圈有很好的一(yī)個例子,可見一(yī)斑

有一(yī)位網友統計了知(zhī)名歌手在大(dà)陸發行的 9 張專輯中(zhōng) 117 首歌曲的歌詞,同一(yī)詞語在一(yī)首歌出現隻算一(yī)次,形容詞、名詞和動詞的前十名如下(xià)表所示(詞語後面的數字是出現的次數):

a形容詞b名詞c動詞0孤獨:340生(shēng)命:500愛:541自由:171路:371碎:372迷惘:162夜:292哭:353堅強:133天空:243死:274絕望:84孩子:234飛:265青春:75雨:215夢想:146迷茫:66石頭:96祈禱:107光明:67鳥:97離(lí)去(qù):10

如果我(wǒ)們随便寫一(yī)串數字,然後按照數位依次在形容詞、名詞和動詞中(zhōng)取出一(yī)個詞,連在一(yī)起會怎麽樣呢?

例如取圓周率 3.1415926,對應的詞語是:堅強,路,飛,自由,雨,埋,迷惘。稍微連接和潤色一(yī)下(xià):

堅強的孩子,

依然前行在路上,

張開(kāi)翅膀飛向自由,

讓雨水埋葬他的迷惘。

是不是有點感覺了?當然真正基于統計的學習算法比這個簡單的統計複雜(zá)的多。

然而統計學習比較容易理解簡單的相關性,例如一(yī)個詞和另一(yī)個詞總是一(yī)起出現,兩個詞應該有關系,而無法表達複雜(zá)的相關性,并且統計方法的公式往往非常複雜(zá),爲了簡化計算,常常做出各種獨立性的假設,來降低公式的計算難度,然而現實生(shēng)活中(zhōng),具有獨立性的事件是相對較少的。

4.5 模拟大(dà)腦的工(gōng)作方式

于是人類開(kāi)始從機器的世界,反思人類的世界是怎麽工(gōng)作的。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

人類的腦子裏面不是存儲着大(dà)量的規則,也不是記錄着大(dà)量的統計數據,而是通過神經元的觸發實現的,每個神經元有從其他神經元的輸入,當接收到輸入的時候,會産生(shēng)一(yī)個輸出來刺激其他的神經元,于是大(dà)量的神經元相互反應,最終形成各種輸出的結果。例如當人們看到美女瞳孔放(fàng)大(dà),絕不是大(dà)腦根據身材比例進行規則判斷,也不是将人生(shēng)中(zhōng)看過的所有的美女都統計一(yī)遍,而是神經元從視網膜觸發到大(dà)腦再回到瞳孔。在這個過程中(zhōng),其實很難總結出每個神經元對最終的結果起到了哪些作用,反正就是起作用了。

于是人們開(kāi)始用一(yī)個數學單元模拟神經元

這個神經元有輸入,有輸出,輸入和輸出之間通過一(yī)個公式來表示,輸入根據重要程度不同(權重),影響着輸出。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

于是将n個神經元通過像一(yī)張神經網絡一(yī)樣連接在一(yī)起,n這個數字可以很大(dà)很大(dà),所有的神經元可以分(fēn)成很多列,每一(yī)列很多個排列起來,每個神經元的對于輸入的權重可以都不相同,從而每個神經元的公式也不相同。當人們從這張網絡中(zhōng)輸入一(yī)個東西的時候,希望輸出一(yī)個對人類來講正确的結果。例如上面的例子,輸入一(yī)個寫着2的圖片,輸出的列表裏面第二個數字最大(dà),其實從機器來講,它既不知(zhī)道輸入的這個圖片寫的是2,也不知(zhī)道輸出的這一(yī)系列數字的意義,沒關系,人知(zhī)道意義就可以了。正如對于神經元來說,他們既不知(zhī)道視網膜看到的是美女,也不知(zhī)道瞳孔放(fàng)大(dà)是爲了看的清楚,反正看到美女,瞳孔放(fàng)大(dà)了,就可以了。

對于任何一(yī)張神經網絡,誰也不敢保證輸入是2,輸出一(yī)定是第二個數字最大(dà),要保證這個結果,需要訓練和學習。畢竟看到美女而瞳孔放(fàng)大(dà)也是人類很多年進化的結果。學習的過程就是,輸入大(dà)量的圖片,如果結果不是想要的結果,則進行調整。如何調整呢,就是每個神經元的每個權重都向目标進行微調,由于神經元和權重實在是太多了,所以整張網絡産生(shēng)的結果很難表現出非此即彼的結果,而是向着結果微微的進步,最終能夠達到目标結果。當然這些調整的策略還是非常有技巧的,需要算法的高手來仔細的調整。正如人類見到美女,瞳孔一(yī)開(kāi)始沒有放(fàng)大(dà)到能看清楚,于是美女跟别人跑了,下(xià)次學習的結果是瞳孔放(fàng)大(dà)一(yī)點點,而不是放(fàng)大(dà)鼻孔。

4.6 沒道理但做得到

聽(tīng)起來也沒有那麽有道理,但是的确能做到,就是這麽任性。

神經網絡的普遍性定理是這樣說的,假設某個人給你某種複雜(zá)奇特的函數,f(x):

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

不管這個函數是什麽樣的,總會确保有個神經網絡能夠對任何可能的輸入x,其值f(x)(或者某個能夠準确的近似)是神經網絡的輸出。

如果在函數代表着規律,也意味着這個規律無論多麽奇妙,多麽不能理解,都是能通過大(dà)量的神經元,通過大(dà)量權重的調整,表示出來的。

4.7 人工(gōng)智能的經濟學解釋

這讓我(wǒ)想到了經濟學,于是比較容易理解了。

終于有人把雲計算、大(dà)數據和 AI 講明白(bái)了

 

我(wǒ)們把每個神經元當成社會中(zhōng)從事經濟活動的個體(tǐ)。于是神經網絡相當于整個經濟社會,每個神經元對于社會的輸入,都有權重的調整,做出相應的輸出,比如工(gōng)資(zī)漲了,菜價也漲了,股票(piào)跌了,我(wǒ)應該怎麽辦,怎麽花自己的錢。這裏面沒有規律麽?肯定有,但是具體(tǐ)什麽規律呢?卻很難說清楚。

基于專家系統的經濟屬于計劃經濟,整個經濟規律的表示不希望通過每個經濟個體(tǐ)的獨立決策表現出來,而是希望通過專家的高屋建瓴和遠見卓識總結出來。專家永遠不可能知(zhī)道哪個城市的哪個街道缺少一(yī)個賣甜豆腐腦的。于是專家說應該産多少鋼鐵,産多少饅頭,往往距離(lí)人民生(shēng)活的真正需求有較大(dà)的差距,就算整個計劃書(shū)寫個幾百頁,也無法表達隐藏在人民生(shēng)活中(zhōng)的小(xiǎo)規律。

基于統計的宏觀調控就靠譜的多了,每年統計局都會統計整個社會的就業率,通脹率,GDP等等指标,這些指标往往代表着很多的内在規律,雖然不能夠精确表達,但是相對靠譜。然而基于統計的規律總結表達相對比較粗糙,比如經濟學家看到這些統計數據可以總結出長期來看房價是漲還是跌,股票(piào)長期來看是漲還是跌,如果經濟總體(tǐ)上揚,房價和股票(piào)應該都是漲的。但是基于統計數據,無法總結出股票(piào),物(wù)價的微小(xiǎo)波動規律。

基于神經網絡的微觀經濟學才是對整個經濟規律最最準确的表達,每個人對于從社會中(zhōng)的輸入,進行各自的調整,并且調整同樣會作爲輸入反饋到社會中(zhōng)。想象一(yī)下(xià)股市行情細微的波動曲線,正是每個獨立的個體(tǐ)各自不斷交易的結果,沒有統一(yī)的規律可循。而每個人根據整個社會的輸入進行獨立決策,當某些因素經過多次訓練,也會形成宏觀上的統計性的規律,這也就是宏觀經濟學所能看到的。例如每次貨币大(dà)量發行,最後房價都會上漲,多次訓練後,人們也就都學會了。

4.8 人工(gōng)智能需要大(dà)數據

然而神經網絡包含這麽多的節點,每個節點包含非常多的參數,整個參數量實在是太大(dà)了,需要的計算量實在太大(dà),但是沒有關系啊,我(wǒ)們有大(dà)數據平台,可以彙聚多台機器的力量一(yī)起來計算,才能在有限的時間内得到想要的結果。

人工(gōng)智能可以做的事情非常多,例如可以鑒别垃圾郵件,鑒别黃色暴力文字和圖片等。這也是經曆了三個階段的。第一(yī)個階段依賴于關鍵詞黑白(bái)名單和過濾技術,包含哪些詞就是黃色或者暴力的文字。随着這個網絡語言越來越多,詞也不斷的變化,不斷的更新這個詞庫就有點顧不過來。第二個階段時,基于一(yī)些新的算法,比如說貝葉斯過濾等,你不用管貝葉斯算法是什麽,但是這個名字你應該聽(tīng)過,這個一(yī)個基于概率的算法。第三個階段就是基于大(dà)數據和人工(gōng)智能,進行更加精準的用戶畫像和文本理解和圖像理解。

由于人工(gōng)智能算法多是依賴于大(dà)量的數據的,這些數據往往需要面向某個特定的領域(例如電(diàn)商(shāng),郵箱)進行長期的積累,如果沒有數據,就算有人工(gōng)智能算法也白(bái)搭,所以人工(gōng)智能程序很少像前面的IaaS和PaaS一(yī)樣,将人工(gōng)智能程序給某個客戶安裝一(yī)套讓客戶去(qù)用,因爲給某個客戶單獨安裝一(yī)套,客戶沒有相關的數據做訓練,結果往往是很差的。但是雲計算廠商(shāng)往往是積累了大(dà)量數據的,于是就在雲計算廠商(shāng)裏面安裝一(yī)套,暴露一(yī)個服務接口,比如您想鑒别一(yī)個文本是不是涉及黃色和暴力,直接用這個在線服務就可以了。這種形勢的服務,在雲計算裏面稱爲軟件即服務,SaaS (Software AS A Service)

于是工(gōng)智能程序作爲SaaS平台進入了雲計算。

五、雲計算,大(dà)數據,人工(gōng)智能過上了美好的生(shēng)活

終于雲計算的三兄弟(dì)湊齊了,分(fēn)别是IaaS,PaaS和SaaS,所以一(yī)般在一(yī)個雲計算平台上,雲,大(dà)數據,人工(gōng)智能都能找得到。對一(yī)個大(dà)數據公司,積累了大(dà)量的數據,也會使用一(yī)些人工(gōng)智能的算法提供一(yī)些服務。對于一(yī)個人工(gōng)智能公司,也不可能沒有大(dà)數據平台支撐。所以雲計算,大(dà)數據,人工(gōng)智能就這樣整合起來,完成了相遇,相識,相知(zhī)。


晉公網安備:14080202000399号