事實證明，從大數(shù)據(jù)到數(shù)據(jù)分析再到 AI 的轉(zhuǎn)變是一個很自然的過程。這不僅是因為這個過程有助于調(diào)整人類的思維模型，或者因為大數(shù)據(jù)和數(shù)據(jù)分析在被 AI 奪去光彩之前浸淫在 AI 的各種炒作中，主要還是因為我們需要通過大數(shù)據(jù)來構(gòu)建 AI。

 

 

AI 走向主流只用了幾年時間，盡管在很多方面已經(jīng)取得了快速進(jìn)展，但真正了解 AI 的人并不多，能夠掌握 AI 的人就更少了。

2016 年，AI 炒作剛剛開始，很多人在提到“AI”一詞時仍然十分謹(jǐn)慎。畢竟，多年來我們一直被灌輸要盡量避免使用這個術(shù)語，因為這些事情已經(jīng)引起了混亂，它們承諾過度，卻無法兌現(xiàn)。事實證明，從大數(shù)據(jù)到數(shù)據(jù)分析再到 AI 的轉(zhuǎn)變是一個很自然的過程。

這不僅是因為這個過程有助于調(diào)整人類的思維模型，或者因為大數(shù)據(jù)和數(shù)據(jù)分析在被 AI 奪去光彩之前浸淫在 AI 的各種炒作中，主要還是因為我們需要通過大數(shù)據(jù)來構(gòu)建 AI。

讓我們回顧一下 Big Data Spain(BDS)大會，它是歐洲最大和最具前瞻性的大會之一，標(biāo)志著從大數(shù)據(jù)到 AI 的轉(zhuǎn)變，并嘗試回答一些與 AI 相關(guān)的問題。

在真正成功之前，我們能先假裝成功嗎?

簡單地說：不行。Gartner 分析成熟度模型的一個要點是，如果你想構(gòu)建 AI 功能，就必須在可靠的大數(shù)據(jù)基礎(chǔ)上進(jìn)行。

其中一部分是關(guān)于存儲和處理大量數(shù)據(jù)的能力，但這真的只是冰山一角�，F(xiàn)在的技術(shù)解決方案已經(jīng)琳瑯滿目，但要構(gòu)建 AI，你不能忘了人和流程。

更具體地說：不要忘了組織中的數(shù)據(jù)素養(yǎng)和數(shù)據(jù)治理。如果你認(rèn)為可以通過某種方式跨過數(shù)據(jù)分析的演化鏈在你的組織中開發(fā) AI 解決方案，那么請三思。

 

 

Stratio 首席執(zhí)行官 Oscar Mendez 在他的主題演講中強調(diào)，要超越華而不實的 AI，需要采取整體方法。做好數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)治理，并在此基礎(chǔ)上訓(xùn)練正確的機(jī)器學(xué)習(xí)(ML)模型，這樣可以獲得令人印象深刻的結(jié)果。但這些可以帶給你的好處是有限的，Alexa、Cortana 和 Siri 的日常失誤足以證明這一點。

關(guān)鍵是要具備上下文和推理能力，以便更接近地模擬人類智能。并不是 Mendez 一個人這么認(rèn)為，因為這也是 AI 研究人員同樣持有的觀點，例如深度學(xué)習(xí)領(lǐng)域頂級的思想家之一 Yoshua Bengio。深度學(xué)習(xí)(DL)在模式匹配方面表現(xiàn)優(yōu)異，數(shù)據(jù)和計算能力的爆發(fā)讓它在基于模式匹配的任務(wù)中勝過人類。

然而，智能并非只是關(guān)于模式匹配。推理能力不能只通過 ML 方法來建立——至少現(xiàn)在不行。因此，我們需要整合遠(yuǎn)離炒作的 AI 方法：知識表示和推理、本體論等。這是我們一直在倡導(dǎo)的，并且看到了它在 BDS 上很受推崇，這是一種正面的肯定。

應(yīng)該將 AI 外包嗎?

簡單地說：也許可以，但應(yīng)該要十分謹(jǐn)慎。我們可以直截了當(dāng)?shù)卣f：AI 其實很難。是的，AI 絕對應(yīng)該建立在數(shù)據(jù)治理的基礎(chǔ)之上，因為這無論如何對你的組織來說都是有好處的。有些組織，比如 Telefonica，通過執(zhí)行戰(zhàn)略計劃設(shè)法從大數(shù)據(jù)轉(zhuǎn)向 AI，但這并非易事。

這一點已經(jīng)被一份相當(dāng)可靠的 ML 采用調(diào)查報告所證實，超過 1 萬 1 千多個受訪者參與了這次調(diào)查。來自 Derwen 的 Paco Nathan 展示了 O’Reilly 的一份調(diào)查的結(jié)果，這或多或少地證實了我們的想法：采用 AI 和沒有采用 AI 的組織之間的差距越來越大。

在 AI 采用頻譜的一邊是谷歌和微軟這樣的領(lǐng)導(dǎo)者：他們將 AI 作為其戰(zhàn)略和運營的核心要素。他們的資源、數(shù)據(jù)和技術(shù)成為他們領(lǐng)導(dǎo) AI 競賽的先決條件。然后是 AI 采用者，他們在自己的領(lǐng)域中應(yīng)用 AI。然后是落后者，他們陷于技術(shù)債務(wù)之中，無法在 AI 采用方面做出任何有意義的事情。

 

 

從表面上看，AI 領(lǐng)導(dǎo)者提供的產(chǎn)品似乎是在普及“AI”。谷歌和微軟都在 BDS 上展示了這些，他們做了一些演示，在幾分鐘內(nèi)通過點擊的方式就構(gòu)建出一個圖像識別應(yīng)用程序。

很明顯，他們在向我們傳達(dá)這樣的一個信息：讓我們來操心模型和培訓(xùn)的事，你只要專注在你領(lǐng)域內(nèi)的細(xì)節(jié)上。我們可以識別機(jī)械部件——只需要提供給我們特定的機(jī)械部件就可以了，然后你該干什么干什么去。

谷歌還在 BDS 上發(fā)布了一些新產(chǎn)品：Kubeflow 和 AI Hub。它們背后的想法是編排 ML 管道，類似于 Kubernetes 為 Docker 容器提供的應(yīng)用程序。這些并不是唯一能夠帶來類似優(yōu)勢的產(chǎn)品。它們看起來有點誘人，但你應(yīng)該使用它們嗎?

誰不想直接跳過 AI 這道坎，拿到想要的結(jié)果，而且不需要面對那么多麻煩?這確實是一種可以讓你領(lǐng)先于競爭對手的方法。但問題是，如果你完全將 AI 外包，那么你就無法獲得在中長期內(nèi)自給自足所需的技能。

想想數(shù)字化轉(zhuǎn)型。是的，數(shù)字化、探索技術(shù)和重新設(shè)計流程也是很難的。并非所有組織都能做到，或者有能力投入足夠的資源，但那些做到的組織現(xiàn)在已經(jīng)跑在了前面。AI 具有類似甚至更大的顛覆潛力。因此，可以立即獲得成果固然好，但 AI 的投資仍然應(yīng)該被視為戰(zhàn)略的重點。

當(dāng)然，你可以考慮外包基礎(chǔ)設(shè)施。對于大多數(shù)組織而言，維護(hù)自己的基礎(chǔ)設(shè)施的數(shù)量并未增加。在云端運行基礎(chǔ)設(shè)施所帶來的規(guī)模經(jīng)濟(jì)性和領(lǐng)先優(yōu)勢將帶來實質(zhì)性好處。

我們將去向何處?

簡單地說：就像登月一樣。ML 反饋閉環(huán)似乎正在全面展開，因此，采用者試圖跟上，落后者保持滯后，但領(lǐng)導(dǎo)者卻越來越領(lǐng)先。

Pablo Carrier 在演講指出，如果你嘗試線性提高 DL 的準(zhǔn)確率，計算量將呈指數(shù)級增長。在過去六年中，計算量增加了 1000 萬倍。即使是谷歌云也很難跟上，更不用說其他的了。

Google Cloud AI 技術(shù)主管 Viacheslav Kovalevskyi 在開始他的“分布式 DL 理論和實踐”演講之前，警告說：如果有可能，請避免使用它。如果你真的必須這么做，請注意與分布式相關(guān)的開銷，并準(zhǔn)備在計算和復(fù)雜性以及基礎(chǔ)賬單方面付出代價。

Kovalevskyi 提供了一些不同的使用分布式 DL 的歷史視角——分布數(shù)據(jù)、模型或二者。分布數(shù)據(jù)是最簡單的方法，分布兩者是最難的。但是，無論如何，分布式 DL 仍然是一個“童話之地”——通過增加 k 倍計算時間，你并不會獲得 k 倍的性能提升。

當(dāng)然，Google 的演示主要關(guān)注 Google Cloud 上的 TensorFlow，但這不是唯一可用的方法。Databricks 剛剛宣布支持 HorovodRunner，通過 Horovod 來輔助分布式 DL。Horovod 是一個開源框架，由 Uber 推出，谷歌也在使用它。

微軟數(shù)據(jù)科學(xué)家和 Azure 數(shù)據(jù) /AI 技術(shù)專家 Marck Vaisman 在他的演講中提出了替代方案，他使用了 Python 和 R，而不使用 Spark。他介紹了 Dask，一個 Python 開源庫。Dask 承諾為分析提供高級并行性，可以與 Numpy、Pandas 和 Scikit-Learn 等項目協(xié)同工作。

最后，圖和圖數(shù)據(jù)庫也是整個 BDS 的關(guān)鍵主題：微軟的知識圖、AWS Neptune 和 Oracle Labs。

云計算、分發(fā)式以及在 ML 中引入圖結(jié)構(gòu)是未來需要關(guān)注的一些關(guān)鍵主題。

英文原文：https://www.zdnet.com/article/from-big-data-to-ai-where-are-we-now-and-what-is-the-road-forward/

標(biāo)簽： Google 大數(shù)據(jù) 大數(shù)據(jù)基礎(chǔ) 谷歌 數(shù)據(jù)分析 數(shù)據(jù)庫 云計算 轉(zhuǎn)型

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。