大衆化、作業化、負責任: AI 與機器學習取得成效的 三大關鍵要素 充分發揮人工智慧與機器學習的力量

網路上各式各樣文章轉貼於此,Ctrl C+ Ctrl V 動作中......
回覆文章
準建築人手札網站
鍍金牌會員
文章: 20565
註冊時間: 2005-06-01, 11:31
來自: 準建築人手札網站 Forgemind ArchiMedia

大衆化、作業化、負責任: AI 與機器學習取得成效的 三大關鍵要素 充分發揮人工智慧與機器學習的力量

文章 準建築人手札網站 »


大衆化、作業化、負責任: AI 與機器學習取得成效的 三大關鍵要素


充分發揮人工智慧與機器學習的力量

AI 與 ML 技術的快速發展正推動 投資和創新的不斷增加

為何現時人工智慧與機器學習前所未有般重要

人工智慧 (AI) 和機器學習 (ML) 已成為有史以來最具變革性的技術,所以現時有如此多的業務和技 術負責人都希望採用 AI 與 ML 技術。出於各種各樣的原因,世界各地的組織都在投資 AI 與 ML 。 這些原因中,最顯著的是 AI 與 ML 能夠推動快速創新,還能夠透過向現有程序注入智慧,對耗時的 手動任務進行自動化改造,並加快新產品和新服務的開發速度,讓組織取得競爭優勢。

儘管在 AI 與 ML 增長方面眾說紛紜,但有一個事實是可以肯定的‥這兩項技術會對全球經濟造成巨 大的影響。據 Gartner 預測,到 2025 年,AI 與 ML 的市場規模將達到 1,348 億美元,大幅領先於 全球軟體市場的增長速度。同樣,據 IDC 預測,對 AI 與 ML 的投資將從 2021 年的 853 億美元猛 增到 2025 年的 2,040 億美元,而2021 年到 2025 年的複合年增長率 (CAGR) 將會是 24.5%。無論 組織是否進行了這筆投資,這些數字都 (可能) 對他們產生非常驚人的影響。

無論您是在擴展現有的 AI 與 ML 計畫,還是剛剛踏上這一旅程,一份清晰的參考指南都能協助您制 定策略並取得成功。本電子書將概述取得成功的三大策略支柱,並提供一些您可以在組織中應用的實際建議。

AI 與 ML 對企業有什麼意義

AI 與 ML 的字面含義反映了這兩種技術本身的區別,理解這些區別可以協助您了解如何與專案團隊裡外的人員探討相關的技術。在最基本的層面上,AI 用來描述可複製過去需要人類智慧完成之任務的各種系統。大多數 AI 系統根 據傳入的實際資料尋找概率性結果,以預測最可能的情境。
AI 系統可能使用各種技術的任意組合,來得出預測性的決定,包括使用 If/Then 陳述式邏輯。但大多 數 AI 系統都是使用 ML 建立的,後者會擷取大量的資料來建立和驗證決策邏輯 (也稱為模型)。

深度學習是 ML 的一個組成部分,它利用被稱為深度神經網路的技術,來模仿生物神經元互相傳送信 號的方式。深度學習通常用在複雜的 AI 系統中,例如自動駕駛車輛或自然語言處理 (NLP)。強化學習是深度學習的其中一個分支,這種技術使系統能夠利用來自其自身動作和經驗的回饋來執行模擬試錯,從而在互動式環境中進行學習。

自從在二十世紀下半葉誕生以來,AI 與 ML 的發展經歷過起伏,但在過去的十年 裡,這兩項技術已經取得了長足的發展,並且變得以市場為導向。促使 ML 在近 年來迅猛增長的一個主要因素是雲端,這是一種前所未有的強大工具。雲端運算 將穩健的 AI 和 ML 服務與高效能運算 (HPC) (例如 CPU 和 GPU、網路和儲存) 相 結合,以進行模型訓練和完成部署。此外,現代雲端持續保護資料和應用程式, 以滿足嚴格的安保、合規和隱私權要求。包括這些在內的雲端建置組塊使得任何 組織都能夠使用雲端。

非結構化資料 (在全球資料中的佔比超過 80%) 的不斷增加也促使了 ML 迎來轉捩 點並迅猛發展。ML 的獨特之處在於,它可以利用非結構化資料進行預測,而不像 傳統分析那樣往往依賴表格格式的結構化資料。為了滿足資料的爆炸式增長, 雲端服務提供了一些高效的方法,以取得、處理、分析和儲存任意數量的資料, 從而讓人們能夠從每天產生的海量資料中獲取價值。

AI 與 ML 模型可以利用全球很多可用的資料,這些模型能夠為預測提供資訊, 還可以在從聯絡中心智慧化和文件處理,到個人化和內容審核的多種應用中, 將以影片、音訊、影像和文字為基礎的資料包含其中。以一個想要從 X 光、MRI, 甚至手寫處方中尋找患者資訊的癌症專家為例,無論是應用程式還是分析,都無 法可靠地從這些資料中擷取預測性的資訊,因此醫生 (和她的患者) 需要利用先進 的智慧來實現這一目的。

而決策者現在可以藉助 AI 與 ML 技術來辦認影片和影像內容,以揭示非結構化資 料中的模式。這些工具已經非常完善,是時候進行有意義的 AI 與 ML 創新了。 現在,您唯一需要的是取得成功的關鍵要素。

第 II 部分 – 成功的關鍵要素
3 大關鍵要素可以協助客戶 將人工智慧與機器學習部署到 企業中更多領域

大衆化

2012 年 10 月那一期的《哈佛商業評論》發表了一篇名為 Data Scientist: The Sexiest Job of the 21st Century (資料科學家:21 世紀最性感的工作) 的文章。這篇文章無疑具有先見之明,但仍可能 低估了十年後的今天,資料科學家的需求程度。市場對 ML 應用程式的興趣與日俱增,導致全球對經 驗豐富的資料科學家的需求居高不下。例證:據技術招聘人員的計算,資料科學崗位的年增長率高 達 295%,已躍升為 ZDNET 上增長速度最快的技能組合。

為此,許多組織正在另避蹊徑‥並不僅招聘資料科學家,還利用各種工具培養現有員工的相關技能。資料科學家在人才市場中總是供不應求。這些組織透過培養現有員工,不但豐富了員工的能力和經驗,還減少了與其他公司爭奪資料科學家的需求。

因此,許多員工有機會學習到 AI 與 ML 工具和責任,這種大衆化現象正在被廣泛接受。大衆化是促 成許多組織能夠以可擴展的方式使用 ML 的三大關鍵要素之一。與其他組織相比,為非程式設計師 ( 例如負責為銷售、財務、營運、行銷和其他關鍵業務部門提供支援的業務部門分析師) 制定正式計畫 的組織將取得高得多的敏捷性。換言之,大衆化對企業是一件好事。

將 ML 大衆化的其中一種方式是使用面向業務分析師的無程式碼工具。在藉助無程式碼工具的情況 下,即使沒有 ML 經驗的業務分析師也能做出 ML 預測。這些工具可用於常見的使用案例,包括客戶 流失預測、潛在客戶轉化、價格和收入最佳化、交付時間預測、庫存規劃等。無程式碼工具是一種 實現自動化的方法,同時可消除對資料科學團隊的依賴。這些工具還讓業務分析師和資料科學家能 夠開展合作和創造機會進行協作,並建立回饋迴圈,從而隨時間推移進一步優化模型。

同樣,對業務分析師有益的,對資料科學家們也會有好處。藉助自動化的ML (或稱為 AutoML),資料科學家能夠對 ML 工作流程的每一個步驟進行自 動化改造。這樣便消除了 ML 工作流程中從資料採集到模型操作化的各項繁 瑣、重複、耗時的工作,從而普及 ML 程序。這樣,資料科學家們就能夠減 少在低層次細節上花費的時間,並將更多的寶貴時間放在提高模型準確性 上。AutoML 工具可用於獲取和準備資料、進行特徵工程、訓練和調教模型、 部署模型以及持續監控和更新模型。AutoML 技術最終能夠減輕資料科學團 隊的負擔,讓專家們不必再將寶貴的時間浪費在重複且低價值的任務上。

大衆化還支援開發人員打造和維護關鍵業務應用程式。儘管這些開發人員通 常不會建置、訓練和部署他們自己的模型,但他們能夠使用預先建置的模 型,透過單個 API 即可將這些模型輕鬆整合到他們的應用程式中,以便在多 種業務應用程式中新增電腦視覺、語音辨識或個人化等 AI 功能。

最後,AI 與 ML 正在變得越來越容易取得,這要歸功於支援所有業務線和各種工作職能的智慧流程和工具,例如透過 AI 為客戶支援代表提供最佳的下一 步行動建議,或者為開發人員提供最佳化程式碼建議。

大衆化的 AI 能夠使我們在生活、工作和娛樂中使用的更多 應用程式自動化,讓我們能夠將更多的時間用在高價值的活動上。

一條通向大衆化人工智慧的清晰道路

組織可以使用 Amazon Web Services (AWS) 解決方案,在多個職能和角色中實現 AI 與 ML 大衆化。對於業務分析師,Amazon SageMaker Canvas 可產生準確的 ML 預測,並透過與資料科學家共享模型和資料集來推動協作。

「藉助 SageMaker Canvas,我們的企業使用者可以輕鬆探索和建置 ML 模型, 無需編寫任何程式碼即可做出準確的預測。」BMW 集團 AI 平台產品負責人 Marc Neumann 表示。該解決方案使業務分析師能夠連線、取得和組合資料,建立統一 的資料集,快速、輕鬆地建置 ML 模型,分析這些模型,以及按幾下滑鼠就能輕 鬆產生準確的預測。

Siemens Energy 工業應用程式資料科學團隊主管 Davood Naderi 認為‥「協作非 常重要,因為它可以協助我們生產更多的 ML 模型,並確保所有模型都遵循我們 的品質標準和政策。」

希望擺脫 ML 程序中的繁重任務嗎? ML 團隊 (可能包括資料科學家、MLOps 專 業人員和資料工程師) 可以透過很多方法來利用 AutoML。Amazon SageMaker JumpStart 提供數百種內建演算法和預先建置的 ML 解決方案,只需按幾下滑鼠 即可完成部署。

Amazon SageMaker Autopilot 消除了 ML 模型建置工作。您只需提供一個表 格式資料集並選取要預測的目標欄,SageMaker Autopilot 就會自動探索不同的 解決方案,以找到最佳模型。隨後,您按一下滑鼠即可直接將模型部署到生產環 境,或者在推薦的解決方案基礎上進行疊代,以進一步提高模型品質。

「製作人口統計圖的主要目標是對準確性和規模進行最佳化。」Mobilewalla 執行長 Anindya Datta 說道。「儘管這通常很難實現,但我們利用 Amazon SageMaker Autopilot 生產出更好的模型,將我們的預測準確性提高了 137%。」

開發人員可以利用適用於文字和文件、聊天機器人、語音和視覺的一組核心 AI 服 務,這些服務凝聚了 Amazon 20 多年來在 ML 領域累積的豐富經驗,任何開發人員都可以使用它們輕鬆將智慧注入任何現有的業務應用程式,而無需掌握 ML 技 能。除了這些核心服務以外,您還可以取得支援 AI 與 ML 使用案例的專業 AI 服 務和產業特定的 AI 服務,這些使用案例包括預測、個人化、異常偵測、詐騙偵 測、搜尋、DevOps、工業和醫療保健等。

「我們的開發人員現在將更多的精力投入到交付差異化功能,並同時減少在生產環境中調查問題而花費的時間。」Atlassian 技術團隊工程主管 Zak Islam 表示。

另外,AWS 正在為其他服務和產品增加 ML 功能。例如 Amazon CodeWhisperer 是一項採用 ML 技術的服務,這項服務可以根據開發人員在整合開發環境 (IDE) 內 (以自然語言和程式碼形式) 生成的評論,產生程式碼建議,從而提高開發人員的 生產力。
「我們的開發人員現在將更多的精力投入到交付差異化功能,以及減少在生產環境中調查問題而花費的時間。」
Zak Islam,Atlassian 技術團隊工程主管

操作化

隨著 AI 與 ML 的採用率迅速提高,並且採用變得越來越迫切,業務團隊和技術團 隊需要利用 ML 以更快的速度建置更多功能。由於急於利用這些技術,幾乎沒有 組織會暫且停下腳步,為 ML 開發工作規定標準工具和程序。結果,擁有不同技 能和需求的不同團隊往往使用完全不同且無法互通的工具,這樣就導致協作即使 不是完全不可能,也至少是不切實際的。

例如,一個研發團隊可能正在使用先進的演算法和架構開發一款電腦視覺應用程式,而銷售和行銷團隊正在建置一個線性迴歸模型,以便使用本機儲存的試算表預測客戶需求。或者,開發人員可能正在編寫一款購物行動應用程式,並打算新增一個推薦引擎,以使客戶體驗更加個人化。

相比之下,很少有組織利用可以安全地連接起來的操作性 ML 工具和實務,例如 基礎設施、IDE、偵錯器、分析器、協作工具、工作流程和專案管理工具。這一現 實導致對業務分析師、開發人員和資料科學家等團隊的管理,以及與現有軟體工 具和程序進行的協作變得複雜。在這些常見的情境中,縱向擴展或縮減變得極其困難。

好消息是,可以透過一種經過驗證的方法將 ML 的風險和複雜性降至最低,同時 為團隊提供可重複的簡單實務,這種方法就是對 ML 操作化進行改造。對 ML 操 作化進行改造可以為擴展提供工具、基礎設施和操作支援。

要對 ML 操作化進行改造,資料科學團隊首先要執行資料擷取和建模活動,並透 過清晰地了解企業對 ML 應用程式設定的目標和所有監管和合規問題,來掌握相 關資訊。MLOps 可確保資料科學、生產和營運團隊,在已經儘可能自動化的一系 列 ML 工作流程中無縫協作。根據需要進行人工干預,以確保順利地進行部署、 監控資料和追蹤模型效能。

AWS 如何協助客戶實現機器學習操作化

我們在前面提到,Amazon SageMaker 是一項能夠協助使 ML 大衆化的強大服務,但這項服務同 樣也適用於實現操作化。Amazon SageMaker 能夠對 MLOps 工作流程的每一個步驟實現自動化和 標準化,以協助專案不受限制地擴展。藉助 SageMaker,AWS 客戶正在執行具有數十億個參數的 數百萬個模型,並產生數千億個預測。

SageMaker 還提供一項端對端 ML 服務,這項服務可用於資料標記、資料準備、特徵工程、訓 練、託管、監控和工作流程處理。您的團隊可以在 Amazon SageMaker Studio 中使用單一的視覺 推論。與自我管理的 ML 環境相比,您的資料科學團隊生產力可提升高達 10 倍,而模型開發時間 則從數個月縮短為數週。所有 SageMaker 功能都由雲端中的低成本、高效能的全受管式基礎設施 p提供。

AWS 客戶正在使用 SageMaker 工具大規模擴展 (並節省成本):

• Vanguard 對其 ML 環境的設定實現完全自動化,現在的 ML 模型部署速度是原來的 20 倍
• AstraZeneca 將部署新 ML 環境的時間從一個月縮短到了五分鐘,從而能夠快速產生能夠協助 改進研發和加快新療法商業化速度的洞見
• NerdWallet 在將訓練成本降低近 75% 的同時,訓練的模型數量甚至還有所增加
• Zendesk 使用 SageMaker 多模型端點為每個端點部署數以千計的模型,從而將 ML 推論成本降低 90%
• Mueller Water Products 將誤報次數減少了一半,並最大化識別真泄漏事件的可能性
操作化還意味著我們需要提供更廣泛、更有深度的 AI 使用案例,包括智慧聯絡中心、智慧文件處 理、內容審核、個人化、智慧搜尋、詐騙預防、身分驗證、預測性維護、適用於 DevOps 的 AI、 健康 AI 和採用 ML 技術的 BI。AWS 為所有這些使用案例,以及更多其他使用案例提供服務。

負責任的 AI

負責任的 AI 是任何 AI 和 ML 專案的關鍵要素。負責任的 AI 包含一組核心概念,即公平性、可解 釋性、安全性、隱私權和管控,並透過透明地使用資料和模型來降低風險。負責任的 AI 可用於提 高模型效能、增強資料保護以及在 ML 系統實現偏差偵測和緩解機制,以提高公平性。

負責任的 AI 是整個 AI 和 ML 生命週期中不可或缺的一部分,從最初的設計和開發到部署,再到 最終的持續使用皆然。這是一個不斷重複的過程,需要對潛在的偏差和準確性進行持續的測試和 稽核。雖然大多數公司已經開始了負責任的 AI 之旅,但大多數公司 (94%) 難以實作負責任 AI 的 所有關鍵要素。2
「94% 的公司難以實作負責任 AI 的所有關鍵要素。」 Accenture,2022 年
那麼,組織如何將負責任的 AI 從理論轉化為實務呢? 他們首先教育下一代 ML 領導者,透過帶來 更多不同的觀點並提供資源來促進教育和培訓,從而提高公平性並減少偏見。負責任的 AI 還需要 科技公司、政策制定者、社群團體、科學家等多方面的共同努力,以應對出現的新挑戰,並分享 最佳實務和加速研究。

使用 AWS 建置更負責任、更具包容性的 AI

AWS 致力於開發公平、準確的 AI 和 ML 服務,並為客戶提供負責任地建置 AI 和ML 應用程式所需的工具和指導。

隨著您擴展對 AI 和 ML 技術的使用,您可以利用 AWS 資源在整個 AI 和 ML 生命 週期中實作負責任的 AI。AWS 服務可協助您更好地偵測資料集和模型中的偏差, 提供對模型預測的洞察,並透過自動化和人工監督更好地監控和檢閱模型預測。

您可以使用 AWS 專用服務來減少偏差並提高可解釋性。Amazon SageMaker Clarify 透過在資料準備期間、模型訓練之後和部署的模型中,檢查特定屬性來 偵測潛在偏差,協助您減少整個 ML 生命週期中存在的偏差。此外,SageMaker Clarify 提供對模型行為的更大可見性,在整體預測和單一預測層面都是如此,這 樣您就可以為利害關係人提供透明度,更深入地為人類決策提供資訊,並追蹤模 型的效能是否符合預期。監控對於維護高品質的 ML 模型和確保準確預測也很重 要。Amazon SageMaker Model Monitor 會自動偵測生產環境中部署的模型的不 準確預測並提醒您。

以下是協助實現更負責任 AI 的三個重要資源:

• The Responsible Use of Machine Learning guide (負責任地使用機器學習指 南) 提供了在 ML 生命週期的三個主要階段 (設計和開發、部署、持續使用), 負責任地開發和使用 ML 系統的考量和建議。閱讀指南 ›
• 與我們的 AWS Professional Services 團隊內的負責任 AI 專家合作,建立一種 涵蓋人員、程序和技術方面的營運方法,以最大化收益並將風險降至最低。 合作內容包括負責任 AI 原則的開發、部署和操作化。進一步了解 ›
• 就 ML 的最新發展進行持續教育是負責任使用的重要組成部分。AWS 透過 Machine Learning University (MLU)、培訓與認證計畫、AI & ML Scholarship 計畫 和 AWS Machine Learning Embark 計畫等計畫為您的學習 之旅提供最新的 ML 教育。

成功由此開始

超過 10 萬個客戶選擇了使用 AWS 來實作 AI 和 ML,以創造新的客戶體驗、優化業務、增強員工 的創造力、協助提高產品品質,以及實現諸多其他目標。這是因為無論您處於 AI 和 ML 之旅的哪 個階段,AWS 都能為您提供支援,為您提供不受限制地擴展所需的解決方案。
與 AWS 的專家交流
• AWS Professional Services 是一個全球性的專家團隊,可以協助您利用 AWS 雲端實現想要的業務成果
• Amazon ML Solutions Lab 提供一種無風險的環境,讓您可在其中識別和測試 ML 解決方案,並為您的組織考慮產生最佳 ROI 的機會 與 AWS 官方合作夥伴合作
• AWS 合作夥伴在協助 AWS 客戶加快採用 AWS 雲端方面具有獨特優勢 使用經過驗證的解決方案自行建置
• AWS AI 服務 讓您可以輕鬆地向應用程式新增智慧,而無需具備 ML 技能
• Amazon SageMaker 讓使用者能夠透過全受管基礎建設、工具、工作流程,為任一使用案例建置、訓練和部署 ML 模型
• AI 使用案例總管可協助您根據業務目標探索最熱門的 AI 使用案例、客戶案例和實作路徑
• AWS 解決方案程式庫提供由 AWS 和 AWS 合作夥伴為廣泛的使用案例建置的解決方案
• Amazon SageMaker JumpStart 為最常見的使用案例提供 SageMaker 解決方案
回覆文章