端側大語言模型原理與應用
原创 twt社区
【作者】李登昊，某金融單位人工智慧工程師，長期從事金融領域人工智慧服務落地應用工作，曾負責建置雲端自然語言處理模式服務系統，服務使用者超三十萬人；參與研發大模式智慧產品，對 大模型推理服務性能最佳化及RAG、Agent等技術有深入研究。
一、引言
隨著大語言模式的快速發展，不同場景對大語言模式的需求差異日益顯現。 特別是對手機、PC以及汽車等終端智慧系統來說，出於對輕量敏捷、安全穩定和成本等方面的考慮，傳統的雲端大語言模型服務並不能完全滿足需求。 因此，端側大模型在這些領域的熱度日益提升，逐漸成為新的產業趨勢。 本文旨在透過介紹端側大語言模型的發展現狀、關鍵技術和應用場景，幫助讀者了解端側大語言模型的技術路線和發展趨勢。
二、端側大語言模型概述
2.1 大語言模型概述
大語言模型（Large Language Model，LLM）是一種人工智慧模型，旨在理解和產生自然語言。 基於深度神經網路的自然語言模型架構演進經歷了早期的循環神經網路（Recurrent Neural Networks，RNN）和長短期記憶（Long Short Term Memory，LSTM）時代，在Transformer架構出現後，其迅速成為語言模型的 主流架構。 在基於Transformer的架構中，早期以Google BERT為代表的Encoder-only架構在各項下游任務上表現優於Encoder-Decoder架構和Decoder-only架構。 而隨著算力的不斷發展，模型規模不斷提升，自然語言生成能力也迎來湧現時刻，以OpenAI GPT系列模型為代表的Decoder-only架構在近兩年成為大語言模型主流技術架構。 與傳統的語言模型相比，大語言模型的特點是規模龐大，包含數十億甚至上千億參數，在TB級別的大量文本資料上進行訓練，這使得它們掌握了自然語言中的複雜模式， 產生湧現能力，可執行包括文本總結、翻譯、分類等廣泛的任務。
在大語言模式發展的早期，其應用普遍以呼叫雲端部署的模型服務介面形式進行。 而隨著其在各類自然語言處理任務中應用範圍的擴展，面向雲端服務介面僅透過設計提示詞（Prompt）對介面進行包裝的模式逐漸無法滿足企業級應用對場景複雜度和響應時效性不斷 增長的要求。 因而端側大模型的受重視程度逐漸提升，AIPC、AI手機和AI車機等軟硬體結合的端側大模型落地應用案例如雨後春筍般發布，又進一步推動端側軟硬體技術的快速發展，形成 新時代的適用於大模型的摩爾定律。
2.2 軟硬體技術現狀
由於大語言模型龐大的體量，適用於傳統深度學習的通用軟硬體技術在性能方面遭遇了前所未有的挑戰。 因而多種軟硬體技術被提出，以優化大語言模型的訓練、微調和推理階段的速度和資源消耗，降低其研究和應用的門檻。
由於訓練所需的巨量算力資源，僅有少數企業和機構會選擇從頭訓練大模型，因而相關技術開源程度和通用程度低。 主流大模型訓練，算力硬體通常為Nvidia A100或更先進的H100和B100 GPU；而Nvidia Megatron和Microsoft Deepspeed為大模型訓練提供了整合先進最佳化技術的軟體支援。 在國內，華為昇騰910 NPU同樣支援大規模算力集群的建構與調度，被廣泛用於大語言模型的訓練；而國內GPGPU方向的領頭羊海光與多數企業的ASIC技術路線不同，推出的深 算二號DCU採用「類CUDA」通用平行運算架構，能夠較好地適應並適應國際主流商業運算軟體和人工智慧軟體，產品效能達到國內領先。
相較之下，利用LoRA等參數高效演算法，基於開源大模型底座進行微調所需算力接近傳統深度學習任務，因而得以在更多企業和機構中進行。 主流的深度學習框架如Meta Pytorch、Google TensorFlow和國內的華為昇思、百度飛槳、阿里MNN等都為大模型的微調技術提供了開箱即用的支援。
但對於端側而言，軟硬體技術的核心目標在於為使用者提供大語言模型推理服務，訓練與微調並非端側需要考慮的任務。 在推理方面，Intel在進一步提升CPU產品對大模型的支援的同時，推出NPU（Neural Processing Unit）與原有CPU和整合GPU有機結合來應對AIPC時代的到來，Nvidia在牢牢把控雲端算力 先進地位的同時，也推出了在消費級GPU上的大模型應用。 而在AI手機、AI車機方面，高通、聯發科等頭公司也與手機、汽車廠商共同發表原生支援大模型能力的新產品。 國內以華為代表的端側技術供應商也緊跟國際先進企業步伐，在新一代產品中為用戶帶來大模型能力。
開發者，Intel BigDL和OpenVINO提供了在AIPC上運行大模型的完整框架；MLC（Machine Learning… Continue reading
思科認證300-710考試詳情指南
思科認證300-710考試詳情指南
一、認證背景
300-710考試是思科專業認證的一部分，是一項專業認證，旨在驗證考生在網絡安全方面的專業知識和技術。該認證主要針對網絡工程師，系統工程師，網絡管理員等IT專業人士。在當今信息安全越來越受到重視的背景下，取得這個認證可以為網絡專業人士開啟更多的職業發展機會，證書的獲得能夠證明他們在網絡安全領域具有高級的專業技能。
二、考試內容
300-710考試的內容主要涵蓋以下幾個部分：
防火牆技術：這部分考試內容包括了解和配置思科的防火牆設備，管理和監控防火牆的運行等。這需要考生瞭解防火牆的工作原理，並熟悉思科的防火牆設備和管理軟體。
入侵防護系統：這部分考試內容包括了解和配置思科的入侵防護系統，管理和監控系統的運行等。這需要考生瞭解入侵防護系統的工作原理，並熟悉思科的入侵防護設備和管理軟體。
網絡安全策略：這部分考試內容包括設計和實施網絡安全策略，管理和評估策略的效果等。這需要考生能夠瞭解和應用各種網絡安全策略，並能夠評估策略的效果。
高級網絡安全技術：這部分考試內容包括VPN，安全協議，加密技術等高級網絡安全技術的理解和應用。這需要考生對這些技術有深入的理解，並能夠在實際環境中應用這些技術。
三、複習方法及重點
為了通過300-710考試，考生需要專注於以下幾個重點：
理解和應用防火牆技術：考生需要對思科的防火牆設備和技術有深入的理解，並能在實際環境中應用這些技術。這需要在實際的設備或模擬環境中進行大量的實踐。
掌握入侵防護系統：考生需要瞭解思科的入侵防護系統的工作原理，並能夠配置和管理這些系統。這需要在實際的設備或模擬環境中進行大量的實踐。
設計和實施網絡安全策略：考生需要能夠根據組織的需求設計和實施有效的網絡安全策略。這需要考生對網絡安全的最佳實踐有深入的理解，並能夠結合組織的具體情況制定合適的策略。
了解高級網絡安全技術：考生需要了解並能夠應用各種高級網絡安全技術，如VPN，安全協議，加密技術等。這需要考生對這些技術有深入的理解，並能夠在實際環境中應用這些技術。
四、官方考試費
考試的費用因地區和考試類型而異，具體的費用應在思科的官方網站上查詢。考試費用通常包括考試本身的費用和可能的註冊費。此外，考生還需要考慮到準備考試的其他成本，如購買參考書籍，參加培訓課程等。
五、考試時間
考試時間通常由思科公司決定，並會在考試公告中公布。考試時間可能會根據考試的難度和內容的範疇而變化。考生在考試前需要確認考試的具體時間，並確保在考試當天有充足的時間參加考試。
六、考試政策
思科公司有一套明確的考試政策，包括考試規則，考試程序，以及其他與考試相關的政策。考生在報名參加考試前需要仔細閱讀和理解這些政策，以確保他們在考試過程中能夠遵守這些規則，並避免出現任何問題。
七、考試中心和預約流程
考試通常在思科認證的考試中心進行。這些考試中心遍布全球，提供了一個安靜，舒適的環境，讓考生可以專心參加考試。要預約考試，考生需要先註冊一個帳號，然後選擇考試，選擇考試中心，並支付考試費用。在考試當天，考生需要帶上有效的身份證件，按時到達考試中心。
八、提供相似樣題
為了幫助考生更好地準備考試，思科在其官方網站上提供了一些考試樣題。這些樣題可以幫助考生了解考試的格式和題型，並可以用來測試和提高自己的知識和技能。考生可以利用這些樣題來評估自己的學習進度，並確定是否需要進一步的學習或實踐。
以上就是思科認證300-710考試的詳細資訊，希望這些資訊能夠幫助您更好的準備考試。無論您是剛剛開始您的IT職業生涯，還是已經在此領域工作多年，這個考試都是驗證您技術能力和知識的絕佳方式。另外，獲得這個認證將是您職業生涯的一個重要里程碑，它將證明您的專業技能，並可能為您帶來更多的職業發展機會。… Continue reading
比爾・蓋茲：AI 有風險，但是可控
为开发者服务的 21CTO
導讀：蓋茲最近的說法，AI存在著風險，但整體可控。
北美當地時間 7 月 11 日，比爾・蓋茲（Bill Gates）在個人部落格中發表了一篇文章，他闡述了對當下人工智慧發展的一些看法。
比爾・蓋茲：AI 有風險，但是可控
图片来源：gatesnotes 站点
這篇部落格文章題為《AI 確實存在風險，但是可控》，蓋茲在其中提到了當前 AI 具有五大風險。
概要如下：
AI 產生的錯誤訊息、深度偽造訊息，可能被用來欺騙民眾；
AI 可以自動檢索電腦系統中的漏洞，這大大增加網路攻擊的風險；
AI 可能會搶走人們的工作；
AI 系統會編造訊息，並表現出偏見；
使用 AI 工具可能意味著學生無法學習基本技能，如論文寫作，同時也擴大教育成就差距。
比爾・蓋茲也強調說，這並不是新技術首次導致人力資源市場發生巨變，AI 帶來的影響雖不及工業革命那般巨大，但肯定比得上 PC 問世所帶來的影響。
同時，比爾・蓋茨指出，“我們有更多理由樂觀地認為，人類可在處理 AI 風險時，最大限度地發揮自身優勢，但我們需要快速行動”，他提出如下幾點建議：
各國政府需累積 AI 的知識，以便推出應對 AI 的相關法律法規，如法律需明確哪些使用「深度偽造」的情形是合法的或違法的。
私人 AI 企業需保障自身能夠安全、負責地開展工作，包括保護隱私、確保 AI 模型符合人類價值觀、最大限度減少偏見、使技術盡可能受惠於大眾且防止被犯罪分子利用。
最後，比爾蓋茲鼓勵大家盡可能關注… Continue reading
防火牆術語
防火牆術語
01 網關
在兩個設備之間提供轉發服務的系統。
網關是互聯網應用程式在兩台主機之間處理流量的防火牆。
這個術語是非常常見的。
02 DMZ非軍事化區
為了配置管理方便，內部網路中需要向外提供服務的伺服器往往放在一個單獨的網段，這個網段便是非軍事化區。
防火牆一般配備三塊網卡，配置時一般分別分別連接內部網，Internet和DMZ。
網路中的資料由一個個資料包組成，防火牆對每個資料包的處理要耗費資源。
吞吐量是指在不丟包的情況下單位時間內通過防火牆的資料包數量。 這是測量防火牆性能的重要指標。
04 最大連線數
和吞吐量一樣，數字越大越好。
但是最大連線數更貼近實際網路情況，網路中大多數連線是指所建立的一個虛擬通道。
防火牆對每個連線的處理也好耗費資源，因此最大連線數成為考驗防火牆這方面能力的指標。
封包轉送率：是指在所有安全規則配置正確的情況下，防火牆對資料流量的處理速度。
05 SSL
SSL（Secure Sockets Layer）是由 Netscape 公司開發的一套Internet 資料安全協定。
它已被廣泛地用於網頁瀏覽器與伺服器之間的身份認證和加密資料傳輸SSL協定位於TCP/IP 協定與各種應用層協定之間，為資料通訊提供安全支援。
06 網路位址轉換
網路位址轉換（NAT）是一種將一個IP位址域對應到另一個IP 位址域技術，從而為終端主機提供透明路由。
NAT包括靜態網路位址轉換、動態網路位址轉換、網路位址及連接埠轉換、動態網路位址及連接埠轉換、連接埠對映等。
NAT常用於私有位址域與公用位址域的轉換以解決IP位址匱乏問題。
在防火牆上實現NAT後，可以隱藏受保護網路的內部拓樸結構，在一定程度上提高網路的安全性。
如果反向NAT提供動態網路位址及連接埠轉換功能，還可實現負載平衡等功能。
07 堡壘主機
一種被強化的可以防禦進攻的計算機，被暴露於因特網之上，作為進入內部網絡的一個檢查點，以達到把整個網絡的安全問題集中在某個主機上解決，從而省時省力，不用考慮 其它主機的安全的目的。
05.硬體防火牆和軟體… Continue reading
企業傳統資料庫遷移到國產或開源資料庫的六個重要階段
韩锋频道 twt企业IT社区
【導讀】越來越多的企業正面臨將傳統資料庫遷移到開源或新型商業產品上，本文整理了在此過程中，困擾企業的一些常見問題，結合整個遷移過程中的六個階段進行說明， 這是一篇優秀的實用文章。 希望對讀者在資料庫選用及評估資料庫遷移風險等方面有所啟發。
【作者】韓鋒，CCIA（中國電腦協會）常務理事，前Oracle ACE，騰訊TVP，阿里雲MVP，dbaplus等多家社群創辦人或專家團成員。 有著豐富的一線資料庫架構、軟體研發、產品設計、團隊管理經驗。 曾擔任多家公司首席DBA、資料庫架構師等職。 在雲端、電商、金融、網際網路等產業均有涉獵，精通多種關聯式資料庫，對NoSQL及大數據相關技術也有涉獵，實務經驗豐富。 曾著有資料庫相關著作《SQL優化最佳實務》、《資料庫高效優化》。
隨著近年來資料庫的變化，正有越來越多的企業面臨將傳統資料庫遷移到開源或新型商業產品。 在這過程中，會面臨諸多問題。 這裡就將常見的一些問題整理出來，希望能夠在資料庫選型及評估資料庫遷移風險等方面有所幫助。 為了描述清晰，我將整個遷移過程劃分為幾個階段，其中橙色標識工作為資料庫團隊來支援。 以下將就每個階段，詳細展開說明。
1. 階段：遷移準備
1) . 遷移規劃
在進行遷移之初，首先要對遷移工作做個整體規劃，並制定好對應的原則方針。 例如明確遷移範圍、遷移方式、是否可停機、窗口期等等。 這些資訊是作為後續遷移的指導原則，遷移方案的發展很多需依靠這項規劃。 要避免出現快要遷移，發現預期不符合要求的狀況，提前做好必要的規劃。 此外，除技術因素外，其他如組織、管理、資源等，也在此階段一併考慮。 遷移是個很複雜的過程，涉及的各個面向很多，盡量在專案之初就有個全面的掌握。
2) . 業務梳理
要完成資料庫遷移，上層的業務系統也是需要考慮的，甚至在某種程度講，配套的應用遷移更加重要，在後續的遷移過程中佔比也更高、難度也更大。 因此，在遷移準備階段，就對涉及的業務有個全面的梳理非常有必要。 這裡需要梳理的訊息，非常廣泛。 包括但不限於對業務系統涉及的軟硬體環境、與資料庫互動、業務系統間呼叫關係等。 後續在做應用系統改造規劃中，上述資訊非常重要，其有助於評估工作困難、工作量等。 這裡舉個例子，某系統之前使用Oracle，開發採用C語言，在遷移到某國產庫時發現，資料庫不支援C driver，好不尷尬。
3) . 方案選型
在做好業務整理後，就是資料庫選型。 這過程也是遷移準備階段比較耗時的工作。 如何從眾多的資料庫產品中選擇一款符合自己要求的，要考慮的因素很多。 比較建議的做法，是在公司內部之前就制定出推薦的方案矩陣，根據對資料庫能力需求、系統重要程度等，制定一個產品選型矩陣。 如果前期有這個基礎，就比較簡單，只要按圖索驥即可。 如果沒有的話，需要從頭完成一連串的工作，包括初步研究、技術評估、資料庫評測（功能、非功能、業務等）、適配性評估等。 這裡強調一個原則就是盡量在方案選型中保持最大的自由度，也就是不綁定單一廠商，隨時保持可替換能力。 因此在方案選用中，不能本著業務少改造、遷移最簡單、成本最低的方案，而是應選擇長期可替代的原則。 建議的做法是選擇相容通用協定的產品，盡量弱化資料庫端能力，選擇使用標準資料庫功能的產品最好。
4) . 技術培訓… Continue reading
1Y0-204: Citrix Virtual Apps and Desktops 7 Administration Exam Preparation Guide 3.0
本考試準備指南旨在為考生提供
有關 1Y0-204 考試的必要信息，包括
研究資源和解釋考試目標的方法
更好地幫助考生評估問題類型
考試時可能會被問到。 請注意，
本指南的內容絕對不能確保通過考試的分數
認證考試。
考試概述
1Y0-204 考試是用英文寫的 65 題考試。
免責聲明：本次考試的某些項目不會計分，因此不會以任何方式影響您的最終結果。 本考試所包含的不計分項目僅用於研究目的。
及格分數：本次考試的及格分數為62%。
時限
以英語為母語的人 90 分鐘
非英語母語人士在英語為外語的國家參加考試：90分鐘+30分鐘（延長時間）
自動授予時間延長
在英語不是外語的國家參加考試的非英語母語人士：
90分鐘+30分鐘（延長時間）
必須向 Citrix 請求延長時間。 在此提交您的請求：
時間延長請求
目標受眾
1Y0-204 考試面向負責安裝、配置和管理的 IT 專業人員
在本機或 Citrix 中管理 Citrix Virtual Apps and Desktops 7
雲。 安裝、設定和管理此類解決方案的人員可能會持有
各種職稱，例如：
• 系統管理員/Citrix 管理員
• 桌面管理員
• 應用程式管理員
註冊及管理
該考試在全球 Pearson VUE 考試中心進行。
要了解有關考試規則和流程的更多信息，請訪問
https://www.citrix.com/training-and-certifications.html。
在全球範圍內，請造訪 Pearson VUE 網站 (http://home.pearsonvue.com/citrix)
找到您所在地區的考試中心並註冊考試或參加考試
在家或辦公室進行考試（線上遠距監考）。… Continue reading
Linux維運工程師 50個常見面試題
原文链接：https://mp.weixin.qq.com/s/Yuh_ei37DspfDuiiSgmi5A
1.請簡述OSI七層網路模型有哪些層及各自的意義?
實體層：底層資料傳輸，例如網路線、網路卡標準
資料鏈路層：定義資料的基本格式，如何傳輸，如何識別。 例如網卡MAC位址
網路層：定義IP編碼，定義路由功能，例如不同設備的資料轉發
傳輸層：端對端傳輸資料的基本功能，如TCP、UDP
會話層：控制應用程式之間會話能力，例如不同軟體資料分發給不停軟體
表示層：資料格式標識，基本壓縮加密功能。
應用層：各種應用軟體，包括 Web 應用。
2.在Linux的LVM分割區格式下，請簡述給根分割區磁碟擴容的步驟?
這個分3種
第一種方法:
growpart /dev/vda 1
resize2fs /dev/vda1
第二种方法:
partpeobe /dev/sda
resize2fs /dev/vda1
第三种方法:
fdisk /dev/sdb # n p 1 1 回车 回车 t 8e w
pvcreate /dev/sdb1
vgextend datavg /dev/sdb1
lvextend -r -L +100%free /dev/mapper/datavg-lv01
3.講述Tomcat8005、8009、8080三個端口的含義？
8005 關閉時使用
8009為AJP端口，即容器使用，如Apache能透過AJP協定存取Tomcat的8009端口來實現功能
8080 一般應用使用
4.簡述DNS進行域名解析的過程？
迭代查詢（返回最優結果）、遞迴查詢（本地找DNS）用戶要訪問www.baidu.com，會先找本機的host文件，再找本地設定的DNS伺服器，如果也沒有找到，就去網絡 中找根伺服器，根伺服器回饋結果，說只能提供一級網域名稱伺服器.cn，就去找一級網域名稱伺服器，一級網域伺服器說只能提供二級網域伺服器.com.cn,就去找二 級網域名稱伺服器，二級網域伺服器只能提供三級網域伺服器.baidu.com.cn，就去找三級網域伺服器，三級網域伺服器剛好有這個網站www.baidu.com，然後發給要求的伺服器 ，儲存一份之後，再發給客戶端。
5.講一下Keepalived的工作原理？
在一個虛擬路由器中，只有作為MASTER的VRRP(虛擬路由冗餘協定)路由器會一直發送VRRP通告訊息，BACKUP不會搶佔MASTER，除非它的優先權更高。 當MASTER無法使用時(BACKUP收不到通告資訊)多台BACKUP中優先順序最高的這台會被搶佔為MASTER。 這種搶佔是非常快速的( task (line)—> zombie… Continue reading
Nginx 新分叉 FreeNginx
Warning: Division by zero in /var/www/html/wwwroot/itrenzheng.hk/wp-content/themes/code-blue_20/functions.php on line 16
Warning: Division by zero in /var/www/html/wwwroot/itrenzheng.hk/wp-content/themes/code-blue_20/functions.php on line 16
Warning: Division by zero in /var/www/html/wwwroot/itrenzheng.hk/wp-content/themes/code-blue_20/functions.php on line 16
为开发者服务的 21CTO
俄羅斯開發者 Maxim Dounin 最近宣布了 Nginx Web 伺服器和快取代理的新分支，旨在擺脫所有者 F5 公司的控制。
美國西雅圖網路供應商 F5於 2019 年以 6.7 億美元收購了俄羅斯Web伺服器 Nginx。
F5最近發布了一些公告，例如最新披露的 CVE-2024-24989，表示Ngin和關聯軟體在HTTP/3的漏洞，得到了核心開發人員的認可，但是Maxim Dounin在口頭上直接不同意。 結果，他宣布了一個名為FreeNginx的新分支。
freenginx.org的目標是使nginx開發不受任意公司行為的影響。
https://www.freenginx.org
Maxim Dounin 是開源 Nginx 專案最早且仍然最活躍的程式設計師之一，也是 Nginx, Inc. 的首批員工之一。
Maxim Dounin 這樣解釋：
「F5 迫使開發人員針對實驗性HTTP/3 程式碼中的錯誤發布安全版本，事實上這些問題預計會根據現有專案安全政策，應該作為普通錯誤進行處理，並且所有開發人員本質上都同意才可。 F5 忽視了專案政策和共同開發者的立場，沒有進行任何的討論。”
Nginx 是近年來俄羅斯出現的最引人注目的軟體之一。 2013 年後其業務蓬勃發展，第二年又獲得了大量投資資金。
F5公司的收購並非一帆風順。… Continue reading
Linux Professional Institute LPIC-1
全球最大、最受認可的 Linux 認證
LPIC-1 是 Linux Professional Institute (LPI) 多層 Linux 專業認證計畫中的第一個認證。 LPIC-1 將驗證候選人在命令列上執行維護任務、安裝和配置運行 Linux 的電腦以及配置基本網路的能力。
LPIC-1 旨在反映目前研究並驗證候選人在現實世界系統管理方面的熟練程度。 這些目標與現實世界的工作技能相關，這是我們在考試開發過程中透過工作任務分析調查確定的。
目前版本：5.0（考試代碼 101-500 和 102-500）
先決條件：此認證沒有任何先決條件。
要求：通過101和102考試。 每場考試時間為 90 分鐘，包括 60 道選擇題和填空題。
有效期限：5年，除非重考或達到更高水準。
費用：按此處了解您所在國家/地區的考試定價。
VUE 考試中心提供的考試語言：英文、德文、日文、葡萄牙文（巴西）、中文（簡體）、中文（繁體）、西班牙文（現代）
透過 OnVUE 線上提供考試語言：英語、德語、日語、葡萄牙語（巴西）、西班牙語
要獲得 LPIC-1 認證，候選人必須能夠：
了解Linux系統的架構；
安裝和維護 Linux 工作站，包括 X11 並將其設定為網路用戶端；
在Linux命令列上工作，包括常見的GNU和Unix命令；
處理文件和存取權限以及系統安全； 和
執行簡單的維護任務：幫助使用者、將使用者新增至更大的系統、備份和復原、關機和重新啟動。… Continue reading
2024年的AI風險管理：您應該知道的幾件事
Warning: Division by zero in /var/www/html/wwwroot/itrenzheng.hk/wp-content/themes/code-blue_20/functions.php on line 16
Warning: Division by zero in /var/www/html/wwwroot/itrenzheng.hk/wp-content/themes/code-blue_20/functions.php on line 16
Warning: Division by zero in /var/www/html/wwwroot/itrenzheng.hk/wp-content/themes/code-blue_20/functions.php on line 16
Shanika Splunk大数据
生成式AI技術（如GPT-3 和 DALL·E）的不斷進步，帶動了AI技術在全球的快速採用。 對許多企業來說，應用AI技術的目的是在市場競爭中獲得優勢，但有時他們忽略了AI帶來的風險因素，而這些風險很有可能會影響到個人、組織以及更廣泛的生態系統。
我們將透過本文向您介紹AI風險管理這一概念。 我們將帶您了解與AI系統相關的技術性風險和非技術性風險。 同時，我們也將向您展示如何借助美國國家標準與技術研究院（NIST）制定的《人工智慧風險管理框架》來開發AI風險管理方案，創建負責任的AI系統。
在文章的最後，我們將討論組織在管理AI風險方面將不得不面對的主要挑戰。
什麼是AI風險管理
對AI技術越來越多的應用，將為組織帶來許多技術性風險和非技術性風險。 作為風險管理領域的分支學科，AI風險管理主要聚焦於組織在部署和應用人工智慧技術流程中對風險進行的識別、評估和管理等工作。
這個過程包括制定策略來應對這些風險，確保對AI系統的使用是負責任的，保護組織、客戶、員工免受AI專案的負面影響。
為了實現更有效率的風險管理，人們引入了多個AI風險管理框架，例如，美國國家標準與技術研究院（NIST）制定的《人工智慧風險管理框架》, 可透過結構化的方法來評估和消除 AI風險，其中包括AI使用指南和AI最佳實踐。
與AI相關的風險
談到AI風險管理，最重要的是要清楚AI使用過程中的技術性風險和非技術性風險。
01.技術性風險
以下即為常見的AI技術性風險：
資料隱私風險。 AI模型，特別是經過大型資料集訓練的模型，可能會含有敏感的個人訊息，如個人識別資訊 (Personally Identifiable Information, PII)。 這些系統可能會在不經意間記住並顯示這些敏感信息，導致個人隱私洩露，違反資料保護條例（如GDPR）的合規要求。
AI模型的偏見。 有時候，用來訓練AI模型的資料可能會帶有偏見，導致AI模型產生不準確且帶有一定歧視色彩的結果。 舉例如下：
在招募事件中存在偏見，導致只僱用特定人選（或特定族群）
在金融借貸領域的偏見，會導致只面向特定族群開放
結果不準確。 如果接受訓練的AI模型精準度較低，那麼產生的結果準確度也會比較低。 甚至有些模型無法提供及時的訊息，導致公司或員工做出錯誤決策。
過擬合。 當AI模型過度使用訓練資料時，就會發生這樣的現象。 一旦使用新數據，則其效能降低。 這種現象會影響結果的可靠性和準確性。
02.非技術性風險
現在我們來看看AI技術所帶來的非技術性風險：
道德和社會風險。 在辦公室使用AI會引起道德層面的擔心，例如，可能會導致裁員，產生的某些數據會涉及種族問題，甚至會出現未經他人同意便收集數據的情況。
失去對企業的信任。 有些AI系統會產生有害的或帶有偏見的結果，這會損害企業的聲譽。 企業員工和內部利害關係人會失去對AI系統的信任，客戶會對企業失去信任，長遠角度來看，會影響企業的營收。
監管風險。… Continue reading