2023年ChatGPT迅速滲透全球,5天就達成百萬訂閱數,2個月就坐擁破億的用戶數,過去的Meta(前身Facebook)則是花費了4.5年的時間才達到破億用戶訂閱。ChatGPT帶起生成式AI的熱潮,2023年話題多圍繞AI伺服器、AI加速晶片及GPU。然市場逐漸將目光轉向終端消費市場,如手機、PC、穿戴裝置等。其中市場熱議的AI PC是什麼呢?
隨著微軟Microsoft 365 Copilot正式導入Windows PC,引發AI PC備受關注(可在PC端執行AI運算的PC簡稱為AI PC)。由於Microsoft 365 Copilot是基於大型語言模型GPT-4所開發,其背後的參數規模十分龐大,故需要整合終端及雲端運算的交互協作。Microsoft 365 Copilot的推出,體現出PC終端運算大型語言模型的潛力。
Microsoft 365 Copilot是搭載於PC上的生成式AI助理,提供軟體整合及跨平台的服務,以提升使用者工作效率。此外,微軟與PC廠商合作,並表示2025年搭載於PC上的Microsoft 365 Copilot門檻要求為40TOPS。目前高通已達微軟標準。推估英特爾、AMD及蘋果在2025年推出的新款PC處理器將能達到40TOPS。
根據RockChen觀察,AI PC所提供的運算能力,主要來自PC處理器的異質運算技術及NPU。英特爾Meteor lake、AMD Phoenix、Apple M3及高通Snapdragon X Elite等PC處理器都有採用異質運算技術,整合NPU、CPU及GPU等不同類型的處理單元,來提高PC處理器的運算能力。
目前,英特爾、超微半導體、蘋果及高通等業者,已將神經網絡處理器(NPU)作為自家PC處理器中的標配,並藉由NPU來分擔CPU及GPU在生成式AI任務上的工作負載(workload)。
2023年搭載NPU的PC處理器

PC是生成式AI的重點平台-將導入Copilot的應用
OpenAI公司所開發的生成式AI(Generative AI)文字對話產品ChatGPT在2023年備受矚目。市場也開始討論生成式AI落地在終端平台,目前的終端平台有手機、PC、智慧型語音助理、穿戴裝置、汽車及工業電腦等。然隨著微軟Microsoft 365 Copilot正式導入Windows PC,並且受到諸多企業採用,如台積電、聯發科及光寶科等。同時PC又是企業最主要的生產力工具,故預期PC是生成式AI的重點平台。
Microsoft 365 Copilot主要是基於GPT-4大型語言模型(large language model,LLM)所推出的服務,LLM是其中一種生成式AI應用。生成式AI與傳統判別式AI不同,傳統判別式AI(Discriminative AI)是依據所輸入的數據資料找出規則建立模型,在利用模型來產生數值及決策結果;生成式AI是具有判讀語言與文字的能力,其輸入與回應皆不限於文字型態,可根據輸入內容及語意要求得到合適的解答,解答型式則可包括文句、圖像、影片、聲音等結構化或非結構化訊息。
LLM是具備判斷人類語言文字的AI技術,專門設計用於理解和生成人類語言,讓使用者可用自然語言對LLM輸入需求來完成任務。LLM泛指參數量在數十億到數千億以上的深度學習模型,為一種自然語言處理(Natural language processing;NLP)技術,主要是利用轉換器(Transformer)模型來運行。LLM特色是能夠識別複雜的語境、情感和語言的細微差異,它們擅長處理和理解長篇文本的上下文含義,並能夠透過對語義的理解作出適當的回應。LLM在創意寫作、文章生成等領域有著廣泛的應用。
Microsoft 365 Copilot提供軟體串接及跨平台的服務
微軟Copilot所推出的五種應用服務

Microsoft 365 Copilot最大的特色是整合了Microsoft 365,使用者可藉由語音輸入需求,接著Microsoft線上語音服務(Microsoft Speech Services)會將語音輸入轉換成文字,並提交給Microsoft 365 Copilot來執行任務。此外,Microsoft 365 Copilot也提供跨軟體平台服務,能在 Outlook、Word、Excel、PowerPoint及Teams等生產力工具間共同協作,減少使用者在軟體間切換所耗費的時間,藉此提高工作效率。而GPT-4為OpenAI公司大型語言模型系列中的最新版本,屬於基於轉換器的生成式預訓練模型(Generative Pre-trained Transformer, GPT)系列。
Microsoft 365 Copilot將可提升Microsoft 365使用者的工作效率。以Word結合Microsoft 365 Copilot為例,使用者可直接透過文字或語音對Microsoft 365 Copilot下達指令,Microsoft 365 Copilot便會依照使用者要求的內容及架構來撰寫出各種風格的文案、企劃書及演講稿。此外,Microsoft 365 Copilot也能串接在各Microsoft 365軟體間,以PowerPoint和Word的串接為例,使用者僅需給Microsoft 365 Copilot指令並提供Word文檔,Microsoft 365 Copilot就能直接生成符合使用者需求的簡報,有效減少簡報製作時間。而微軟於2023年11月正式將Microsoft 365 Copilot訂閱制服務導入Windows平台推出,提供企業使用。
此外,微軟藉由Microsoft Ignite大會,展示4種基於Microsoft 365 Copilot的新應用服務,其一、針對大多數使用者,Microsoft 365 Chat能跨足各個Microsoft 365軟體,當使用者需要查找資料、製作簡報、創作文案、撰寫信件時,不需要在不同的軟體間進行切換,只要以文字或語音對Microsoft 365 Chat輸入需求,Microsoft 365 Chat將會依照使用者所給的內容提示來生成結果。而Microsoft 365 Chat整合了Microsoft 365、Bing及Teams等軟體服務。
其二、「Security Copilot」針對企業的資安人員所開發的服務,可識別企業所受到的惡意攻擊,並提供補救措施給資安人員。資安人員僅需對Security Copilot提問或上傳檔案,它就能填補漏洞,提供企業應對措施,並以「圖示化」的方式整理流程,回傳給資安人員來採取防護策略,進而提升企業資料的安全性。而Security Copilot 的核心技術來自於微軟2021年收購的資安公司 RiskIQ 以及2022年收購的網路威脅分析公司 Miburo。微軟進一步將這些技術與旗下的資安軟體,包括Sentinel 和Defender,進行整合,來建構完整的資安解決方案。
其三、針對企業客戶管理,Copilot for Service會整合客戶關係管理(CRM)系統的內容,並生成出符合客戶需求的答案。在實務應用上以保險業務員為例,當業務員面對客戶需求時,Copilot for Service會整合CRM資料,並依據客戶屬性及背景來歸納出適合客戶的保險配置,提供業務員作為客戶商品推薦上的參考建議。Copilot for Service整合了ServiceNow、Salesforce及Zendesk等客戶關係管理軟體。
其四、針對企業的開發團隊,Copilot Studio為一種低程式碼工具,僅提供給Copilot企業用戶使用,它能簡化複雜的程式碼,減輕開發團隊間的技術落差,使團隊間的合作更加緊密。除此之外,企業也可將Copilot微調成符合特定需求的AI助理。Copilot Studio整合了Power Automate及Power Fx等軟體。
RockChen認為,Microsoft 365 Copilot結合諸多軟體服務,同時提供跨軟體平台特性,讓使用者能統一在Copilot平台輸入需求並完成指定任務,藉此提升工作效率。然基於GPT-4所推出的Microsoft 365 Copilot其背後參數規模十分龐大,無法單憑PC終端運算來執行,故Microsoft 365 Copilot的AI服務仍需仰賴雲端及終端運算來交互協作。
近期業者推出在PC端運作大型語言模型的方案,以壓縮並減少LLM的參數規模是一種解方。微軟2023年11月推出的Orca 2即為一種經由壓縮而減少參數規模的小型LLM。
LLM縮小成70億至130億參數規模 為PC終端運算的一種解方
微軟2023年11月發布Orca 2 -13B(13B指的是130億參數規模的語言模型)顯示,小型LLM也能具備優秀的AI推論能力。同時象徵小型LLM未來在終端裝置(例如PC)上的應用潛力。而隨著雲端及邊緣運算的相互配合,也會加速小型LLM導入PC的過程。
根據英特爾(Intel)、超微半導體(AMD)、高通(Qualcomm)、聯發科及各大PC品牌業者的論點進行歸納,RockChen認為,將千億規模的語言模型縮小成70億至130億,是部署在PC裝置上相對合適的範圍。由於大型語言的訓練費用十分昂貴,根據2020年7月OpenAI發布的「Language Models are Few-Shot Learners」報告顯示,參數規模1750億的GPT-3所需的訓練費用超過1200萬美元。另外,根據2020年8月Or Sharir、Barak Peleg及Yoav Shoham3名學者發布的「THE COST OF TRAINING NLP MODELS」報告指出,參數規模介於1.1億到15億的語言模型花費最高不會超過160萬美元。從上述兩則報告的訓練費用得知,縮小語言模型的參數規模,不僅有利於終端裝置的導入,在訓練成本上也會有所降低。
目前的小型LLM,主要是基於Meta-Llama、Google-PaLM2及OpenAI-GPT4這三種大型語言模型而來。其中,基於Meta-Llama推出的小型LLM數量為最多。關於小型LLM的進展,可從學術端及企業端這兩大族群來介紹。藉此可了解目前小型LLM發展情形以及未來終端裝置上適合運行的模型參數量。
從學術端發展來看,2023年3月,以較具指標性的史丹佛大學為例,史丹佛大學對開源的LLAMA進行再訓練,推出Alpaca 7B語言模型。同年4月,史丹佛大學、CMU及加州大學柏克萊分校等在內的幾間美國頂尖學術機構,共同構建一款開源的較少參數的語言模型Vicuna-13B。而Vicuna-13B訓練費用僅花費300美元,與GPT-3的訓練費用有顯著差異。由此可見,縮減LLM參數規模有助於降低訓練成本。
從企業端發展來看,以Google及Meta的LLM為例。Google基於PaLM 2模型推出了4種規模的小型LLM,分別為,Unicorn、Bison、Otter、Gecko,其中,規模最小的模型Gecko,參數量僅2.5億。而Google在2023年度大會上,展示出Gecko能在不連網的情況下,於終端裝置運算的潛力。另一方面,基於Meta LLAMA 2模型所推出的小參數規模語言模型,分別有微軟Orca 2 -13B、Meta Code Llama-7B、Mistral AI公司Mistral -7B等。
其中,以微軟Orca 2 -13B來舉例,根據微軟2023年11月發布Orca 2的技術文件內容「Teaching Small Language Models How to Reason」顯示,Orca 2 -13B的AI推論能力是根據15個基準項目來測試,這些基準項目涵蓋100項任務及36,000個特別的測試案例,內容包含推理能力(Reasoning Capabilities)及知識語言理解(Knowledge and Language Understanding)等,其測驗內容如下:
- 推理能力(Reasoning Capabilities)
採用了AGIEval、RACE、BBH及GSM8K等測驗,來判斷Orca 2 -13B推理能力。其一,AGIEval是衡量模型在人類標準化測驗中的表現。標準化測驗內容包括研究生入學考試(GRE)、研究生管理科學入學考試(GMAT)及學術能力測驗(SAT)及法律專業考試(LSTA)等。其二,RACE是用來評估模型在面對特定年齡階段問題的回答表現,問題內容來自12至18歲中國學生的英語考試閱讀題庫。其三,BBH是衡量模型在多步驟推理及複雜思維的能力,BBH的題庫是從BIG-Bench裡,所挑選出最困難的23道題目。最後,GSM8K是評量模型在小學數學推理能力的測驗。
- 知識和語言理解(Knowledge and Language Understanding)
採用了MMLU及ARC的測驗,來判斷Orca 2 -13B對知識和語言理解的能力。其一,MMLU是大規模多任務語言理解,主要衡量模型在語言認知、知識和推理能力上的表現,內容涵蓋了數學、物理、法律及醫學等57個項目。其二,ARC是A12推理挑戰(AI2 Reasoning Challenge)簡稱,主要評估模型對科學問題的理解及回答能力,其測驗內容來自三年級到九年級科學考試的多項選擇題。而ARC題庫又區分為簡單ARC-E(Easy)及具挑戰的ARC-C(Challenge)。
接著,微軟技術文件中挑選Llama 2 Chat- (13B & 70B)及WizardLM (13B & 70B)為Orca 2 –13B的比較對象。Llama 2 Chat -13B是Llama 2 Chat -70B縮減參數規模後的版本,而WizardLM -13B是WizardLM -70B減少參數規模後的版本。
微軟小型LLM-Orca 2與其它LLM模型的效能比較

從上表綜合測試結果得知,Orca 2 -13B在推論能力、知識語言理解上比相同大小的模型(Llama 2 Chat -13B及WizardLM -13B)更好,甚至在整體平均表現上,還優於規模大5倍以上的Llama 2 Chat-70B及WizardlM-70B語言模型。
從微軟Orca 2 -13B成果,顯示出基於Llama 2開發的小型LLM所具備的發展潛力。而未來AI PC發展關鍵會著重在獨立運作小型LLM的能力上,這也將會加速小型LLM導入PC的過程。
為此,處理器業者也針對AI PC進行開發。而當今CPU已經處理許多運算,在執行AI推論的處理速度、平行運算及能耗上難有表現,因此需要一顆專門負責加速AI推論的神經網絡處理器。而目前在英特爾(Intel)、AMD、蘋果(Apple)及高通的最新處理器上都具備有神經網絡處理器。
搭載NPU的AI PC,運算能力40TOPS為標準
可在PC端執行AI運算的PC(以下稱為AI PC),AI PC與一般PC的關鍵差異,包括了神經網絡處理器及記憶體規格。其中,神經網絡處理器(Neural Process Unit;NPU)在AI PC上扮演著最為重要的角色。NPU是專為AI應用所設計的晶片,能輔助CPU加速AI推論。當電腦長時間在執行生成式AI任務時,NPU可以減輕CPU或GPU的部分負載,使電腦較不會出現過熱或電池耗盡的狀況,使系統能以更省電的方式執行AI任務。目前的處理器廠商中,已搭載NPU在內的廠商有,英特爾、AMD、蘋果及高通四家公司。
NPU分擔CPU及GPU工作負載及加速AI推論
目前內建NPU的新處理器平台,包括英特爾的Meteor Lake、AMD Ryzen 7040、Apple M3及高通Snapdragon X Elite。RockChen觀察四家電腦處理器業者,英特爾、超微半導體、高通及蘋果。並將四家新款電腦處理器的特色分述如下。
英特爾新處理器Meteor Lake首次採用SoC tile技術 並整合NPU於其中
英特爾於2023年9月發布第14代Core處理器-Meteor Lake,首次採用SoC tile,並將NPU整合在內,使電腦能具備更省電及效能平衡的運作型態。
根據2023年9月英特爾大會的公布的資訊,Meteor Lake處理器在執行AI繪圖生成模型-Stable Diffusion 1.5時,若僅依賴GPU運作,需耗時14.5秒且功耗為37W;但若加上NPU共同運作,耗時則縮短至11.3秒,且功耗降至30W。藉此英特爾表示透過NPU的共同協作,能有效降低GPU在AI運算上的負載。
另外,NPU與過去英特爾的AI加速器GNA相比,英特爾的NPU具備低功耗及省電的特性,能高效處理電腦視覺(Computer vision)的AI任務。例如,在視訊會議影音最佳化這類的應用,就需要長時間執行AI應用程式,同時又能在低耗電量的情況下持續提供AI功能。根據英特爾提供的數據,近2年使用者對視訊會議的噪音消除與背景特效處理的需求分別成長50倍與10倍。隨著遠端工作和線上會議成為新常態,對於更高質量的視訊會議體驗需求急劇增加。而NPU的功能符合市場需求,從而推動了這類技術的快速發展和普及。
AMD Phoenix的NPU源自所併購的賽靈思
AMD於2023年3月推出搭載XDNA AI引擎的Phoenix處理器,採用台積電4奈米製程。與前代Rembrandt處理器相比,Phoenix增加近兩倍的電晶體數量,且晶粒縮小15%,運算能力可達10TOPS。Phoenix中的NPU(AMD將NPU稱作Ryzen AI),是源自2022年併購的FPGA龍頭-賽靈思(Xilinx)的AI晶片(Xilinx AI)。
此外,Ryzen AI能夠同步執行4個 AI 任務,從而提高系統反應速度達35%,增加 AI 推論效率,且可⽀援 Windows 11的AI影音特效功能(Studio Effects),同時為電腦提供低延遲和更佳的電池續航力。
蘋果M3系列處理器採用最先進的台積電3nm製程
蘋果於2023年10月所發布的M3系列處理器也有搭載NPU,但其實蘋果早在2020年11月推出M1系列處理器時,就以SoC的方式將NPU搭載進M1處理器中,蘋果並將NPU命名為神經網絡引擎(Apple Neural Engine;ANE)。
蘋果最新的M3晶片是採用台積電3nm製程,內含電晶體數量達250-920億個,這項特點使M3晶片比前代M2晶片的處理效能提升20%。而M3晶片中所搭載的神經網絡處理器在運行AI任務時比M1快60%,並且能提供35TOPS的運算能力。蘋果為Arm陣營中率先導入NPU於處理器的公司。
高通基於Arm架構開發PC處理器 – 45TOPS運算能力暫居領先
高通於2023年10月發布全新處理器平臺Snapdragon X Elite,搭載新一代AI加速晶片Hexagon NPU,該NPU能提供45TOPS(Tera Operations Per Second)的運算速度,為前一代Snapdrag8cx Gen 3的3倍,可以運行超過 130 億個生成式AI參數。高通將NPU稱作HTA (Hexagon Tensor Accelerator;張量加速器)
此外,Snapdragon X Elite搭載的Oryon CPU是源自2021年所併購的Nuvia公司,而Nuvia的三位共同創辦人Gerard Williams III、Manu Gulati及John Bruno都曾任職於蘋果,再加上公司大多數成員也都參與過蘋果A及M系列處理器的開發,藉由這些強大的技術人才,使高通在PC處理器的發展領域邁進了一大步。
x86與Arm架構的PC處理器比較,高通處理器運算能力為45TOPS

異質運算將AI PC處理器的運算能力推向40TOPS
目前衡量AI PC在AI任務上的效能,主要是PC處理器及內建的NPU所提供的運算能力。運算能力的高低,將會影響AI的運作速度、內容生成準確度及能耗。
當前的PC處理器市場中,英特爾、AMD、蘋果和高通等4家業者都採用了異質運算(heterogeneous computing)技術。異質運算是指系統使用不同類型的處理單元,例如NPU、CPU和GPU,並將不同運算工作交由符合需求的專用處理器來執行,來提升整體運算能力,藉此在PC上優化AI任務的處理速度和效率。
藉由異質運算的技術,英特爾Meteor Lake整體AI效能可達34TOPS、AMD Phoenix可提供33TOPS。另一方面,蘋果M3的NPU相比前一代M2提升15%,而M2運算能力為31.6TOPS,故推估M3運算能力約為36TOPS,至於,Snapdragon X Elite同樣將NPU、CPU與GPU功能整合,可提供75TOPS的AI運算能力。
目前,微軟正在與PC廠商合作,來設計運算能力超過40TOPS的AI PC,以滿足下一代Copilot的門檻要求。就目前4家業者英特爾、AMD、蘋果及高通來看,高通已達到微軟標準,而其餘3家業者的處理器在運算能力也十分接近40TOPS。預計英特爾、AMD及蘋果在2025年推出的新款PC處理器將能達到微軟設定的門檻。
電源管理IC將扮演AI PC穩定供電的重要角色
然而,PC處理器所能執行的參數規模,不單只是看運算能力,還涉及到其它硬體設備,如記憶體、儲存空間及電源管理IC(Power Management IC;PMIC)等。其中,PMIC扮演著穩定供電的角色。雖然,AI晶片能提供AI PC運算能力,但在運行AI任務的過程,電源供應效率及穩定性也至關重要。
英特爾於2022年3月發布新電源規範-ATX 3.0,相對前一代ATX2.0系列規範,更著重在電源分配效率及降低GPU負載等。ATX3.0這些特點對於需要處理複雜AI運算的PC相當重要,使NPU能更高效率的專注在AI任務上,維持穩定的運算能力。
DDR5記憶體將是AI PC標配 SSD將往更大容量發展
AI PC所需的關鍵要素中,除了NPU外,記憶體也扮演著重要角色。AI PC需運行數十億參數規模的生成式AI模型,這些參數資料都需要足夠的DRAM和Nand flash來進行暫存及存儲。因此,記憶體升級是讓小型LLM落實PC的重點。
DDR5將成AI PC處理器的標準配備,輔助提升AI運算速度
AI PC的特色是能在本地端執行生成式AI模型,故需龐大DRAM容量和高頻寬儲存的配合。隨著生成式AI所帶來的龐大資料量,對於更高容量的記憶體需求也隨之增加。例如,NVIDIA Techniques Blog中提到,具有70億參數規模的生成式AI模型(如Llama 2-7B),就需要大約14GB的記憶體,才能執行小型LLM的任務。
由於DDR5能提供高效的數據處理速度及更高的頻寬,來減少資料傳輸上的延遲,對於需要處理複雜AI運算相當重要。同時DDR5功耗較低,較適合需長時間使用的終端裝置。前一代DDR4相比,DDR5在資料傳輸速度上提升了2倍,在能源效率上降低了20%功耗、並且支援高達64GB的記憶體。而英特爾及AMD表示將在2024年於PC處理器中全面導入DDR5,這將推升DDR5在PC市場的市佔率。
目前市場共有三家主要供貨DDR5記憶體的公司,分別為三星電子(Samsung)、SK海力士(SK Hynix)及美光(Micron)。其中,三星電子DDR5記憶體在PC平台上的採用最多。三星電子2023年發布最新版本DDR5記憶體,採用12nm技術及極紫外光微影技術 (Extreme Ultraviolet Lithography;EUVL)打造16Gb DDR5 DRAM,能提供高達7200Mbps的傳輸速度及64GB的記憶體。另一方面,美光2023年10月推出1β製程技術所開發的DDR5,能提供高效能來支援AI推論任務,目前也陸續出貨給PC客戶,伴隨這項優勢美光記憶體在PC的地位也會逐步提升。至於,SK海力士是最先推出DDR5產品,且於2023年5月完成10奈米級(1b)DRAM研發,但主要出貨對象以資料中心為主,如輝達(Nvidia)。
UFS 4.0、更大儲存空間的SSD將陸續搭載於AI PC上
AI PC若要在本地運算執行語言模型,在傳輸速度及儲存容量上勢必要提升。從傳輸速度來看,目前,高通Snapdragon X Elite為市面上運算能力最強的PC處理器,能運行高達130億個語言模型參數,該處理器的儲存規格可支援PCIe 4.0 NVMe SSD 及 UFS 4.0、SD 3.0。其中,UFS 4.0為首次導入PC處理器中。
由於UFS 4.0較NVMe尺寸小,僅11×13×1mm,這將提升PC內部元件布局設計的彈性。另外UFS 4.0傳輸速度能達到每通道頻寬(bandwidth)23.2Gbps,比前一代UFS 3.1快上兩倍。UFS 4.0的這特點,能提供DRAM與SSD之間穩定快速的資料搬移,並且有效提升終端裝置上的傳輸速度。
根據英特爾(Intel)、超微半導體(AMD)、蘋果(Apple)及高通(Qualcomm)四家業者的處理器觀察,預計未來PC將配置更高容量的固態硬碟(SSD)。
AI PC若要在本地運算執行語言模型,在傳輸速度及儲存容量上勢必要提升。從傳輸速度來看,目前,高通Snapdragon X Elite為市面上運算能力最強的PC處理器,能運行高達130億個語言模型參數,該處理器的儲存規格可支援PCIe 4.0 NVMe SSD 及 UFS 4.0、SD 3.0。其中,UFS 4.0為首次導入PC處理器中。
由於UFS 4.0較NVMe尺寸小,僅11×13×1mm,這將提升PC內部元件布局設計的彈性。另外UFS 4.0傳輸速度能達到每通道頻寬(bandwidth)23.2Gbps,比前一代UFS 3.1快上兩倍。UFS 4.0的這特點,能提供DRAM與SSD之間穩定快速的資料搬移,並且有效提升終端裝置上的傳輸速度。
根據英特爾(Intel)、超微半導體(AMD)、蘋果(Apple)及高通(Qualcomm)四家業者的處理器觀察,預計未來AI PC將配置更高容量的固態硬碟(SSD)。
預估未來PC在在軟體及硬體面的面貌

結語
目前的PC無法完全本地端執行大型語言模型,仍須雲端及邊緣運算的相互配合,才能順利的執行生成式AI任務。若要完全本地端執行AI任務,除了PC處理器與其它硬體設備升級,大型語言模型的參數規模也要縮小才有望達成。
RockChen觀察,AI PC從硬體層面來看,應具備NPU、PMIC、DDR5記憶體、更大的儲存空間及UFS 4.0儲存規格等關鍵元件。其中,NPU已經是英特爾、超微半導體、高通及蘋果的新處理器中的標配。這些關鍵元件會影響AI PC在執行生成式AI任務時的效率及可行性。
從微軟Orca 2的測試中顯示,130億規模的小型LLM在AI推論的能力上,能比擬規模大5倍的700億參數規模的大型語言模型,這也顯現出本地端運算的潛力,因此未來小型LLM將會陸續導入PC。
微軟Copilot已落地Windows PC,對於運算能力的門檻為40TOPS,目前高通PC處理器已達成,故預計英特爾、AMD、蘋果的PC處理器將於2025年前有望突破門檻。
2 comments
Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil.
Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere.