麻豆人妻少妇精品无码专区,无人区在线完整免费,一本色道久久hezyo无码,亚洲欧美综合在线一区,两个人的免费视频高清完整版

近日，X（原 Twitter）用戶 @Dylan Patel 展示了一份來自牛津大學的研究：通過對 GPT-4 和大多數(shù)其他常見 LLM 的語言進行研究，研究發(fā)現(xiàn) LLM（大語言模型）推理的成本差異很大。

(資料圖片僅供參考)

其中英語輸入和輸出要比其他語言便宜得多，簡體中文的成本大約是英語的 2 倍，西班牙語的成本是英語的 1.5 倍，而緬甸撣語則是英語的 15 倍。

究其原理，可以追溯到今年 5 月份牛津大學在 arXiv 上刊印的一篇的論文。

詞元是將自然語言文本轉(zhuǎn)換成詞元（token）序列的過程，是語言模型處理文本的第一步。在 LLM 計算力成本的核算中，詞元越多，耗費計算力的成本越高。

毫無疑問，在生成式 AI 商業(yè)化的趨勢下，計算力的耗費成本也會嫁接給用戶，當下許多 AI 服務也正是按照需要處理的詞元數(shù)量來計費。

論文顯示，研究者通過分析 17 種詞元化方法后，發(fā)現(xiàn)同一文本被轉(zhuǎn)換成不同語言詞元序列時長度差異巨大，即使是宣稱支持多語言的詞元化方法，也無法做到詞元序列長度完全公平。

例如，根據(jù) OpenAI 的 GPT3 tokenizer，倘若給「你的愛意」詞元化，英語只需兩個詞元，而在簡體中文中則需要八個詞元。即使簡體中文文本只有 4 個字符，而英文文本有 14 個字符。

從 X 用戶 @Dylan Patel 曝光的圖片也可以直觀看到，讓 LLM 處理一句英語需要 17 個詞元（tokens），而讓 LLM 處理同樣意思的一句緬語，則需要 198 個詞元（tokens）。這意味著緬語的處理成本將達到英語的 11 倍。

類似的情況也有很多，Aleksandar Petrov 的網(wǎng)站中提供了許多相關(guān)的圖標和數(shù)據(jù)，感興趣的朋友不妨點擊「https://aleksandarpetrov.github.io/tokenization-fairness/」進去查看語言之間的差異。

在 OpenAI 的官網(wǎng)上也有著類似的頁面，解釋了 API 是如何對一段文本進行詞元化，以及顯示該文本的詞元總數(shù)。官網(wǎng)也提到，一個詞元通常對應英語文本的約 4 個字符，100 個詞元約等于 75 個單詞。

得益于英語詞元序列長度短的優(yōu)勢，在生成式人工智能預訓練的成本效益方面，英語可謂是最大贏家，將其他語言使用者遠遠地甩在身后，間接產(chǎn)生了一種不公平的局面。

除此之外，這種詞元序列長度的差異也會導致處理延遲不公平（某些語言處理同樣內(nèi)容需要更多時間）和長序列依賴性建模不公平（部分語言只能處理更短的文本）。

簡單點理解，就是某些語言的用戶需要支付更高的成本，承受更大的延遲，獲得更差的性能，從而降低了他們公平地訪問語言技術(shù)的機會，也就間接導致了英語使用者和世界其他語言使用之間形成了 AI 鴻溝。

僅從輸出的成本來看，簡體中文的成本是英語的兩倍。伴隨著 AI 領(lǐng)域的深層次發(fā)展，總是「差一步」的簡體中文顯然并不友好。在成本等各方面疊加因素的權(quán)衡下，非英語母語的國家也紛紛嘗試開發(fā)自己的母語語言大模型。

以中國為例，作為國內(nèi)最早一批探索 AI 的巨頭，2023 年 3 月 20 日，百度正式上線生成式 AI 文心一言。

隨后阿里巴巴的通義千問大模型、華為的盤古大模型等一批批優(yōu)秀大模型也陸續(xù)涌現(xiàn)出來。

在這當中，華為盤古大模型中的 NLP 大模型更是行業(yè)內(nèi)首個千億參數(shù)中文大模型，擁有 1100 億密集參數(shù)，經(jīng)過 40TB 的海量數(shù)據(jù)訓練而成。

正如聯(lián)合國常務副秘書長阿米娜 · 穆罕默德曾經(jīng)在聯(lián)合國大會上警告說，如果國際社會不采取果斷行動，數(shù)字鴻溝將成為「不平等的新面孔」。

同理，伴隨著生成式 AI 的狂飆突進，AI 鴻溝也很有可能成為新一輪值得關(guān)注的「不平等的新面孔」。

所幸的是，平時「慘遭嫌棄」的國內(nèi)的科技巨頭已然采取了行動。

關(guān)鍵詞：

7月滬深兩市IPO零申報，審核注冊全面放緩

頭條 23-08-02
新鄉(xiāng)啟動防汛一級應急響應將啟用蓄滯洪區(qū)

頭條 23-08-02
鶴壁啟動防汛一級應急響應將啟用蓄滯洪區(qū)

頭條 23-08-02
洛陽與中國銀行河南省分行簽署重點領(lǐng)域合作協(xié)議

頭條 23-08-01
光大證券一分公司收警示函，多名員工被罰

頭條 23-08-01
快訊！河南針對鶴壁市、新鄉(xiāng)市啟動防汛一級應急響應

頭條 23-08-01
內(nèi)蒙古赤峰：8月1日起執(zhí)行住建部“認房不認貸”政策

頭條 23-08-01
5000個紅包先到先得！河南省金融知識網(wǎng)絡(luò)競賽8月2日8點正式開賽

頭條 23-08-01
鄭開城際延長線新建開封站房露“真容”

頭條 23-08-01
東方碳素牽手中國科學院煤炭化學研究所等，簽訂技術(shù)開發(fā)（委托）合同

頭條 23-08-01
快訊！順豐正式宣布：赴港二次上市

頭條 23-08-01
一聲嘆息！正道中環(huán)百貨正式閉店丨極刻

頭條 23-08-01
共謀牛業(yè)！河南省肉牛產(chǎn)業(yè)協(xié)會8月1日成立

頭條 23-08-01
第六屆進博會招商路演（河南）舉行，河南交易團吹響“集結(jié)號”

頭條 23-08-01
把“導游”裝入手機！河南省文旅廳發(fā)布數(shù)字消費地圖

頭條 23-08-01
杭州這次玩大的！派送10萬張亞運會門票、百萬張景區(qū)門票

頭條 23-08-01
雅化集團：與特斯拉續(xù)簽氫氧化鋰供貨協(xié)議

頭條 23-08-01
華晨汽車集團重整計劃獲債權(quán)人批準

頭條 23-08-01
上半年河南財政科技支出216.2億元，增速達30.7％

頭條 23-08-01
河南又一企業(yè)沖刺北交所IPO，擬募資3.02億元

頭條 23-08-01
國鐵集團鄭州局：全力做好持續(xù)降雨期間旅客運輸組織

頭條 23-08-01
蔚來7月交付新車20462臺，交付量創(chuàng)歷史新高

頭條 23-08-01
鄭州機場暑運首月：旅客最愛去烏魯木齊、昆明、上海

頭條 23-08-01
12家！2023年河南省級工業(yè)遺產(chǎn)名單公布

頭條 23-08-01
理想汽車：7月交付新車同比增長227.5％

頭條 23-08-01
河南3名金融機構(gòu)高管任職資格獲批

頭條 23-08-01
54歲國壽集團黨委委員利明光兼任中國人壽黨委書記

頭條 23-08-01
最新通知！新鄉(xiāng)提升防汛四級應急響應至三級

頭條 23-08-01
兩部門緊急預撥1.1億元資金支持京津冀地區(qū)做好防汛救災工作

頭條 23-08-01
戴志浩卸任鞍鋼集團總經(jīng)理

頭條 23-08-01
大唐河南發(fā)電公司完成發(fā)行10億元中票，發(fā)行利差1.64％

頭條 23-08-01
江西將發(fā)放1億元消費券

頭條 23-08-01
蜜雪冰城成立送冰冰供應鏈公司，李文靜任總經(jīng)理

頭條 23-08-01
對醫(yī)療IPO企業(yè)行賄風險嚴監(jiān)管，上交所提出四大關(guān)注要點

頭條 23-08-01
中原農(nóng)谷核心區(qū)建設(shè)規(guī)劃重磅出爐，含46個重點建設(shè)項目清單

頭條 23-08-01
民生銀行鄭州分行攜手中建七局舉辦供應鏈金融客商大會

頭條 23-08-01
中國人民銀行聯(lián)合建設(shè)銀行，全面擴大征信查詢服務覆蓋范圍

頭條 23-08-01
周口城投發(fā)展集團擬發(fā)行25億元私募債，已獲深交所反饋

頭條 23-08-01
國家市場監(jiān)管總局：強化信用懲戒手段，提高市場退出效率

頭條 23-08-01
2023年上半年新增注冊預制菜相關(guān)企業(yè)1640余家

頭條 23-08-01
344家！鄭州最新一批入庫科技型企業(yè)公布

頭條 23-08-01
公司打出“零成本體驗”宣傳語，法律上應承擔怎樣責任？| 以案說法

頭條 23-08-01
眾泰汽車：公司實控人沒有失聯(lián)

頭條 23-08-01
8.71億元！銀行“天價”罰單層出不窮，涉房違規(guī)成“重災區(qū)”

頭條 23-08-01
第八批國家集采藥品中選結(jié)果落地福建 38種藥品平均降價56％

頭條 23-08-01
結(jié)果出爐！成都冠銘體育文化傳播有限公司拍下新網(wǎng)銀行3％股權(quán)

頭條 23-08-01
機票燃油附加費今年年內(nèi)首次上漲，8月5日起單程最低30元

頭條 23-08-01
第二十屆ChinaJoy展會收官，超級數(shù)字場景將開啟游戲產(chǎn)業(yè)新格局

頭條 23-08-01
襄城縣食品全產(chǎn)業(yè)鏈預制菜生產(chǎn)研創(chuàng)項目正式簽約

頭條 23-08-01
因違規(guī)核銷不良貸款等，山西三家銀行被罰200萬元

頭條 23-08-01
速看！河南省金融業(yè)發(fā)展專項獎補資金管理辦法出爐

頭條 23-08-01
國家網(wǎng)信辦查處一批涉企業(yè)、企業(yè)家不法信息典型案例

頭條 23-08-01
鄭州市終止防汛四級應急響應

頭條 23-08-01
看“河南芯”如何創(chuàng)造機器人新世界 | 這些豫企相當潮

頭條 23-08-01
前7個月新增專項債發(fā)行近2.5萬億元，中小銀行專項債發(fā)行提速

頭條 23-08-01

AI 大模型的語言不平等：英語訓練費用最便2023-08-02
涿州災情引關(guān)注，衛(wèi)星圖曝光！白溝河水面已2023-08-02
廚師用心用情，“半份菜”入胃入心2023-08-02
安切洛蒂：梅西能為MLS帶去附加價值新老2023-08-02
怎樣分辨研學機構(gòu)是否靠譜2023-08-02
為何須格外防范大學生遭“培訓貸”騙局2023-08-02
7月滬深兩市IPO零申報，審核注冊全面放緩2023-08-02
河南鶴壁?？h啟用共渠西蓄滯洪區(qū)2023-08-02
中央氣象臺8月2日06時發(fā)布強對流天氣藍色預2023-08-02
中央氣象臺8月2日06時繼續(xù)發(fā)布暴雨藍色預警2023-08-02
中央氣象臺8月2日06時繼續(xù)發(fā)布臺風藍色預警2023-08-02
爆單！訂單已排到年底！這屆年輕人超愛“它2023-08-02
中央氣象臺8月2日06時繼續(xù)發(fā)布大風黃色預警2023-08-02
消失的手機門店2023-08-02
遭蔚來、小鵬拋棄！寧德時代危機！被比亞迪2023-08-02
比亞迪 7 月銷量不到 20 萬？年度 3002023-08-02
ATP 華盛頓站疑似中暑暈倒，吳易昺最新回2023-08-02
聽障人士出戰(zhàn)女子 400 米混合泳，彭惠迪2023-08-02
導彈在戰(zhàn)機200米處解體，空軍試飛員選擇……2023-08-02
咸陽人民路部分路段護欄將取消，實施“綠波2023-08-02
新鄉(xiāng)啟動防汛一級應急響應將啟用蓄滯洪區(qū)2023-08-02
鶴壁啟動防汛一級應急響應將啟用蓄滯洪區(qū)2023-08-02
易點天下：獲華為云認可2023-08-02
K1178次列車全員平安在沿河城站?？苛熊?/a>2023-08-02

成都大運會乒乓球男子團體決賽，中國隊3：02023-08-02
全國總工會緊急下?lián)?500萬元救災資金2023-08-02
永定河洪水水頭到達天津2023-08-02
大象幫丨還擾民？一個月被投訴30多次的廢品2023-08-02
LOL-LPL：Scout三局比賽發(fā)揮亮眼，LNG 3-12023-08-02
B. Riley Securities：維持Cleveland-Cliffs(CLF.US)評級2023-08-02

精彩推薦

閱讀排行

要聞

頭條

7月滬深兩市IPO零申報，審核注冊全面放緩

AI 大模型的語言不平等：英語訓練費用最便宜，漢語訓練費用是英語的 2 倍

AI 大模型的語言不平等：英語訓練費用最便宜，漢語訓練費用是英語的 2 倍