作為元宇宙最堅(jiān)定的支持者之一，F(xiàn)acebook 在上個(gè)月宣布改名 Meta，此后便新動(dòng)作不斷，先是推出了一個(gè) 觸覺(jué)手套 ，試圖讓人們?cè)?VR 世界中也能體驗(yàn)到觸覺(jué)變化。
▲圖源：Meta
觸覺(jué)之后，Meta 又盯上了語(yǔ)言，它要讓人們?cè)谔摂M世界中也可以無(wú)障礙溝通，哪怕雙方使用的語(yǔ)言不同，你說(shuō)英語(yǔ)，我說(shuō)中文都能互相理解。
就這樣 XLS-R 來(lái)了，它是 Meta 最近發(fā)布的一個(gè) AI 語(yǔ)言處理模型，最高能識(shí)別 128 種語(yǔ)言，目前已經(jīng)公布了網(wǎng)頁(yè)體驗(yàn)版。
▲XLS-R 網(wǎng)頁(yè)體驗(yàn)版僅支持語(yǔ)音輸入
體驗(yàn)版的功能有一定缺失，僅支持將 22 種語(yǔ)言翻譯為 16 種語(yǔ)言，我試了下最常見(jiàn)的英譯中，一段 7 秒左右英文語(yǔ)音，XLS-R 還是能相對(duì)準(zhǔn)確地識(shí)別，中文翻譯和英文識(shí)別都基本正確，兩者耗時(shí)都在 1.4 秒 左右，并不算短。
▲XLS-R 識(shí)別同一段語(yǔ)音的英文和中文翻譯結(jié)果
對(duì)比市面上常見(jiàn)語(yǔ)音翻譯應(yīng)用，這個(gè)速度和轉(zhuǎn)譯表現(xiàn)其實(shí)中規(guī)中矩，都對(duì)口語(yǔ)清晰度有要求，一旦語(yǔ)速稍微快一些，就比較難理解，轉(zhuǎn)譯會(huì)出錯(cuò)。
XLS-R 的潛力體現(xiàn)在多語(yǔ)言通用 AI 模型上，據(jù) Meta 該技術(shù)基于 wac2vec 2.0 預(yù)訓(xùn)練模型，能將語(yǔ)音拆成拆成 25 毫秒的基本單元來(lái)分析，利用上下文轉(zhuǎn)換語(yǔ)音內(nèi)容，提升識(shí)別準(zhǔn)確度。
之后 Meta 又對(duì) wac2vec 2.0 技術(shù)進(jìn)行了多次調(diào)整，嘗試處理多種語(yǔ)言，轉(zhuǎn)換準(zhǔn)確率提升了不少，經(jīng)過(guò)通過(guò) 436000 小時(shí)的公開(kāi)錄音訓(xùn)練后，才有如今的 XLS-R。
▲XLS-R 識(shí)別單詞錯(cuò)誤率更低. 圖源：Meta
XLS-R 僅僅用一種語(yǔ)言模型就可以轉(zhuǎn)換 128 種語(yǔ)言，和特殊領(lǐng)域使用特殊模型的常見(jiàn)做法不同，極大地提升了通用性。在官方博客中，Meta 表示它們的目標(biāo)是用單一模型識(shí)別全球 7000 多種語(yǔ)言，從而改進(jìn)轉(zhuǎn)換算法。
這是一個(gè)新的開(kāi)始，離真正成為 Meta 所設(shè)想的虛擬世界基礎(chǔ)組成部分還比較難，這不僅僅和技術(shù)有關(guān)，設(shè)備算力也是限制。
作為同在在自然語(yǔ)言識(shí)別領(lǐng)域擁有大量技術(shù)儲(chǔ)備的 Google，其實(shí)比 Meta 更早在消費(fèi)級(jí)設(shè)備上支持多語(yǔ)種翻譯功能，Pixel 6 系列支持 live Translate 功能，可以在聊天軟件中進(jìn)行翻譯，無(wú)障礙地與外語(yǔ)朋友交流。
只是 live Translate 功能支持的語(yǔ)言并不算多，主要還是英語(yǔ)、德語(yǔ)、日語(yǔ)之間的翻譯，哪怕 Pixel 6 所使用的 Tensor 芯片在 AI 性能方面已經(jīng)是冠絕全球，達(dá)到了驍龍 888+ 的三倍。
只有聯(lián)網(wǎng) live Translate 功能才能做到支持 48 種語(yǔ)言，而使用云計(jì)算技術(shù)的 Google 翻譯也僅支持 108 種語(yǔ)言，離 7000 種語(yǔ)言很遠(yuǎn)。
元宇宙離我們?nèi)匀挥幸欢尉嚯x，不過(guò) XLS-R 等技術(shù)作為 Meta 口中虛擬世界的基礎(chǔ)建設(shè)之一，或許能在其他領(lǐng)域發(fā)揮作用，現(xiàn)在它已經(jīng)發(fā)布了 XLS-R 預(yù)訓(xùn)練模型的微調(diào)教程，讓業(yè)內(nèi)人士可以基于它進(jìn)行微調(diào)以便應(yīng)用到具體的工作當(dāng)中。
或許不久之后，我們能看到越來(lái)越多的應(yīng)用支持更多語(yǔ)種的語(yǔ)音轉(zhuǎn)譯功能。
本文來(lái)自微信公眾號(hào)“APPSO”（ID:appsolution），作者：周宇，36氪經(jīng)授權(quán)發(fā)布。
