會(huì)撒嬌有情感,小米聲學(xué)語(yǔ)音技術(shù)重磅升級(jí)!
近日,小米發(fā)布了小愛音箱Art,這款音箱采用全新的金屬機(jī)身,機(jī)身?yè)P(yáng)聲器開孔被設(shè)計(jì)成0.7mm厚度的金屬飾板,可謂功能與質(zhì)感兼具。小米小愛音箱Art通過(guò)一顆2.5英寸的全頻揚(yáng)聲器,讓聲音的細(xì)節(jié)呈現(xiàn)得更加自然。
作為小米推出的第9款智能音箱,小米小愛音箱Art在技術(shù)上也全面升級(jí),搭載第三代小愛同學(xué),并支持情感化語(yǔ)音交互、全屋播放及就近喚醒。通過(guò)這款音箱得以看出,小米的聲學(xué)語(yǔ)音技術(shù)已經(jīng)實(shí)現(xiàn)全面自研,并在自研部分領(lǐng)域持續(xù)。
情感化語(yǔ)音交互:通過(guò)迭代聲學(xué)模型,支持情感TTS
對(duì)于智能設(shè)備而言,實(shí)現(xiàn)情感化語(yǔ)音交互是一項(xiàng)挑戰(zhàn)。"情感"本身就是主觀的、多樣的感受,一種情感可以有多種呈現(xiàn)形式,更適合人與人的面對(duì)面對(duì)話。情感化語(yǔ)音交互對(duì)技術(shù)要求較高,要技術(shù)方、數(shù)據(jù)方、質(zhì)檢方等多方對(duì)情感濃度、情感詮釋方式等標(biāo)準(zhǔn)達(dá)成共識(shí),將較主觀的情感音素統(tǒng)一化、標(biāo)準(zhǔn)化。
隨著人工智能技術(shù)的發(fā)展,在實(shí)現(xiàn)人機(jī)對(duì)話的基礎(chǔ)上,各大廠商都在情感化語(yǔ)音交互的領(lǐng)域探索。為了讓機(jī)器加入情感元素,小米AI實(shí)驗(yàn)室在"情感數(shù)據(jù)量有限"的前提下,通過(guò)不同聲學(xué)模型、不同聲碼器組合最終上線自然、擬人效果的情感TTS,成為業(yè)內(nèi)首 家情感化TTS大規(guī)模落地的企業(yè)。
通過(guò)小米AI實(shí)驗(yàn)室的不斷深耕,此次小米小愛同學(xué)Art全面支持情感化語(yǔ)音交互,基于有限但類型不同的情感音頻數(shù)據(jù)(如開心、關(guān)心、害羞、驚訝等),通過(guò)不同技術(shù)訓(xùn)練并迭代聲學(xué)模型,最終支持情感TTS合成并實(shí)現(xiàn)"小愛同學(xué)"音感化、擬人化。
未來(lái),小米語(yǔ)音將升級(jí)此技術(shù)――支持情感TTS實(shí)時(shí)合成。從下圖中可以看出,在大數(shù)據(jù)集的預(yù)訓(xùn)練模型基礎(chǔ)上,利用目標(biāo)說(shuō)話人的中性情感數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào),得到目標(biāo)說(shuō)話人的中性情感模型;在此基礎(chǔ)上用帶情感的小批量數(shù)據(jù)對(duì)模型進(jìn)一步微調(diào),最終得到不同情感的模型,最終實(shí)現(xiàn)情感合成。
在國(guó)內(nèi)語(yǔ)音助手行業(yè)中,小米首 次實(shí)現(xiàn)情感化TTS的大規(guī)模落地,未來(lái)將打造情感更加豐富的"小愛同學(xué)",為用戶提供多元化的語(yǔ)音交互體驗(yàn),為IoT設(shè)備增加更豐富更立體更逼真的語(yǔ)音交互體驗(yàn)。
語(yǔ)音支持全屋播放:立體聲組合同步播放相同音頻
小米小愛音箱Art,是首 款可以實(shí)現(xiàn)語(yǔ)音支持全屋播放的設(shè)備。用戶直接對(duì)小愛同學(xué)說(shuō)"全屋播放XX",無(wú)需提前在App端進(jìn)行手動(dòng)設(shè)置,即可實(shí)現(xiàn)一句話語(yǔ)音交互,為用戶提供了更便捷的使用方式。
要實(shí)現(xiàn)這一功能,音箱需要具備AIoT放音的技術(shù)。小米AIoT放音的自研技術(shù)在攻克無(wú)線網(wǎng)絡(luò)抖動(dòng)、晶振時(shí)鐘漂移以及弱網(wǎng)下數(shù)據(jù)不可達(dá)等一系列技術(shù)難題后,將不同音箱播放聲音的同步優(yōu)化到微秒級(jí)別,同時(shí)還實(shí)現(xiàn)了在不同型號(hào)的音箱之間的數(shù)據(jù)同步,提供更細(xì)膩的音質(zhì)和寬廣的聲像。
由這張圖可見,立體聲支持APP創(chuàng)建組網(wǎng),才能進(jìn)行語(yǔ)音指令和APP操作播放,全屋播放同時(shí)支持語(yǔ)音指令和APP創(chuàng)建組網(wǎng)。
立體聲功能同時(shí)支持語(yǔ)音指令和app操作播放,云端音頻流下發(fā)至音箱A,音箱A將立體聲分離為左右聲道,音箱A自己播放左聲道音頻并將右聲道音頻流下發(fā)給音箱B,由B音箱播放右聲道,精準(zhǔn)的同步技術(shù)保證音箱A和B同時(shí)播放立體聲的左右聲道音頻。全屋播放功能支持語(yǔ)音指令和app創(chuàng)建組網(wǎng),音頻流下發(fā)至音箱C,音箱C將音頻流混合為單聲道信號(hào)并下發(fā)給組內(nèi)其他的音箱設(shè)備同時(shí)播放,不區(qū)分聲道,可支持多個(gè)設(shè)備。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
7月8日立即報(bào)名>> 【在線會(huì)議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI的夏天:第四范式VS云從科技VS地平線機(jī)器人