亞馬遜門(mén)鈴系統(tǒng)上的人臉識(shí)別是如何實(shí)現(xiàn)的?
作為一個(gè)新的亞馬遜門(mén)鈴的買(mǎi)家,我喜歡它提供的炫酷功能。然而,我認(rèn)為我可以做一些改進(jìn)。我需要的是為住在我家的人定制的門(mén)鈴。要是門(mén)鈴能認(rèn)出是誰(shuí)在敲門(mén)就好了?吹介T(mén)鈴是多么的受歡迎,我決定幫助大多數(shù)家庭,最好方法是讓他們能夠毫不費(fèi)力地定制他們的門(mén)鈴。我開(kāi)發(fā)了一個(gè)應(yīng)用程序,可以告訴你誰(shuí)在你的門(mén)口,只需輸入你的門(mén)鈴帳戶的用戶名和密碼。知道誰(shuí)在你的門(mén)口,無(wú)需等待門(mén)鈴在你的智能手機(jī)上顯示視頻,這是非常方便的。它大大提高了安全性,帶來(lái)了極大的便利,甚至可以安裝在一個(gè)自動(dòng)開(kāi)門(mén)的系統(tǒng)上。在深度學(xué)習(xí)時(shí)代,每個(gè)家庭都需要安裝這些系統(tǒng)。下圖說(shuō)明了我的系統(tǒng)是如何工作的。
完整的代碼可以在這里的Git存儲(chǔ)庫(kù)中找到。https://github.com/dude123studios/SmarterRingV2要求如下:tensorflow==2.4.1
opencv-python==4.5.1.48
mtcnn==0.1.0
ring_doorbell==0.7.0
oauthlib~=3.1.0
numpy~=1.19.5
scipy~=1.6.1
scikit-learn==0.24.1
gtts==2.2.2
playsound~=1.2.2
讓我們來(lái)分析一下發(fā)生了什么。通過(guò)輸入用戶名和密碼作為環(huán)境變量,Ring API就能夠連接到你的帳戶。該API允許用戶訪問(wèn)python特性。這里(https://github.com/tchellomello/python-ring-doorbell)有API存儲(chǔ)庫(kù)和簡(jiǎn)短的文檔。這是Ring.py的一個(gè)片段,它實(shí)例化了一個(gè)與你的門(mén)鈴的連接:import os
import json
from pathlib import Path
from ring_doorbell import Ring, Auth
from oauthlib.oauth2 import MissingTokenError
cache_file = Path("test_token.cache")
def token_updated(token):
cache_file.write_text(json.dumps(token))
def otp_callback():
auth_code = input("[INPUT] 2FA code: ")
return auth_code
def main(download_only=False):
if cache_file.is_file():
auth = Auth("MyProject/1.0", json.loads(cache_file.read_text()), token_updated)
else:
username = os.environ.get('USERNAME')
password = os.environ.get('PASSWORD')
auth = Auth("MyProject/1.0", None, token_updated)
try:
auth.fetch_token(username, password)
except MissingTokenError:
auth.fetch_token(username, password, otp_callback())
ring = Ring(auth)
ring.update_data()
wait_for_update(ring, download_only=download_only)
wait_for_update方法持續(xù)運(yùn)行并實(shí)例化一個(gè)正在等待客戶端的處理程序。它會(huì)繼續(xù)刷新,直到發(fā)現(xiàn)Ring的存儲(chǔ)歷史記錄有更新。一旦發(fā)生這種情況,它檢查門(mén)鈴是否被按了。如果是這樣,它會(huì)把整個(gè)視頻下載到你的設(shè)備上。為了加快這一過(guò)程,請(qǐng)使用智能手機(jī)上的ring應(yīng)用程序縮小視頻錄制的大小。你的門(mén)鈴響了,最后一段視頻就會(huì)傳到你的電腦上。從那里,我們截取了那段視頻的多個(gè)幀,以確保一個(gè)人的臉都不會(huì)被遮住。我在utils.py中定義了這個(gè)方法。它將在稍后顯示。下面是ring.py的另一個(gè)片段。用于處理主線程:import time
def wait_for_update(ring, download_only=False):
id = -1
start = time.time()
while True:
try:
ring.update_data()
except:
time.sleep(1)
continue
doorbell = ring.devices()['authorized_doorbots'][0]
for event in doorbell.history(limit=20, kind='ding'):
current_id = event['id']
break
if current_id 。 id:
id = current_id
print('[INFO] finished search in:', str(time.time() - start))
start = time.time()
if download_only:
handle_video(ring, True)
return
handle = handle_video(ring)
if handle:
text_to_speech(handle)
else:
text_to_speech('The person at the door is not very clear')
time.sleep(1)
如果你對(duì)identify、get_first_frame和text_to_speech方法調(diào)用有點(diǎn)困惑,不要擔(dān)心!我們就要談到這個(gè)了!現(xiàn)在我們的處理程序已經(jīng)就位,讓我們開(kāi)始面部識(shí)別吧!FaceNetFaceNet是谷歌在2015年開(kāi)發(fā)的一個(gè)模型。FaceNet使用一種稱為聚類的過(guò)程
聚類的目的是創(chuàng)建一種嵌入,就像單詞一樣。唯一的區(qū)別是,該模型不是學(xué)習(xí)向量標(biāo)記的id,而是將圖像壓縮到一個(gè)小的潛在空間。具體來(lái)說(shuō),給定一幅形狀為(160,160,3)的圖像,F(xiàn)aceNet模型,產(chǎn)生一個(gè)形狀為(128)的矢量,稱為它的嵌入。該模型將確保不同人的面孔在嵌入空間中的距離較遠(yuǎn),同一個(gè)人的面孔距離較近。這樣,一個(gè)人無(wú)論在什么樣的光線條件下,從什么樣的角度,或者什么妝容,都可以被認(rèn)出來(lái)。FaceNet架構(gòu)FaceNet類似于ResNet和InceptionV3。架構(gòu)如下所示。輸入圖像經(jīng)過(guò)1x1Conv層和2x2Pooling層,然后沿著深度ResNet下行,由成對(duì)的Inception層和殘差連接層組成。最后的層包含多個(gè)3x3Conv、Concat和2x2Pooling層。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車(chē)生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
-
8月5日立即報(bào)名>> 【在線會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣(mài)機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫(huà)了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)
- 10 張勇等人退出阿里合伙人