唇语识别

通过获取唇部动作捕捉用户表达信息、可以配合活体认证完成身份验证、通过读取唇语获取用户的传达的内容等。

智能语音质检系统进度

用户登录获得唇读信息

用户登录获得唇读信息

用户登录获得唇读信息

唇语识别技术

视频提取人脸数据帧

从人脸数据帧提取嘴部帧

通过唇语识别技术识别出数字序列

采用STCNN+BiGRU+CTC唇语识别技术

网络结构有主要有三部分组成:
1.STCNN卷积层(3DCNN)从嘴部帧序列中提取嘴部空间特征和嘴部变化的时间特征;
2.BiGRU循环层将时间上的帧预测为数字序列分布;
3.CTC损失函数将把数字分布序列转换并输出最终的数字识别序列