實(shí)時(shí)語(yǔ)音識(shí)別 Android SDK簡(jiǎn)介

概述

(1) 概念解釋

實(shí)時(shí)語(yǔ)音識(shí)別：可實(shí)現(xiàn)對(duì)連續(xù)音頻流的實(shí)時(shí)識(shí)別，轉(zhuǎn)換成文本信息并返對(duì)應(yīng)文字流

(2) 說(shuō)明

Hi，您好，歡迎使用有道智云實(shí)時(shí)語(yǔ)音識(shí)別Android SDK。

本文檔主要針對(duì)需要集成實(shí)時(shí)語(yǔ)音識(shí)別的Android開(kāi)發(fā)工程師，詳細(xì)描述實(shí)時(shí)語(yǔ)音識(shí)別能力相關(guān)的技術(shù)內(nèi)容。

如果您想快速體驗(yàn)服務(wù)，建議您前往 語(yǔ)音識(shí)別體驗(yàn)中心 或者在體驗(yàn)中心右下側(cè)找到小程序二維碼，掃描進(jìn)行體驗(yàn)。

如果您有與我們商務(wù)合作的需求，可以通過(guò)以下方式聯(lián)系我們：

商務(wù)郵箱： AIcloud_Business@corp.youdao.com

如果您對(duì)文檔內(nèi)容有任何疑問(wèn)，可以通過(guò)以下幾種方式聯(lián)系我們：

客服QQ：1906538062

智云語(yǔ)音技術(shù)交流QQ群：861723255

聯(lián)系郵箱： zhiyun@corp.youdao.com

溫馨提示：

本文檔主要針對(duì)開(kāi)發(fā)人員，接入測(cè)試前需要在后臺(tái)創(chuàng)建 Android 應(yīng)用，并綁定實(shí)例；如果您還沒(méi)有，請(qǐng)按照 新手指南 操作。 平臺(tái)向每個(gè)賬戶贈(zèng)送50元的體驗(yàn)金，供用戶集成前測(cè)試所用，具體資費(fèi)規(guī)則詳見(jiàn) 實(shí)時(shí)語(yǔ)音識(shí)別服務(wù)報(bào)價(jià) 。

功能介紹

實(shí)時(shí)語(yǔ)音識(shí)別SDK是對(duì)有道實(shí)時(shí)語(yǔ)音識(shí)別接口服務(wù)進(jìn)行封裝。提供快速的接入方式；同時(shí)提供數(shù)據(jù)統(tǒng)計(jì)能力，方便了解用戶使用情況。

兼容性

支持設(shè)備：運(yùn)行了 Android 4.0.3以及以上系統(tǒng)的 Android 設(shè)備

實(shí)時(shí)語(yǔ)音識(shí)別SDK集成指南

集成前提

開(kāi)始集成SDK之前開(kāi)發(fā)者需要登錄 有道智云平臺(tái) ，創(chuàng)建應(yīng)用獲取應(yīng)用ID（或者通過(guò)運(yùn)營(yíng)人員獲取應(yīng)用ID），以便使用實(shí)時(shí)語(yǔ)音識(shí)別服務(wù)。

集成步驟

(1) SDK包導(dǎo)入

請(qǐng)?jiān)诠こ涛募夸浵聞?chuàng)建一個(gè)名為 libs 的子目錄(有的話則不需要?jiǎng)?chuàng)建)，并將ydasrsdk-v2.0.2.jar拷貝到 libs 目錄下，并將以下代碼添加到app的build.gradle中：

dependencies {
    ...
    implementation "android.arch.lifecycle:extensions:1.1.1"
    implementation "android.arch.lifecycle:common-java8:1.1.1"
    implementation "com.squareup.okhttp3:okhttp:3.11.0"
    implementation "com.google.code.gson:gson:2.8.5"
    implementation "org.jetbrains.kotlin:kotlin-stdlib:1.3.0"

    implementation files('libs/ydasrsdk-v2.0.2.jar')
}

(2) AndroidManifest配置

<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
<uses-permission android:name="android.permission.BROADCAST_STICKY" />
<uses-permission android:name="android.permission.BLUETOOTH" />

其中 RECORD_AUDIO、WRITE_EXTERNAL_STORAGE和READ_EXTERNAL_STORAGE 權(quán)限需要?jiǎng)討B(tài)申請(qǐng)，申請(qǐng)權(quán)限代碼可見(jiàn)demo代碼所示。

(3) 代碼混淆配置

代碼混淆文件proguard-project.txt，添加如下內(nèi)容：

# Gson
-keepattributes Signature
-keepattributes *Annotation*
-keep class sun.misc.Unsafe { *; }
-keep class com.google.gson.stream.** { *; }

#okhttp3
-dontwarn com.squareup.okhttp3.**
-keep class com.squareup.okhttp3.** { *;}
-dontwarn okhttp3.**
-dontwarn okio.**
-dontwarn javax.annotation.**
-dontwarn org.conscrypt.**

#lifecycle
-keep public class android.arch.lifecycle.** {
    public protected *;
}
-keepclassmembers class ** {
    @android.arch.lifecycle.OnLifecycleEvent public *;
}

#kotlin
-dontwarn kotlin.**

#AsrSdk
-keep class com.youdao.ydasr.** { *; }
-keep interface com.youdao.ydasr.** { *; }
-keep class com.youdao.audio.** { *; }
-keep interface com.youdao.audio.** { *; }

功能集成

(1) 創(chuàng)建asr返回接口

private AsrListener mAsrListener = new AsrListener() {
    // 開(kāi)始識(shí)別回調(diào)
    @Override
    public void onAsrStart() {}

    // 重連后再次連接成功回調(diào)
    @Override
    public void onAsrRestart() {}

    // 結(jié)束識(shí)別回調(diào)
    @Override
    public void onAsrStop() {}

    // 正在重連提示
    @Override
    public void onAsrReconnecting() {}

    // 錯(cuò)誤回調(diào)
    @Override
    public void onAsrError(@NotNull AsrResultCode error) {

    // ASR結(jié)果回調(diào)， isSentence當(dāng)前一句是否結(jié)束，是否是完整的句子
    @Override
    public void onAsrNext(@NotNull AsrResult result, boolean isSentence) {}

    // 音量變化回調(diào)
    @Override
    public void onAsrVolumeChange(float volume) {}

    // 后端點(diǎn)靜音回調(diào)
    @Override
    public void onAsrSilentEnd() {}

    // 前端點(diǎn)靜音回調(diào)
    @Override
    public void onAsrSilentStart() {}

    // 連接上藍(lán)牙麥克風(fēng)提示
    @Override
    public void onBluetoothAudioConnected() {}

    // 藍(lán)牙麥克風(fēng)斷開(kāi)提示
    @Override
    public void onBluetoothAudioDisconnected() {}
};

(2) 創(chuàng)建AsrManager

在activity中創(chuàng)建AsrManager，初始化的參數(shù)包含appKey(如何獲取見(jiàn)集成前提)并注冊(cè)生命周期觀察

mAsrManager = AsrManager.getInstance(this, Consts.AsrAppKey, mAsrListener);
getLifecycle().addObserver(mAsrManager);

(3) 開(kāi)始識(shí)別

Map<String, Object> params = new HashMap<>();
params.put(AsrParams.LANG, mLang);
params.put(AsrParams.SILENT_TIMEOUT_START, 5000L);
params.put(AsrParams.SILENT_TIMEOUT_END, 10000L);
params.put(AsrParams.SENTENCE_TIMEOUT, 3000L);
params.put(AsrParams.CONNECT_TIMEOUT, 10000L);
params.put(AsrParams.WAIT_SERVER_DISCONNECT, true);
mAsrManager.start(params);

注：音頻文件僅支持16k采樣的wav音頻

(4) 停止識(shí)別

mAsrManager.stop();

(5) 插入本地?cái)?shù)據(jù)

Map<String, Object> params = new HashMap<>();
        params.put(AsrParams.LANG, mLang);
        params.put(AsrParams.SILENT_TIMEOUT_START, 5000L);
        params.put(AsrParams.SILENT_TIMEOUT_END, 10000L);
        params.put(AsrParams.SENTENCE_TIMEOUT, 3000L);
        params.put(AsrParams.CONNECT_TIMEOUT, 10000L);
        params.put(AsrParams.WAIT_SERVER_DISCONNECT, true);
mAsrManager.startConnect(params);

然后在asr回掉的onAsrStart中插入本地文件流

mAsrManager.insertAudioBytes(bytes);

識(shí)別結(jié)果

• 識(shí)別結(jié)果示例

{
    "result": [{
        "st": [{
            "bg": 30,
            "ed": 480,
            "ws": [{
                "w": "Have",
                "wb": 30,
                "we": 240
            }, {
                "w": "a",
                "wb": 240,
                "we": 270
            }, {
                "w": "good",
                "wb": 270,
                "we": 480
            }, {
                "w": "day.",
                "wb": 480,
                "we": 480
            }]
        }],
        "seg_id": 0
    }],
    "errorCode": "0",
    "action": "recognition"
}

• 識(shí)別結(jié)果說(shuō)明

支持語(yǔ)言

錯(cuò)誤代碼列表

常見(jiàn)問(wèn)題

錯(cuò)誤1

• 錯(cuò)誤說(shuō)明

null
C:/Users/liuyanyan/.gradle/caches/transforms-1/files-1.1/appcompat-v7-28.0.0.aar/7cbab2e2b4c7701e76fa4d46215a4687/res/values-v28/values-v28.xml
D:/workdir/ydasrDemo
C:/Users/liuyanyan/.gradle/caches/transforms-1/files-1.1/appcompat-v7-28.0.0.aar/7cbab2e2b4c7701e76fa4d46215a4687/res/values/values.xml
null
failed linking references. 

• 解決方案

targetSdkVersion 28
...
dependencies {
    ...
    implementation 'com.android.support:appcompat-v7:28.0.0'
}

錯(cuò)誤2

• 錯(cuò)誤說(shuō)明

null
Default interface methods are only supported starting with Android N (--min-api 24): void android.arch.lifecycle.DefaultLifecycleObserver.onCreate(android.arch.lifecycle.LifecycleOwner)
Stripped invalid locals information from 1 method.
null
com.android.builder.dexing.DexArchiveBuilderException: Failed to process C:\Users\liuyanyan\.gradle\caches\modules-2\files-2.1\android.arch.lifecycle\common-java8\1.1.1\795d68cd761d093ccb235d1d91b8fd17c2ae25ff\common-java8-1.1.1.jar
com.android.builder.dexing.DexArchiveBuilderException: Error while dexing.
com.android.tools.r8.CompilationFailedException: Compilation failed to complete
com.android.tools.r8.utils.AbortException

• 解決方案：gradle中增加如下配置

compileOptions {
    sourceCompatibility JavaVersion.VERSION_1_8
    targetCompatibility JavaVersion.VERSION_1_8
}

其他注意事項(xiàng)

• asr回調(diào)方法非主線程的，如果需要在回調(diào)中更新UI，需放到主線程中，代碼可見(jiàn)demo.
• 權(quán)限及動(dòng)態(tài)權(quán)限一定要添加否則可能導(dǎo)致無(wú)反應(yīng)
• 依賴包也必須都添加，否則可能導(dǎo)致無(wú)反應(yīng)或崩潰問(wèn)題

版本更新記錄