接入指南

云学堂.AI智能教练功能接入指南包含两部分:

  • 智能教练H5对接指南
  • 第三方App对接示例

接入方案概述

云上越秀App内嵌智能教练H5,由智能教练H5调用云上越秀中已集成的讯飞SDK进行在线听写设置(语音听写流式版,无UI识别),云上越秀App将讯飞听写文本内容传给智能教练H5,智能教练H5将Json结果解析成文本进行展示并传给服务端进行业务逻辑处理。
云上越秀App异步的将保存在App本地的PCM音频格式文件转换成MP3文件,并通过协议传给智能教练H5,智能教练H5将MP3文件传给云学堂服务端,云学堂服务端将MP3格式文件上传至百度云,用于业务流程上的展示和播放。

前置要求

  1. 云上越秀App已集成讯飞语音听写SDK;
  2. 讯飞语音听写 Android SDK版本:1.1140,iOS SDK版本:1.180(讯飞SDK最新版如果向下兼容,可以集成最新版本);
  3. 讯飞语音听写SDK已添加用户手机录音机使用权限;
  4. 讯飞语音听写SDK已初始化创建语音配置对象(配置AppID);
  5. 讯飞语音听写服务用量正常可用(有用量次数、在有效期内)。

方案对接流程:

  1. 云上越秀Android App接入浏览器X5内核(引入jar包方式),X5内核版本号:43967,大小:200K;
  2. 云上越秀App设置useragent (useragent 值由云上越秀确定);
  3. 智能教练H5判断useragent,进行后续业务逻辑处理;
  4. 云上越秀App在application里面进行初始化讯飞SDK,Android SDK版本:1.1140,iOS SDK版本:1.180(讯飞SDK最新版如果向下兼容,可以集成最新版本);
  5. 云上越秀App通过WebView打开智能教练H5页面;
  6. 云上越秀App对接云学堂以Cordova框架输出的自定义的交互协议,协议标准参考微信方式,包含刷新、退出、返回、webview布局高度等;
  7. 云上越秀App对接云学堂提供的回调协议,包含监听开始录音的状态回调、监听网络状态、监听页面返回事件等;
  8. 云上越秀App根据云学堂提供的标题样式截图、按钮图片、标题尺寸、文字大小等,提供原生加载的页面头;
  9. 云上越秀App提供语音听写接口,调用讯飞SDK处理录音请求;
  10. 用户开始录音请求,智能教练H5调用录音接口;
  11. 云上越秀App将Json文件返回给智能教练H5;
  12. 智能教练H5将Json文件解析成纯文本并做前端UI展示;
  13. 用户完成录音,提交录音内容,智能教练H5将Json文件进行拼接处理提交给智能教练服务端进行话术处理评分逻辑;
  14. 云上越秀App异步将讯飞返回PCM音频文件转码为MP3格式;
  15. 智能教练H5通知云上越秀App上传MP3文件;
  16. 云上越秀App将MP3文件上传给智能教练H5(需要确定对应关系);
  17. 智能教练H5接受MP3文件,并将语音文件流、语音时长等上传智能教练服务端;
  18. 智能教练服务端进行后续的业务逻辑处理;
  19. 云上越秀App 和智能教练H5 整体联调、测试、验收。

接入流程图

接入步骤

  1. App与H5均接入测试环境;
  2. 云上越秀App接入Android QQ浏览器X5内核、iOS App接入 WKWebview;
  3. 云学堂与云上越秀研发人员联调协议;
  4. 云上越秀App开发相应功能;
  5. 整体联调成功后进行打包测试;
  6. 云学堂智能教练H5发布产线,云上越秀App提供产线环境安装包;
  7. 产线功能验证;

关于作者

江苏云学堂网络科技有限公司开发人员,如有问题请发送邮件至 panfei@yxt.com