feat(ai): 语音输入实时流式回显,图片输入直接上屏

- 录音按 1KB 分片(约 170ms)实时上传,ASR 中间结果逐字回填输入框;结束时定稿并直接发送
- 分片缺失 / 供应商失败 / 超时统一走整段转写兜底,状态条提示「结束后整段转写」
- 补齐全链路日志:语音流开始、首帧头字节、分片计数、每条中间结果、定稿汇总,
  便于区分客户端没发分片、服务端解码失败与供应商失败
- 新增 scope.record 权限说明,录音仅用于本次转写
This commit is contained in:
lik
2026-10-31 18:50:27 +08:00
parent 0eb8578a30
commit 7d793bfd3e
4 changed files with 1212 additions and 34 deletions
+5
View File
@@ -22,6 +22,11 @@
"navigationBarTitleText": "暖橙陪诊",
"navigationBarTextStyle": "black"
},
"permission": {
"scope.record": {
"desc": "用于语音输入陪诊问题,录音仅用于本次转写,不会保存"
}
},
"tabBar": {
"custom": true,
"color": "#6F655C",
+980 -1
View File
File diff suppressed because it is too large Load Diff
+61 -18
View File
@@ -75,13 +75,15 @@
/>
<text wx:elif="{{item.contentType === 'text'}}" class="message-text">{{item.content}}</text>
<image
wx:if="{{item.contentType === 'image'}}"
wx:if="{{item.contentType === 'image' && item.content}}"
class="message-image"
src="{{item.content}}"
mode="widthFix"
bindtap="previewImage"
data-src="{{item.content}}"
/>
<!-- 历史里的图片不存临时路径(重启即失效),退化成一行占位 -->
<text wx:elif="{{item.contentType === 'image'}}" class="message-image-placeholder">[图片]</text>
</view>
<!-- 常见问题:由「常见问题」按钮触发,把问题清单直接铺进会话流里。
复用欢迎区的白卡 + chevron 语言,点一下即发送该问题 -->
@@ -135,37 +137,78 @@
<view style="height: 40rpx;"></view>
</scroll-view>
<!-- 输入区 -->
<!-- 语音状态:录音 / 识别状态紧贴输入区上方一行。
只占一行内联提示,不做浮层、不替换输入区,输入框全程可见可读 -->
<view class="voice-status" wx:if="{{recording || isRecognizing}}">
<view class="voice-dot {{recording ? 'recording' : 'recognizing'}}"></view>
<text class="voice-status-text" wx:if="{{recording}}">正在录音 {{recordTime}},再次点击麦克风结束并发送</text>
<text class="voice-status-text" wx:else>正在识别并发送…</text>
<text class="voice-status-sub" wx:if="{{recording && voiceRealtimeOff}}">结束后整段转写</text>
</view>
<!-- 输入区:整行让给文字输入 + 右侧发送。
语音识别结果实时回填到这里,结束时直接发送;手动输入仍走右侧发送键 -->
<view class="input-area">
<input
class="message-input"
type="text"
<textarea
class="message-input {{recording || isRecognizing ? 'is-readonly' : ''}}"
value="{{inputValue}}"
placeholder="请输入您的问题..."
placeholder-class="input-placeholder"
auto-height
maxlength="-1"
cursor-spacing="24"
confirm-type="send"
disabled="{{recording || isRecognizing}}"
bindinput="onInputChange"
bindconfirm="sendMessage"
focus="{{inputFocus}}"
/>
<view class="action-btn send-btn {{inputValue ? 'active' : ''}}" bindtap="sendMessage"
aria-role="button" aria-label="发送消息" aria-disabled="{{!inputValue}}">
<t-icon name="send" size="40rpx" color="{{inputValue ? '#FFFFFF' : '#6F655C'}}" />
<view
class="action-btn send-btn {{inputValue && !recording && !isRecognizing ? 'active' : ''}}"
bindtap="sendMessage"
aria-role="button"
aria-label="发送消息"
aria-disabled="{{!inputValue || recording || isRecognizing}}"
>
<t-icon name="send" size="40rpx" color="{{inputValue && !recording && !isRecognizing ? '#FFFFFF' : '#6F655C'}}" />
</view>
</view>
<!-- 辅助入口:紧贴输入区下方——拇指最容易够到的位置,操作方便。
两者都是低频动作,故做成只描边不填充的暖橙小按钮(圆角与输入框同为 20rpx),
与输入区右侧浅橙底的发送键区分开,不做成裸文字链。
「常见问题」在左、「清空聊天」在右:破坏性动作收在最右端 -->
<view class="tool-bar" wx:if="{{messages.length > 0}}">
<view class="tool-btn" bindtap="showQuickQuestions">
<t-icon name="help-circle" size="26rpx" color="#9B4508" />
<text class="tool-btn-text">常见问题</text>
左端是会话级动作(常见问题 / 清空聊天),只在有消息时出现,做成只描边不填充的
暖橙小按钮(圆角与输入框同为 20rpx),与输入区右侧浅橙底的发送键区分开;
靠左与上方输入框、消息气泡同一条左边线。
右端两个只留图标的入口是语音 / 图片:空会话也要能点,故常驻,不做成描边按钮。
麦克风在录音中转为实心暖橙底的白图标,本身就是「再点一次结束」的入口。
清空聊天是破坏性动作,放在左组最右端(不顶到整行最右)、右侧留给输入入口 -->
<view class="tool-bar">
<view class="tool-group" wx:if="{{messages.length > 0}}">
<view class="tool-btn" bindtap="showQuickQuestions">
<t-icon name="help-circle" size="26rpx" color="#9B4508" />
<text class="tool-btn-text">常见问题</text>
</view>
<view class="tool-btn" bindtap="clearChat">
<t-icon name="delete" size="26rpx" color="#9B4508" />
<text class="tool-btn-text">清空聊天</text>
</view>
</view>
<view class="tool-btn" bindtap="clearChat">
<t-icon name="delete" size="26rpx" color="#9B4508" />
<text class="tool-btn-text">清空聊天</text>
<view class="media-group">
<view
class="media-btn {{recording ? 'active' : ''}}"
bindtap="onMicTap"
aria-role="button"
aria-label="{{recording ? '结束语音输入' : '语音输入'}}"
>
<t-icon name="microphone" size="32rpx" color="{{recording ? '#FFFFFF' : '#9B4508'}}" />
</view>
<view
class="media-btn"
bindtap="onImageTap"
aria-role="button"
aria-label="拍照或选择图片"
>
<t-icon name="image" size="32rpx" color="#9B4508" />
</view>
</view>
</view>
</view>
+166 -15
View File
@@ -10,11 +10,10 @@
overflow: hidden 是兜底,避免任何子项溢出到视口外变成"看得见滑不到" */
overflow: hidden;
/* 给 fixed 的自定义 tabBar 留位;安全区由这里统一承担,输入区不再重复加。
tabBar 实测高度 = 12+12 内距 + 44 图标 + 6 间距 + 24 文字 + 2 边框 = 100rpx(+安全区)。
140 → 120 → 112rpx:按钮下边只剩 12rpx(6px) 空隙,已贴近下限——
再往下(<100rpx)胶囊就会被 tabBar 盖住;这 12rpx 同时是防微信字体放大
把 tabBar 撑高的缓冲,不宜再压 */
padding-bottom: calc(112rpx + env(safe-area-inset-bottom));
tabBar 总高 100rpx(12+12 内距 + 44 图标 + 6 间距 + 24 文字 + 2 边框),
页面占位与它同用 rpx 体系:tabBar 高度 + 2px 恒定缓冲,
任何屏幕宽度上工具条与 tabBar 的间隙都一致,不会大屏贴住、小屏偏空 */
padding-bottom: calc(100rpx + 2px + env(safe-area-inset-bottom));
background-color: var(--paper);
}
@@ -55,20 +54,38 @@
opacity: 0.6;
}
/* ===== 辅助入口(在输入区下方:常见问题 + 清空聊天)===== */
/* 空心描边小按钮:2rpx 暖橙描边、无填充。
两者都是低频辅助动作,用"只描边"与输入区右侧那个浅橙底发送键区分开;
/* ===== 辅助入口(在输入区下方:常见问题 + 清空聊天 + 语音/图片)===== */
/* 左端是空心描边小按钮:2rpx 暖橙描边、无填充。
会话动作(常见问题 / 清空聊天)用"只描边"与输入区右侧那个浅橙底发送键区分开;
描边在纸面上 4.66:1、文字 6.10:1,均过线。
圆角 20rpx 与输入框、发送键、气泡同档——全页统一为圆角矩形,不再有胶囊。
容器是 column,靠 align-self: flex-end 把整行右对齐 */
右端的语音/图片入口与头像同构(浅橙衬底 + 描边),比左侧描边小按钮多一层衬底,
靠"只留图形"与带文字的会话动作分层。
整行不再 shrink 到内容宽度:铺满后左组贴左、右组贴右,
左右 24rpx 与输入区、消息气泡同一条边线,不再内缩 8rpx */
.tool-bar {
align-self: flex-end;
align-self: stretch;
display: flex;
align-items: center;
gap: 16rpx;
flex-shrink: 0;
/* 上 12 贴住输入区,右 32 对齐页面页边距;下不留边距,底部空气统一交给容器 */
margin: 12rpx 32rpx 0;
/* 上 6 贴住输入区(输入区底部内距 8rpx,合计 14rpx);下不留边距,
底部空气统一交给容器(容器 padding-bottom 已按 tabBar 覆盖下限预留) */
margin: 6rpx 24rpx 0;
}
/* 两组内部各用 gap 排布;右组 margin-left:auto 兜住"左组不存在"的空会话状态,
此时两个图标仍贴右,不会因为只剩一组就滑到左边 */
.tool-group,
.media-group {
display: flex;
align-items: center;
gap: 16rpx;
}
.media-group {
margin-left: auto;
flex-shrink: 0;
}
.tool-btn {
@@ -392,6 +409,13 @@
border-radius: 12rpx;
}
/* 历史里的图片只剩占位(临时路径不落 storage),用一行弱化的说明撑住上下文 */
.message-image-placeholder {
font-size: 28rpx;
line-height: 1.6;
color: var(--muted);
}
/* ===== 正在输入 ===== */
.typing-bubble {
padding: 24rpx 32rpx;
@@ -437,28 +461,155 @@
gap: 16rpx;
/* 钉在容器底部,不被消息区挤压 */
flex-shrink: 0;
padding: 16rpx 24rpx;
/* 底部内距收窄到 8rpx:与下方工具条合计 14rpx 间隙,
给语音/图片按钮省出竖向空间 */
padding: 16rpx 24rpx 8rpx;
background: var(--white);
border-top: 2rpx solid var(--line);
}
/* 输入框改为自增高 textarea:语音识别结果通常是一整句话,
单行 input 会把内容截断,导致用户看不到自己说了什么。
默认高度按 2 行撑起(28rpx 字号 × 1.5 行高 × 2 行 + 上下 18rpx 内距 = 120rpx),
一眼可见多行输入的体量,长问题也不用先挤在一行里;
内容再长继续随 auto-height 增长,最多约 4 行,不把消息区挤没 */
.message-input {
flex: 1;
height: 76rpx;
padding: 0 28rpx;
width: auto;
min-height: 120rpx;
max-height: 220rpx;
padding: 18rpx 28rpx;
box-sizing: border-box;
background: var(--paper);
border: 2rpx solid var(--line);
/* 20rpx = 10px:与气泡、常见问题卡、用户徽记的统一圆角档,
比原 999rpx 胶囊更贴合"输入条"的体量(76rpx 高≈38px,10px 圆角约占四分之一) */
border-radius: 20rpx;
font-size: 28rpx;
line-height: 1.5;
color: var(--ink);
}
/* 录音/识别中只读:内容仍要清楚可读,不能被原生 disabled 灰掉 */
.message-input.is-readonly {
opacity: 1;
-webkit-text-fill-color: var(--ink);
}
.input-placeholder {
color: var(--muted);
}
/* 语音/图片入口:与辅助动作同一行,收在「清空聊天」右侧。
原为裸图标(无底无描边),视觉上悬空、热区不明确;现改为与头像、
欢迎区图标同构的"浅橙衬底 + 2rpx --brand-line 描边"小方块,
既是明确可点的按钮,又与全页浅橙家族同一语言。
72rpx(36px)满足最小触控热区,比图标图形大出一圈,方便点击;
圆角 20rpx 与输入框、发送键、气泡统一为同档圆角矩形。
录音中麦克风转成实心暖橙底 + 白色图标:同一位置、同一热区,用户再点一次即结束,
不额外长出第二个按钮 */
.media-btn {
width: 72rpx;
height: 72rpx;
display: flex;
align-items: center;
justify-content: center;
flex-shrink: 0;
border-radius: 20rpx;
background: var(--brand-soft);
border: 2rpx solid var(--brand-line);
transition: opacity 0.15s ease, transform 0.15s ease,
background 0.15s ease, border-color 0.15s ease;
}
.media-btn:active {
opacity: 0.7;
transform: scale(0.92);
}
.media-btn.active {
background: var(--brand-strong);
border-color: var(--brand-strong);
/* 录音态加一层外发光,让"正在采集"在输入区下方也一眼可见 */
box-shadow: 0 0 0 6rpx var(--brand-soft);
animation: voice-breathe 1.6s ease-in-out infinite;
}
@keyframes voice-breathe {
0%, 100% {
box-shadow: 0 0 0 6rpx var(--brand-soft);
}
50% {
box-shadow: 0 0 0 12rpx var(--brand-soft);
}
}
/* ===== 语音 / 识别状态条 ===== */
/* 一行内联提示,贴在输入区上沿:不盖住输入框、不替换输入框,
录音与识别阶段都在这里说明"现在处于什么状态、下一步做什么" */
.voice-status {
display: flex;
align-items: center;
gap: 12rpx;
flex-shrink: 0;
margin: 8rpx 24rpx 0;
padding: 10rpx 20rpx;
border-radius: 16rpx;
background: var(--brand-soft);
border: 2rpx solid var(--brand-line);
}
.voice-dot {
width: 14rpx;
height: 14rpx;
border-radius: 50%;
flex-shrink: 0;
background: var(--brand-strong);
}
.voice-dot.recording {
animation: record-pulse 1.2s infinite ease-in-out;
}
/* 识别阶段不是采集,用慢速呼吸代替录音的脉冲,避免误以为还在录 */
.voice-dot.recognizing {
animation: voice-dot-soft 1.6s infinite ease-in-out;
}
.voice-status-text {
font-size: 24rpx;
line-height: 1.5;
color: var(--ink-2);
}
/* 实时链路不可用时的补充说明:不是错误,只是告知「结束后出字」 */
.voice-status-sub {
margin-left: auto;
flex-shrink: 0;
font-size: 22rpx;
color: var(--muted);
}
@keyframes record-pulse {
0%, 100% {
transform: scale(0.7);
opacity: 0.4;
}
50% {
transform: scale(1);
opacity: 1;
}
}
@keyframes voice-dot-soft {
0%, 100% {
opacity: 0.35;
}
50% {
opacity: 1;
}
}
/* 发送按钮:默认浅橙底 + 描边,有内容时转实心暖橙(全页唯一的实心橙块)。
默认态落在白面输入区上,浅橙底同样靠 --brand-line 描边托形。
圆角由正圆(50%)改为 20rpx,与左侧输入框、上方气泡同档,成对出现 */