feat(ai): 语音输入实时流式回显,图片输入直接上屏
- 录音按 1KB 分片(约 170ms)实时上传,ASR 中间结果逐字回填输入框;结束时定稿并直接发送 - 分片缺失 / 供应商失败 / 超时统一走整段转写兜底,状态条提示「结束后整段转写」 - 补齐全链路日志:语音流开始、首帧头字节、分片计数、每条中间结果、定稿汇总, 便于区分客户端没发分片、服务端解码失败与供应商失败 - 新增 scope.record 权限说明,录音仅用于本次转写
This commit is contained in:
@@ -22,6 +22,11 @@
|
||||
"navigationBarTitleText": "暖橙陪诊",
|
||||
"navigationBarTextStyle": "black"
|
||||
},
|
||||
"permission": {
|
||||
"scope.record": {
|
||||
"desc": "用于语音输入陪诊问题,录音仅用于本次转写,不会保存"
|
||||
}
|
||||
},
|
||||
"tabBar": {
|
||||
"custom": true,
|
||||
"color": "#6F655C",
|
||||
|
||||
+980
-1
File diff suppressed because it is too large
Load Diff
+61
-18
@@ -75,13 +75,15 @@
|
||||
/>
|
||||
<text wx:elif="{{item.contentType === 'text'}}" class="message-text">{{item.content}}</text>
|
||||
<image
|
||||
wx:if="{{item.contentType === 'image'}}"
|
||||
wx:if="{{item.contentType === 'image' && item.content}}"
|
||||
class="message-image"
|
||||
src="{{item.content}}"
|
||||
mode="widthFix"
|
||||
bindtap="previewImage"
|
||||
data-src="{{item.content}}"
|
||||
/>
|
||||
<!-- 历史里的图片不存临时路径(重启即失效),退化成一行占位 -->
|
||||
<text wx:elif="{{item.contentType === 'image'}}" class="message-image-placeholder">[图片]</text>
|
||||
</view>
|
||||
<!-- 常见问题:由「常见问题」按钮触发,把问题清单直接铺进会话流里。
|
||||
复用欢迎区的白卡 + chevron 语言,点一下即发送该问题 -->
|
||||
@@ -135,37 +137,78 @@
|
||||
<view style="height: 40rpx;"></view>
|
||||
</scroll-view>
|
||||
|
||||
<!-- 输入区 -->
|
||||
<!-- 语音状态:录音 / 识别状态紧贴输入区上方一行。
|
||||
只占一行内联提示,不做浮层、不替换输入区,输入框全程可见可读 -->
|
||||
<view class="voice-status" wx:if="{{recording || isRecognizing}}">
|
||||
<view class="voice-dot {{recording ? 'recording' : 'recognizing'}}"></view>
|
||||
<text class="voice-status-text" wx:if="{{recording}}">正在录音 {{recordTime}},再次点击麦克风结束并发送</text>
|
||||
<text class="voice-status-text" wx:else>正在识别并发送…</text>
|
||||
<text class="voice-status-sub" wx:if="{{recording && voiceRealtimeOff}}">结束后整段转写</text>
|
||||
</view>
|
||||
|
||||
<!-- 输入区:整行让给文字输入 + 右侧发送。
|
||||
语音识别结果实时回填到这里,结束时直接发送;手动输入仍走右侧发送键 -->
|
||||
<view class="input-area">
|
||||
<input
|
||||
class="message-input"
|
||||
type="text"
|
||||
<textarea
|
||||
class="message-input {{recording || isRecognizing ? 'is-readonly' : ''}}"
|
||||
value="{{inputValue}}"
|
||||
placeholder="请输入您的问题..."
|
||||
placeholder-class="input-placeholder"
|
||||
auto-height
|
||||
maxlength="-1"
|
||||
cursor-spacing="24"
|
||||
confirm-type="send"
|
||||
disabled="{{recording || isRecognizing}}"
|
||||
bindinput="onInputChange"
|
||||
bindconfirm="sendMessage"
|
||||
focus="{{inputFocus}}"
|
||||
/>
|
||||
<view class="action-btn send-btn {{inputValue ? 'active' : ''}}" bindtap="sendMessage"
|
||||
aria-role="button" aria-label="发送消息" aria-disabled="{{!inputValue}}">
|
||||
<t-icon name="send" size="40rpx" color="{{inputValue ? '#FFFFFF' : '#6F655C'}}" />
|
||||
<view
|
||||
class="action-btn send-btn {{inputValue && !recording && !isRecognizing ? 'active' : ''}}"
|
||||
bindtap="sendMessage"
|
||||
aria-role="button"
|
||||
aria-label="发送消息"
|
||||
aria-disabled="{{!inputValue || recording || isRecognizing}}"
|
||||
>
|
||||
<t-icon name="send" size="40rpx" color="{{inputValue && !recording && !isRecognizing ? '#FFFFFF' : '#6F655C'}}" />
|
||||
</view>
|
||||
</view>
|
||||
|
||||
<!-- 辅助入口:紧贴输入区下方——拇指最容易够到的位置,操作方便。
|
||||
两者都是低频动作,故做成只描边不填充的暖橙小按钮(圆角与输入框同为 20rpx),
|
||||
与输入区右侧浅橙底的发送键区分开,不做成裸文字链。
|
||||
「常见问题」在左、「清空聊天」在右:破坏性动作收在最右端 -->
|
||||
<view class="tool-bar" wx:if="{{messages.length > 0}}">
|
||||
<view class="tool-btn" bindtap="showQuickQuestions">
|
||||
<t-icon name="help-circle" size="26rpx" color="#9B4508" />
|
||||
<text class="tool-btn-text">常见问题</text>
|
||||
左端是会话级动作(常见问题 / 清空聊天),只在有消息时出现,做成只描边不填充的
|
||||
暖橙小按钮(圆角与输入框同为 20rpx),与输入区右侧浅橙底的发送键区分开;
|
||||
靠左与上方输入框、消息气泡同一条左边线。
|
||||
右端两个只留图标的入口是语音 / 图片:空会话也要能点,故常驻,不做成描边按钮。
|
||||
麦克风在录音中转为实心暖橙底的白图标,本身就是「再点一次结束」的入口。
|
||||
清空聊天是破坏性动作,放在左组最右端(不顶到整行最右)、右侧留给输入入口 -->
|
||||
<view class="tool-bar">
|
||||
<view class="tool-group" wx:if="{{messages.length > 0}}">
|
||||
<view class="tool-btn" bindtap="showQuickQuestions">
|
||||
<t-icon name="help-circle" size="26rpx" color="#9B4508" />
|
||||
<text class="tool-btn-text">常见问题</text>
|
||||
</view>
|
||||
<view class="tool-btn" bindtap="clearChat">
|
||||
<t-icon name="delete" size="26rpx" color="#9B4508" />
|
||||
<text class="tool-btn-text">清空聊天</text>
|
||||
</view>
|
||||
</view>
|
||||
<view class="tool-btn" bindtap="clearChat">
|
||||
<t-icon name="delete" size="26rpx" color="#9B4508" />
|
||||
<text class="tool-btn-text">清空聊天</text>
|
||||
<view class="media-group">
|
||||
<view
|
||||
class="media-btn {{recording ? 'active' : ''}}"
|
||||
bindtap="onMicTap"
|
||||
aria-role="button"
|
||||
aria-label="{{recording ? '结束语音输入' : '语音输入'}}"
|
||||
>
|
||||
<t-icon name="microphone" size="32rpx" color="{{recording ? '#FFFFFF' : '#9B4508'}}" />
|
||||
</view>
|
||||
<view
|
||||
class="media-btn"
|
||||
bindtap="onImageTap"
|
||||
aria-role="button"
|
||||
aria-label="拍照或选择图片"
|
||||
>
|
||||
<t-icon name="image" size="32rpx" color="#9B4508" />
|
||||
</view>
|
||||
</view>
|
||||
</view>
|
||||
</view>
|
||||
+166
-15
@@ -10,11 +10,10 @@
|
||||
overflow: hidden 是兜底,避免任何子项溢出到视口外变成"看得见滑不到" */
|
||||
overflow: hidden;
|
||||
/* 给 fixed 的自定义 tabBar 留位;安全区由这里统一承担,输入区不再重复加。
|
||||
tabBar 实测高度 = 12+12 内距 + 44 图标 + 6 间距 + 24 文字 + 2 边框 = 100rpx(+安全区)。
|
||||
140 → 120 → 112rpx:按钮下边只剩 12rpx(6px) 空隙,已贴近下限——
|
||||
再往下(<100rpx)胶囊就会被 tabBar 盖住;这 12rpx 同时是防微信字体放大
|
||||
把 tabBar 撑高的缓冲,不宜再压 */
|
||||
padding-bottom: calc(112rpx + env(safe-area-inset-bottom));
|
||||
tabBar 总高 100rpx(12+12 内距 + 44 图标 + 6 间距 + 24 文字 + 2 边框),
|
||||
页面占位与它同用 rpx 体系:tabBar 高度 + 2px 恒定缓冲,
|
||||
任何屏幕宽度上工具条与 tabBar 的间隙都一致,不会大屏贴住、小屏偏空 */
|
||||
padding-bottom: calc(100rpx + 2px + env(safe-area-inset-bottom));
|
||||
background-color: var(--paper);
|
||||
}
|
||||
|
||||
@@ -55,20 +54,38 @@
|
||||
opacity: 0.6;
|
||||
}
|
||||
|
||||
/* ===== 辅助入口(在输入区下方:常见问题 + 清空聊天)===== */
|
||||
/* 空心描边小按钮:2rpx 暖橙描边、无填充。
|
||||
两者都是低频辅助动作,用"只描边"与输入区右侧那个浅橙底发送键区分开;
|
||||
/* ===== 辅助入口(在输入区下方:常见问题 + 清空聊天 + 语音/图片)===== */
|
||||
/* 左端是空心描边小按钮:2rpx 暖橙描边、无填充。
|
||||
会话动作(常见问题 / 清空聊天)用"只描边"与输入区右侧那个浅橙底发送键区分开;
|
||||
描边在纸面上 4.66:1、文字 6.10:1,均过线。
|
||||
圆角 20rpx 与输入框、发送键、气泡同档——全页统一为圆角矩形,不再有胶囊。
|
||||
容器是 column,靠 align-self: flex-end 把整行右对齐 */
|
||||
右端的语音/图片入口与头像同构(浅橙衬底 + 描边),比左侧描边小按钮多一层衬底,
|
||||
靠"只留图形"与带文字的会话动作分层。
|
||||
整行不再 shrink 到内容宽度:铺满后左组贴左、右组贴右,
|
||||
左右 24rpx 与输入区、消息气泡同一条边线,不再内缩 8rpx */
|
||||
.tool-bar {
|
||||
align-self: flex-end;
|
||||
align-self: stretch;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
gap: 16rpx;
|
||||
flex-shrink: 0;
|
||||
/* 上 12 贴住输入区,右 32 对齐页面页边距;下不留边距,底部空气统一交给容器 */
|
||||
margin: 12rpx 32rpx 0;
|
||||
/* 上 6 贴住输入区(输入区底部内距 8rpx,合计 14rpx);下不留边距,
|
||||
底部空气统一交给容器(容器 padding-bottom 已按 tabBar 覆盖下限预留) */
|
||||
margin: 6rpx 24rpx 0;
|
||||
}
|
||||
|
||||
/* 两组内部各用 gap 排布;右组 margin-left:auto 兜住"左组不存在"的空会话状态,
|
||||
此时两个图标仍贴右,不会因为只剩一组就滑到左边 */
|
||||
.tool-group,
|
||||
.media-group {
|
||||
display: flex;
|
||||
align-items: center;
|
||||
gap: 16rpx;
|
||||
}
|
||||
|
||||
.media-group {
|
||||
margin-left: auto;
|
||||
flex-shrink: 0;
|
||||
}
|
||||
|
||||
.tool-btn {
|
||||
@@ -392,6 +409,13 @@
|
||||
border-radius: 12rpx;
|
||||
}
|
||||
|
||||
/* 历史里的图片只剩占位(临时路径不落 storage),用一行弱化的说明撑住上下文 */
|
||||
.message-image-placeholder {
|
||||
font-size: 28rpx;
|
||||
line-height: 1.6;
|
||||
color: var(--muted);
|
||||
}
|
||||
|
||||
/* ===== 正在输入 ===== */
|
||||
.typing-bubble {
|
||||
padding: 24rpx 32rpx;
|
||||
@@ -437,28 +461,155 @@
|
||||
gap: 16rpx;
|
||||
/* 钉在容器底部,不被消息区挤压 */
|
||||
flex-shrink: 0;
|
||||
padding: 16rpx 24rpx;
|
||||
/* 底部内距收窄到 8rpx:与下方工具条合计 14rpx 间隙,
|
||||
给语音/图片按钮省出竖向空间 */
|
||||
padding: 16rpx 24rpx 8rpx;
|
||||
background: var(--white);
|
||||
border-top: 2rpx solid var(--line);
|
||||
}
|
||||
|
||||
/* 输入框改为自增高 textarea:语音识别结果通常是一整句话,
|
||||
单行 input 会把内容截断,导致用户看不到自己说了什么。
|
||||
默认高度按 2 行撑起(28rpx 字号 × 1.5 行高 × 2 行 + 上下 18rpx 内距 = 120rpx),
|
||||
一眼可见多行输入的体量,长问题也不用先挤在一行里;
|
||||
内容再长继续随 auto-height 增长,最多约 4 行,不把消息区挤没 */
|
||||
.message-input {
|
||||
flex: 1;
|
||||
height: 76rpx;
|
||||
padding: 0 28rpx;
|
||||
width: auto;
|
||||
min-height: 120rpx;
|
||||
max-height: 220rpx;
|
||||
padding: 18rpx 28rpx;
|
||||
box-sizing: border-box;
|
||||
background: var(--paper);
|
||||
border: 2rpx solid var(--line);
|
||||
/* 20rpx = 10px:与气泡、常见问题卡、用户徽记的统一圆角档,
|
||||
比原 999rpx 胶囊更贴合"输入条"的体量(76rpx 高≈38px,10px 圆角约占四分之一) */
|
||||
border-radius: 20rpx;
|
||||
font-size: 28rpx;
|
||||
line-height: 1.5;
|
||||
color: var(--ink);
|
||||
}
|
||||
|
||||
/* 录音/识别中只读:内容仍要清楚可读,不能被原生 disabled 灰掉 */
|
||||
.message-input.is-readonly {
|
||||
opacity: 1;
|
||||
-webkit-text-fill-color: var(--ink);
|
||||
}
|
||||
|
||||
.input-placeholder {
|
||||
color: var(--muted);
|
||||
}
|
||||
|
||||
/* 语音/图片入口:与辅助动作同一行,收在「清空聊天」右侧。
|
||||
原为裸图标(无底无描边),视觉上悬空、热区不明确;现改为与头像、
|
||||
欢迎区图标同构的"浅橙衬底 + 2rpx --brand-line 描边"小方块,
|
||||
既是明确可点的按钮,又与全页浅橙家族同一语言。
|
||||
72rpx(36px)满足最小触控热区,比图标图形大出一圈,方便点击;
|
||||
圆角 20rpx 与输入框、发送键、气泡统一为同档圆角矩形。
|
||||
录音中麦克风转成实心暖橙底 + 白色图标:同一位置、同一热区,用户再点一次即结束,
|
||||
不额外长出第二个按钮 */
|
||||
.media-btn {
|
||||
width: 72rpx;
|
||||
height: 72rpx;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
justify-content: center;
|
||||
flex-shrink: 0;
|
||||
border-radius: 20rpx;
|
||||
background: var(--brand-soft);
|
||||
border: 2rpx solid var(--brand-line);
|
||||
transition: opacity 0.15s ease, transform 0.15s ease,
|
||||
background 0.15s ease, border-color 0.15s ease;
|
||||
}
|
||||
|
||||
.media-btn:active {
|
||||
opacity: 0.7;
|
||||
transform: scale(0.92);
|
||||
}
|
||||
|
||||
.media-btn.active {
|
||||
background: var(--brand-strong);
|
||||
border-color: var(--brand-strong);
|
||||
/* 录音态加一层外发光,让"正在采集"在输入区下方也一眼可见 */
|
||||
box-shadow: 0 0 0 6rpx var(--brand-soft);
|
||||
animation: voice-breathe 1.6s ease-in-out infinite;
|
||||
}
|
||||
|
||||
@keyframes voice-breathe {
|
||||
0%, 100% {
|
||||
box-shadow: 0 0 0 6rpx var(--brand-soft);
|
||||
}
|
||||
50% {
|
||||
box-shadow: 0 0 0 12rpx var(--brand-soft);
|
||||
}
|
||||
}
|
||||
|
||||
/* ===== 语音 / 识别状态条 ===== */
|
||||
/* 一行内联提示,贴在输入区上沿:不盖住输入框、不替换输入框,
|
||||
录音与识别阶段都在这里说明"现在处于什么状态、下一步做什么" */
|
||||
.voice-status {
|
||||
display: flex;
|
||||
align-items: center;
|
||||
gap: 12rpx;
|
||||
flex-shrink: 0;
|
||||
margin: 8rpx 24rpx 0;
|
||||
padding: 10rpx 20rpx;
|
||||
border-radius: 16rpx;
|
||||
background: var(--brand-soft);
|
||||
border: 2rpx solid var(--brand-line);
|
||||
}
|
||||
|
||||
.voice-dot {
|
||||
width: 14rpx;
|
||||
height: 14rpx;
|
||||
border-radius: 50%;
|
||||
flex-shrink: 0;
|
||||
background: var(--brand-strong);
|
||||
}
|
||||
|
||||
.voice-dot.recording {
|
||||
animation: record-pulse 1.2s infinite ease-in-out;
|
||||
}
|
||||
|
||||
/* 识别阶段不是采集,用慢速呼吸代替录音的脉冲,避免误以为还在录 */
|
||||
.voice-dot.recognizing {
|
||||
animation: voice-dot-soft 1.6s infinite ease-in-out;
|
||||
}
|
||||
|
||||
.voice-status-text {
|
||||
font-size: 24rpx;
|
||||
line-height: 1.5;
|
||||
color: var(--ink-2);
|
||||
}
|
||||
|
||||
/* 实时链路不可用时的补充说明:不是错误,只是告知「结束后出字」 */
|
||||
.voice-status-sub {
|
||||
margin-left: auto;
|
||||
flex-shrink: 0;
|
||||
font-size: 22rpx;
|
||||
color: var(--muted);
|
||||
}
|
||||
|
||||
@keyframes record-pulse {
|
||||
0%, 100% {
|
||||
transform: scale(0.7);
|
||||
opacity: 0.4;
|
||||
}
|
||||
50% {
|
||||
transform: scale(1);
|
||||
opacity: 1;
|
||||
}
|
||||
}
|
||||
|
||||
@keyframes voice-dot-soft {
|
||||
0%, 100% {
|
||||
opacity: 0.35;
|
||||
}
|
||||
50% {
|
||||
opacity: 1;
|
||||
}
|
||||
}
|
||||
|
||||
/* 发送按钮:默认浅橙底 + 描边,有内容时转实心暖橙(全页唯一的实心橙块)。
|
||||
默认态落在白面输入区上,浅橙底同样靠 --brand-line 描边托形。
|
||||
圆角由正圆(50%)改为 20rpx,与左侧输入框、上方气泡同档,成对出现 */
|
||||
|
||||
Reference in New Issue
Block a user