Files
api_health/agent/infra/media/ocr_qwen.js
T
lik 8c6feaf42d feat: 新增语音/图像识别能力(媒体会话、识别接口与路由)
识别只返回文本,不投递、不落库:语音支持 mp3/aac/wav/pcm,WebM 先按文件头识别再转 PCM;图片走 qwen-vl-ocr。新增 /health/ai/asr 与 /health/ai/ocr,登录后按用户限流 20 次/分钟,并对 /health/ai/ 前缀放宽请求体上限。
2026-10-31 17:02:42 +08:00

576 lines
22 KiB
JavaScript
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
/**
* 图像识别适配器:通义千问(DashScope)视觉模型
*
* 与 asr.js 的会话接口一致:{ push(buffer), finish() -> Promise<text>, abort() }
* 图片不做流式推流,分片只用于搬运大文件,`finish()` 时整图一次性提交。
*
* 协议(DashScope OpenAI 兼容模式):
* - POST {baseUrl}/chat/completions
* - messages 里用 image_url 传 data URL:`data:${mime};base64,...`
* - 默认 qwen-vl-ocr + transcribe(只转写,解读交给主 agent)
* - 要求模型输出严格 JSON,这里拼成可读文本再返回
*
* 密钥只从配置或环境变量读取,不回显给调用方;原图只在本轮内存里存在,用完即释放。
*/
import { randomUUID } from 'node:crypto';
import logger from '../../../utils/logger.js';
/** DashScope OpenAI 兼容入口 */
export const DASHSCOPE_CHAT_ENDPOINT = 'https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions';
/** 缺省模型:专用 OCR 模型,只转写时速度约为通用视觉模型的 3 倍 */
export const DEFAULT_VISION_MODEL = 'qwen-vl-ocr';
/** 缺省免责声明:随结果返回,由配置覆盖 */
export const DEFAULT_DISCLAIMER = '本内容为图像文字识别结果,不构成诊断意见,请以医生诊断与医院报告为准。';
/** 图片类型取值:首版固定 auto,由模型自判 */
export const IMAGE_KINDS = ['auto', 'report', 'ecg', 'imaging'];
/** 系统提示:只依据图片可见信息作答,输出严格 JSON,解读从简 */
const SYSTEM_PROMPT = `你是医学图像与医疗文书识别助手。请完整转写图片内容,并给出简短、客观的解读。
要求:
1. 只依据图片中实际可见的信息作答;看不清或不确定写"无法辨认",禁止编造数值、人名、日期与结论。
2. 数值、单位、参考范围、箭头(↑ ↓)、阴性/阳性标记原样保留,不得四舍五入或换算。
3. 只输出一个 JSON 对象,不要用 Markdown 代码块包裹,不要输出 JSON 以外的说明。
4. 解读从简:findings ≤80 字,impression ≤120 字;不要展开病因清单、检查建议或长篇科普。
5. 发现可能危及生命的征象时写入 urgent 并建议尽快就医;没有则留空字符串。`;
/** 按图片类型给出的额外指令:决定模型关注点(首版只有 auto 会命中) */
const KIND_PROMPTS = {
report: '这是一份检查/检验报告或病历。逐行转写全部文字,表格列用 | 分隔;facts 只列偏高/偏低/阳性等异常项,正常项不重复。',
ecg: '这是一张心电图。读出心率、心律、各导联可见的 P/QRS/T 形态、ST 段与 QT 间期等可辨识信息,注明导联数与走纸速度;先客观描述再简短解读。',
imaging: '这是一张影像图(X 光/CT/MRI 胶片或屏幕照片)。说明部位与体位/投照方式,客观描述可见结构(肺野、心影、纵隔、膈肌、骨骼、有无置管),再给出简短解读;屏幕拍摄的摩尔纹或模糊写进 quality。',
auto: '先判断图片属于哪一类(检验/检查报告、病历、心电图、影像、处方),再按对应类型完成转写与简短解读。'
};
/** 输出 JSON 的字段契约(限制解读长度、facts 去重,减少生成 token) */
const SCHEMA_PROMPT = `请只输出以下 JSON 结构(没有的字段留空字符串或空数组):
{
"docType": "lab_report | medical_record | ecg | imaging | prescription | other",
"title": "文档或检查名称",
"text": "逐行转写的正文,表格用 | 分隔列",
"facts": [{ "name": "", "value": "", "unit": "", "ref": "", "flag": "偏高|偏低|阳性" }],
"findings": "客观所见,≤80 字",
"impression": "通俗解读,≤120 字",
"urgent": "需要尽快就医的征象,没有则为空",
"quality": { "readable": true, "issues": [] }
}
facts 仅列异常/阳性项,正常项已在 text 中,不要重复;不要输出 disclaimer。`;
/**
* 只转写模式不附加任何提示词。
*
* qwen-vl-ocr 是专用 OCR 模型,自带逐行转写模板;实测给它系统提示或 JSON 契约后,
* 它会把整段文字压成摘要(表格列还会粘成一串),甚至只回坐标不回文字。
* 只传图片时输出才是逐行完整原文,类型与标题在本文件里按文本兜底判断。
*/
/**
* 构造一次识别请求的消息体
* @param {Object} params
* @param {string} [params.kind] - auto / report / ecg / imaging
* @param {string} [params.mime] - 图片 MIME
* @param {string} [params.base64] - 图片 base64(不含前缀)
* @param {number} [params.width] - 像素宽(供模型判断清晰度)
* @param {number} [params.height] - 像素高
* @param {string} [params.profile] - full(转写+解读)/ transcribe(只转写)
* @returns {Array<Object>} OpenAI 兼容的 messages
*/
export function buildMessages({
kind = 'auto',
mime = 'image/jpeg',
base64 = '',
width = 0,
height = 0,
profile = 'transcribe'
} = {}) {
const imagePart = { type: 'image_url', image_url: { url: `data:${mime};base64,${base64}` } };
// 只转写:不挂系统提示、不加结构化契约,交给模型按原生 OCR 模板逐行输出
if (profile === 'transcribe') {
return [
{
role: 'user',
content: [imagePart]
}
];
}
const sizeNote = width && height ? `图片尺寸约 ${width}×${height} 像素。` : '';
const kindPrompt = KIND_PROMPTS[kind] || KIND_PROMPTS.auto;
const instruction = `${kindPrompt}\n${sizeNote}\n${SCHEMA_PROMPT}`;
return [
{ role: 'system', content: SYSTEM_PROMPT },
{
role: 'user',
content: [imagePart, { type: 'text', text: instruction }]
}
];
}
function tryParseJson(text) {
try {
return JSON.parse(text);
} catch {
return undefined;
}
}
/**
* 从模型输出里取出 JSON 主体:模型可能加 Markdown 代码块或前后说明。
* 依次尝试「代码块内容 / 整段 / 花括号区间 / 方括号区间」,都解析不了返回 undefined。
* 纯文本转写一律走 undefined 分支,避免把正文里的方括号当成数组截断。
*/
function parseStructured(raw) {
const text = (raw || '').trim();
if (!text) return undefined;
const candidates = [];
const fenced = text.match(/```(?:json)?\s*([\s\S]*?)```/i);
if (fenced) candidates.push(fenced[1].trim());
candidates.push(text);
const objStart = text.indexOf('{');
if (objStart !== -1) {
const end = text.lastIndexOf('}');
if (end > objStart) candidates.push(text.slice(objStart, end + 1));
}
const arrStart = text.indexOf('[');
if (arrStart !== -1) {
const end = text.lastIndexOf(']');
if (end > arrStart) candidates.push(text.slice(arrStart, end + 1));
}
for (const candidate of candidates) {
const parsed = tryParseJson(candidate);
if (parsed !== undefined) return parsed;
}
return undefined;
}
/**
* 原生 OCR 行结果([{ rotate_rect, text }])拼成逐行正文。
* 有的模型版本会逐行返回坐标 + 文字,这里只取文字并按给出的行序排列。
* @param {Array} items
* @returns {string} 空串表示该结果里没有可用文字
*/
function joinOcrLines(items) {
if (!Array.isArray(items)) return '';
return items
.map((item) => {
if (typeof item === 'string') return item.trim();
return typeof item?.text === 'string' ? item.text.trim() : '';
})
.filter(Boolean)
.join('\n');
}
/**
* 解析模型输出:兼容结构化 JSON、原生 OCR 行数组与纯文本转写。
* 三种形态最终都会拼成带【图像识别】【原文转写】的可读文本,
* 保证「原文」段就是模型看到的全部文字,而不是摘要。
* @param {string} raw - 模型返回的 content
* @param {string} [disclaimer] - 免责声明(JSON 未提供时兜底)
* @returns {{ data: Object|null, text: string }}
*/
export function parseVisionResult(raw, disclaimer = DEFAULT_DISCLAIMER) {
const rawText = (raw || '').trim();
if (!rawText) return { data: null, text: '' };
let data = null;
const parsed = parseStructured(rawText);
if (Array.isArray(parsed)) {
const text = joinOcrLines(parsed);
// 行数组里只有坐标没有文字:属于模型输出异常,不能当正文展示
if (!text) return { data: null, text: '' };
data = { text };
} else if (parsed && typeof parsed === 'object') {
data = parsed;
} else if (typeof parsed === 'string') {
data = { text: parsed.trim() };
}
// 纯文本输出(专用 OCR 模型最常见的形态)同样按原文转写落盘
if (!data) data = { text: rawText };
return { data, text: composeDocumentText(data, disclaimer) };
}
/** 文档类型关键词:标题命中优先,正文兜底(\bCT\b 避免把 PCT、CRP 当成 CT 检查) */
const DOC_TYPE_RULES = [
['ecg', /心电图|ECG|EKG/i],
['prescription', /处方|Rp\./i],
['imaging', /\bCT\b|\bMRI\b|核磁|磁共振|X\s*线|X\s*光|超声|B\s*超|彩超|影像/],
['lab_report', /检验|化验|血常规|生化|尿常规/]
];
/** 专用 OCR 模型常把 CT 报告判成 lab_report,这里用标题/正文关键词兜底纠正 */
function refineDocType(data) {
const title = String(data.title || pickTitle(data.text) || '');
const sample = `${title}\n${data.text || ''}`.slice(0, 1200);
for (const [type, pattern] of DOC_TYPE_RULES) {
if (pattern.test(title)) return type;
}
for (const [type, pattern] of DOC_TYPE_RULES) {
if (pattern.test(sample)) return type;
}
return data.docType;
}
/** 原生转写没有单独标题字段时,从首行取出文档名(只在像标题时才用) */
function pickTitle(text) {
const first = String(text || '')
.split('\n')
.map(line => line.trim())
.find(Boolean) || '';
if (!first || first.length > 40) return '';
return /报告|病历|处方|检验|化验|检查|影像|超声|心电|CT|MRI|X\s*光|门诊|入院|出院/i.test(first)
? first
: '';
}
/** 原生转写列之间可能是制表符、多个半角空格或全角空格;markdown 会折叠空白,需要还原成表格 */
const COLUMN_GAP_RE = /\t+|[ ]{2,}|[\u3000\u00a0\u2002\u2003\u2009]+/;
const TABLE_HEADER_RE = /项目|检验项目|检查项目|名称|指标|结果|数值|单位|参考范围|参考值|正常值|提示|状态|结论|日期|时间|药物|剂量|用法|频次/;
function splitColumns(line) {
return line
.trim()
.split(COLUMN_GAP_RE)
.map(cell => cell.trim())
.filter(Boolean);
}
/** 表头至少 3 列,且多数列名能命中报告表头关键词,避免把「姓名 性别 年龄」当成表格 */
function looksLikeTableHeader(cells) {
if (cells.length < 3) return false;
return cells.filter(cell => TABLE_HEADER_RE.test(cell)).length >= 2;
}
function escapeTableCell(value) {
return String(value)
.replace(/\\/g, '\\\\')
.replace(/\|/g, '\\|')
.replace(/\*/g, '\\*')
.replace(/_/g, '\\_')
.replace(/`/g, '\\`')
.replace(/\[/g, '\\[')
.replace(/\]/g, '\\]');
}
function toMarkdownTable(header, rows) {
const width = header.length;
const normalize = (cells) => {
const list = cells.slice(0, width).map(cell => cell.trim());
// 某行列数超出表头时并进最后一列,避免丢文字
if (cells.length > width) {
list[width - 1] = `${list[width - 1] || ''} ${cells.slice(width - 1).join(' ')}`.trim();
}
while (list.length < width) list.push('');
return list.map(escapeTableCell);
};
const lines = [
`| ${normalize(header).join(' | ')} |`,
`| ${Array.from({ length: width }, () => '---').join(' | ')} |`
];
for (const row of rows) lines.push(`| ${normalize(row).join(' | ')} |`);
return lines.join('\n');
}
/**
* 把原生 OCR 正文排版成 markdown,尽量贴近原图布局:
* - 连续的空格分列块还原成 markdown 表格(手机端表格会按列换行,不会像纯文本那样被折叠);
* - 其余行各自成段,保留原有换行顺序,不被 markdown 合并成一段。
* @param {string} text
* @returns {string}
*/
export function formatTranscription(text) {
const lines = String(text || '').replace(/\r\n/g, '\n').split('\n');
const blocks = [];
const paragraph = [];
const flushParagraph = () => {
if (!paragraph.length) return;
blocks.push(paragraph.join('\n\n'));
paragraph.length = 0;
};
for (let i = 0; i < lines.length; i++) {
const line = lines[i].trimEnd();
if (!line.trim()) {
flushParagraph();
continue;
}
const cells = splitColumns(line);
if (looksLikeTableHeader(cells)) {
const rows = [];
let j = i + 1;
while (j < lines.length) {
const next = lines[j].trimEnd();
if (!next.trim()) break;
const nextCells = splitColumns(next);
// 少于 3 列是普通说明行;又出现表头则是下一张表
if (nextCells.length < 3 || looksLikeTableHeader(nextCells)) break;
rows.push(nextCells);
j += 1;
}
if (rows.length) {
flushParagraph();
blocks.push(toMarkdownTable(cells, rows));
i = j - 1;
continue;
}
}
paragraph.push(line.trim());
}
flushParagraph();
return blocks.join('\n\n');
}
/** 把结构化结果拼成 agent 易读的纯文本(输入框回填 / 投递的人类消息就是这段) */
export function composeDocumentText(data, disclaimer = DEFAULT_DISCLAIMER) {
const typeMap = {
lab_report: '检验报告',
medical_record: '病历',
ecg: '心电图',
imaging: '影像',
prescription: '处方',
other: '其他'
};
const refinedType = refineDocType(data);
const docType = typeMap[refinedType] || refinedType || '未识别类型';
const title = data.title || pickTitle(data.text);
const lines = [`【图像识别】${docType}${title ? `|${title}` : ''}`];
// 原文转写用空行和标题分隔:markdown 会把单换行合并成一段,标题会和正文粘在一起
if (data.text) lines.push(`【原文转写】\n\n${formatTranscription(data.text)}`);
const facts = Array.isArray(data.facts) ? data.facts.filter(item => item && item.name) : [];
if (facts.length) {
const rows = facts.map((item) => {
const value = [item.value, item.unit].filter(Boolean).join(' ');
const ref = item.ref ? `(参考 ${item.ref})` : '';
const flag = item.flag && item.flag !== '未知' ? item.flag : '';
return `- ${item.name}:${value || '—'}${ref}${flag}`;
});
lines.push(`【结构化要点】\n${rows.join('\n')}`);
}
if (data.findings) lines.push(`【客观所见】\n${data.findings}`);
if (data.impression) lines.push(`【解读】\n${data.impression}`);
if (data.urgent) lines.push(`【需尽快就医】\n${data.urgent}`);
const quality = data.quality || {};
if (Array.isArray(quality.issues) && quality.issues.length) {
lines.push(`【图像质量】${quality.issues.join('、')}${quality.readable === false ? '(识别可能不完整)' : ''}`);
}
lines.push(`【说明】${data.disclaimer || disclaimer}`);
return lines.join('\n\n').trim();
}
/**
* 创建一轮图像识别会话
*
* 与 ASR 会话同签名,调用方无需区分模态:
* push(buffer) 只累积(图片不流式),finish() 提交整图,abort() 丢弃缓冲。
*
* @param {Object} [options]
* @param {string} [options.endpoint] - chat/completions 地址
* @param {string} [options.baseUrl] - OpenAI 兼容 baseUrl(自动补 /chat/completions)
* @param {string} [options.apiKey] - 显式密钥(优先于环境变量)
* @param {string} [options.apiKeyEnv] - 密钥环境变量名
* @param {string} [options.model] - 模型名(默认 qwen-vl-ocr)
* @param {string} [options.kind] - auto / report / ecg / imaging
* @param {string} [options.profile] - full(转写+解读)/ transcribe(只转写,默认)
* @param {string} [options.mime] - 图片 MIME
* @param {number} [options.width] - 像素宽
* @param {number} [options.height] - 像素高
* @param {string} [options.turnId] - 本轮标识(仅日志关联用)
* @param {Object} [options.parameters] - 追加到请求体的供应商参数
* @param {string} [options.disclaimer] - 免责声明(拼装时兜底)
* @param {number} [options.requestTimeoutMs] - 单次请求超时
* @param {Object} [options.logger] - 日志实例
* @param {Function} [options.fetchImpl] - 测试注入的 fetch
* @returns {{ push: Function, finish: Function, abort: Function }}
*/
export function createQwenVisionSession({
endpoint = DASHSCOPE_CHAT_ENDPOINT,
baseUrl = '',
apiKey = '',
apiKeyEnv = '',
model = DEFAULT_VISION_MODEL,
kind = 'auto',
profile = 'transcribe',
mime = 'image/jpeg',
width = 0,
height = 0,
turnId = '',
parameters = {},
disclaimer = DEFAULT_DISCLAIMER,
requestTimeoutMs = 60000,
logger: customLogger = null,
fetchImpl = fetch
} = {}) {
const _logger = customLogger || logger;
const key = apiKey || (apiKeyEnv ? process.env[apiKeyEnv] : '') || '';
const pickedModel = model || DEFAULT_VISION_MODEL;
const target = !endpoint && baseUrl
? `${baseUrl.replace(/\/$/, '')}/chat/completions`
: endpoint;
const requestId = randomUUID().replace(/-/g, '').slice(0, 12);
const chunks = [];
let aborted = false;
let finished = false;
/** 进行中的请求控制器:abort() 时一并中止,避免轮次已回收还在计费 */
let activeController = null;
return {
/**
* 推入一个图片分片(原始字节)
* @param {Buffer} buffer - 分片
*/
push(buffer) {
if (aborted || finished || !buffer?.length) return;
chunks.push(buffer);
},
/**
* 结束收集并提交识别
* @returns {Promise<string>} 可投递文本(结构化结果已拼成可读文本)
*/
async finish() {
if (aborted) return '';
finished = true;
// 耗时拆解:encoding(base64+消息体)、request(等模型返回)、parse(读响应)
const startedAt = Date.now();
const image = Buffer.concat(chunks);
const imageBytes = image.length;
chunks.length = 0;
if (imageBytes === 0) return '';
if (!key) throw new Error('ocr api key missing');
if (!/^https?:\/\//i.test(target || '')) throw new Error(`invalid ocr endpoint: ${target}`);
const encodeStartedAt = Date.now();
const body = {
model: pickedModel,
temperature: 0,
messages: buildMessages({ kind, profile, mime, base64: image.toString('base64'), width, height }),
...parameters
};
const encodeMs = Date.now() - encodeStartedAt;
const controller = new AbortController();
activeController = controller;
const timer = setTimeout(() => controller.abort(), requestTimeoutMs);
let response = null;
const requestStartedAt = Date.now();
try {
response = await fetchImpl(target, {
method: 'POST',
headers: {
'Content-Type': 'application/json',
Authorization: `Bearer ${key}`
},
body: JSON.stringify(body),
signal: controller.signal
});
} catch (err) {
_logger.warn('ocr request failed', {
turnId,
requestId,
model: pickedModel,
kind,
bytes: imageBytes,
encodeMs,
requestMs: Date.now() - requestStartedAt,
elapsedMs: Date.now() - startedAt,
error: err.message
});
throw err.name === 'AbortError'
? new Error(aborted ? 'ocr aborted' : 'ocr request timeout')
: err;
} finally {
clearTimeout(timer);
activeController = null;
}
if (!response.ok) {
let detail = '';
try {
detail = (await response.text()).slice(0, 200);
} catch {
// 读错误体失败不影响主流程
}
_logger.warn('ocr http error', {
turnId,
requestId,
status: response.status,
detail,
bytes: imageBytes,
encodeMs,
requestMs: Date.now() - requestStartedAt,
elapsedMs: Date.now() - startedAt
});
throw new Error(`ocr http ${response.status}${detail ? `: ${detail}` : ''}`);
}
const parseStartedAt = Date.now();
const payload = await response.json();
const content = payload?.choices?.[0]?.message?.content ?? '';
const raw = Array.isArray(content)
? content.map(part => part?.text || '').join('\n')
: String(content);
const usage = payload?.usage || {};
_logger.info('ocr finished', {
turnId,
requestId,
model: pickedModel,
kind,
profile,
bytes: imageBytes,
encodeMs,
requestMs: parseStartedAt - requestStartedAt,
parseMs: Date.now() - parseStartedAt,
elapsedMs: Date.now() - startedAt,
// token / 输出长度用于判断耗时主要花在图片 prefill 还是文本 decode
promptTokens: usage.prompt_tokens ?? usage.input_tokens ?? 0,
completionTokens: usage.completion_tokens ?? usage.output_tokens ?? 0,
totalTokens: usage.total_tokens ?? 0,
outputChars: raw.length,
finishReason: payload?.choices?.[0]?.finish_reason || ''
});
// 输出被截断意味着「原文转写」不完整:单独告警,便于排查长报告丢行
if (payload?.choices?.[0]?.finish_reason === 'length') {
_logger.warn('ocr output truncated', {
turnId,
requestId,
model: pickedModel,
outputChars: raw.length,
completionTokens: usage.completion_tokens ?? usage.output_tokens ?? 0
});
}
return parseVisionResult(raw, disclaimer).text;
},
/** 中止本轮识别:丢弃缓冲;已有请求一并取消,之后 finish 返回空串 */
abort() {
aborted = true;
chunks.length = 0;
activeController?.abort();
}
};
}
export default createQwenVisionSession;