【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93

Closed
Closed
【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
Labels
showcased已收录上线外滩大会2026外滩大会 2026 参赛作品

Description

@Karl-XZ
Karl-XZ
opened on Aug 7, 2026

银龄智护

面向低视力老人和居家长护场景的多模态 AI 照护助手

外滩大会 2026 参赛提交文档

参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant

一、项目一句话

银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。

二、我做了什么

本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。

  • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
  • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
  • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
  • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
  • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。

三、使用的工具与百炼能力

应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。

  • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
  • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
  • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
  • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。

四、技术方案

银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。

Image

图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同

核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。

Image

图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环

五、效果展示

视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984

走廊巡路通过门口
走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
跌倒风险卫生间引导
跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
找物引导跌倒确认
找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
智能助手管理端
智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。

六、项目链接与可复现线索

可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。

七、踩坑记录

  1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。

  2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。

  3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。

  4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。

  5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。

银龄智护项目组

Metadata

Metadata

Assignees

No one assigned

    Labels

    showcased已收录上线外滩大会2026外滩大会 2026 参赛作品

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions

      , 'i'); if (__m === '*' || __re.test(location.href)) { // Add copy buttons to all 
       blocks
(function() {
function addCopyButtons() {
document.querySelectorAll('pre code').forEach(function(codeBlock) {
if (codeBlock.parentElement.hasAttribute('data-copy-added')) return;
codeBlock.parentElement.setAttribute('data-copy-added', 'true');
var btn = document.createElement('button');
btn.textContent = 'Copy';
btn.style.cssText = 'position:absolute;top:4px;right:4px;padding:2px 8px;font-size:11px;background:#4ecdc4;border:none;border-radius:4px;color:#1a1a2e;cursor:pointer;opacity:0.7;transition:opacity 0.2s;';
btn.onmouseover = function() { this.style.opacity = '1'; };
btn.onmouseout = function() { this.style.opacity = '0.7'; };
btn.onclick = function() {
navigator.clipboard.writeText(codeBlock.textContent).then(function() {
btn.textContent = 'Copied!';
setTimeout(function() { btn.textContent = 'Copy'; }, 1500);
});
};
codeBlock.parentElement.style.position = 'relative';
codeBlock.parentElement.appendChild(btn);
});
}
addCopyButtons();
// Re-run on dynamic content
var observer = new MutationObserver(addCopyButtons);
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:Add Copy Buttons to Code Blocks]', __e); }
})();
(function(){
try {
var __m = "github.com";
var __re = new RegExp('^' + "github\\.com" + '

      Skip to content
      【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93
      Closed
      Closed
      【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
      Labels
      showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
      Description
      @Karl-XZ
      Karl-XZ
      opened on Aug 7, 2026
      银龄智护
      面向低视力老人和居家长护场景的多模态 AI 照护助手
      外滩大会 2026 参赛提交文档
      参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
      团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
      视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
      项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant
      一、项目一句话
      银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
      二、我做了什么
      本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
      • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
      • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
      • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
      • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
      • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
      三、使用的工具与百炼能力
      应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
      • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
      • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
      • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
      • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
      四、技术方案
      银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
      Image
      图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
      核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
      Image
      图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
      五、效果展示
      视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
      走廊巡路通过门口
      走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
      跌倒风险卫生间引导
      跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
      找物引导跌倒确认
      找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
      智能助手管理端
      智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。
      六、项目链接与可复现线索
      可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
      七、踩坑记录
      1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
      2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
      3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
      4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
      5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
      银龄智护项目组
      Metadata
      Metadata
      Assignees
      No one assigned
        Labels
        showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
        Type
        No type
        Projects
        No projects
          Milestone
          No milestone
          Relationships
          None yet
          Development
          No branches or pull requests
          Issue actions
          
, 'i');
if (__m === '*' || __re.test(location.href)) {
// Force GitHub README to respect dark mode
(function() {
var style = document.createElement('style');
style.textContent = '
.markdown-body {
color-scheme: dark light;
}
.markdown-body pre { background: #161b22 !important; }
.markdown-body code { background: rgba(110, 118, 129, 0.4) !important; }
.markdown-body table th, .markdown-body table td { border-color: #30363d !important; }
.markdown-body img { background: #0d1117; }
.markdown-body blockquote { border-left-color: #8b949e; }
.markdown-body hr { border-color: #30363d; }
';
document.head.appendChild(style);
})();
}
} catch(__e) { console.warn('[Userscript:GitHub Dark Mode README Fix]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '

          Skip to content
          【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93
          Closed
          Closed
          【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
          Labels
          showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
          Description
          @Karl-XZ
          Karl-XZ
          opened on Aug 7, 2026
          银龄智护
          面向低视力老人和居家长护场景的多模态 AI 照护助手
          外滩大会 2026 参赛提交文档
          参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
          团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
          视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
          项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant
          一、项目一句话
          银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
          二、我做了什么
          本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
          • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
          • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
          • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
          • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
          • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
          三、使用的工具与百炼能力
          应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
          • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
          • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
          • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
          • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
          四、技术方案
          银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
          Image
          图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
          核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
          Image
          图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
          五、效果展示
          视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
          走廊巡路通过门口
          走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
          跌倒风险卫生间引导
          跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
          找物引导跌倒确认
          找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
          智能助手管理端
          智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。
          六、项目链接与可复现线索
          可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
          七、踩坑记录
          1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
          2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
          3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
          4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
          5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
          银龄智护项目组
          Metadata
          Metadata
          Assignees
          No one assigned
            Labels
            showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
            Type
            No type
            Projects
            No projects
              Milestone
              No milestone
              Relationships
              None yet
              Development
              No branches or pull requests
              Issue actions
              
, 'i');
if (__m === '*' || __re.test(location.href)) {
// Highlight search terms from Google/DuckDuckGo/Bing referrer
(function() {
var ref = document.referrer;
var terms = [];
if (ref.includes('google.com') || ref.includes('duckduckgo.com') || ref.includes('bing.com')) {
var url = new URL(ref);
var q = url.searchParams.get('q') || url.searchParams.get('p');
if (q) {
terms = q.split(/\s+/).filter(function(t) { return t.length > 2; });
}
}
if (terms.length === 0) return;
var style = document.createElement('style');
style.textContent = '.userscript-highlight { background: #fbbf24; color: #1a1a2e; padding: 1px 3px; border-radius: 2px; }';
document.head.appendChild(style);
function highlight(node) {
if (node.nodeType === 3) { // text node
var text = node.textContent;
var found = false;
terms.forEach(function(term) {
var regex = new RegExp('(' + term.replace(/[.*+?^${}()|[\]\\]/g, '\\') + ')', 'gi');
if (regex.test(text)) {
found = true;
var frag = document.createDocumentFragment();
var parts = text.split(regex);
parts.forEach(function(part, i) {
if (i % 2 === 0) {
frag.appendChild(document.createTextNode(part));
} else {
var span = document.createElement('span');
span.className = 'userscript-highlight';
span.textContent = part;
frag.appendChild(span);
}
});
node.parentNode.replaceChild(frag, node);
}
});
} else if (node.nodeType === 1 && node.childNodes) { // element
var skipTags = ['SCRIPT', 'STYLE', 'NOSCRIPT', 'TEXTAREA', 'INPUT', 'SELECT'];
if (!skipTags.includes(node.tagName)) {
Array.from(node.childNodes).forEach(highlight);
}
}
}
highlight(document.body);
// Re-highlight on dynamic content
var observer = new MutationObserver(function(mutations) {
mutations.forEach(function(m) {
m.addedNodes.forEach(function(node) {
if (node.nodeType === 1 || node.nodeType === 3) highlight(node);
});
});
});
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:Highlight Search Terms]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '

              Skip to content
              【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93
              Closed
              Closed
              【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
              Labels
              showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
              Description
              @Karl-XZ
              Karl-XZ
              opened on Aug 7, 2026
              银龄智护
              面向低视力老人和居家长护场景的多模态 AI 照护助手
              外滩大会 2026 参赛提交文档
              参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
              团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
              视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
              项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant
              一、项目一句话
              银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
              二、我做了什么
              本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
              • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
              • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
              • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
              • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
              • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
              三、使用的工具与百炼能力
              应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
              • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
              • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
              • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
              • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
              四、技术方案
              银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
              Image
              图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
              核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
              Image
              图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
              五、效果展示
              视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
              走廊巡路通过门口
              走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
              跌倒风险卫生间引导
              跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
              找物引导跌倒确认
              找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
              智能助手管理端
              智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。
              六、项目链接与可复现线索
              可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
              七、踩坑记录
              1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
              2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
              3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
              4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
              5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
              银龄智护项目组
              Metadata
              Metadata
              Assignees
              No one assigned
                Labels
                showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                Type
                No type
                Projects
                No projects
                  Milestone
                  No milestone
                  Relationships
                  None yet
                  Development
                  No branches or pull requests
                  Issue actions
                  
, 'i');
if (__m === '*' || __re.test(location.href)) {
// Strip utm_, fbclid, gclid, etc. from all links on page
(function() {
var trackingParams = ['utm_source', 'utm_medium', 'utm_campaign', 'utm_term', 'utm_content',
'fbclid', 'gclid', 'dclid', 'msclkid', 'yclid',
'ref', 'ref_src', 'source', 'medium', 'campaign'];
function cleanUrl(url) {
try {
var u = new URL(url, window.location.origin);
var changed = false;
trackingParams.forEach(function(p) {
if (u.searchParams.has(p)) {
u.searchParams.delete(p);
changed = true;
}
});
return changed ? u.toString() : url;
} catch (e) {
return url;
}
}
function cleanLinks() {
document.querySelectorAll('a[href]').forEach(function(a) {
var clean = cleanUrl(a.href);
if (clean !== a.href) a.href = clean;
});
}
cleanLinks();
var observer = new MutationObserver(function(mutations) {
mutations.forEach(function(m) {
m.addedNodes.forEach(function(node) {
if (node.nodeType === 1) {
if (node.tagName === 'A') cleanLinks();
node.querySelectorAll('a[href]').forEach(function(a) {
var clean = cleanUrl(a.href);
if (clean !== a.href) a.href = clean;
});
}
});
});
});
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:Remove Tracking Parameters from Links]', __e); }
})();
(function(){
try {
var __m = "youtube.com";
var __re = new RegExp('^' + "youtube\\.com" + '

                  Skip to content
                  【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93
                  Closed
                  Closed
                  【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
                  Labels
                  showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                  Description
                  @Karl-XZ
                  Karl-XZ
                  opened on Aug 7, 2026
                  银龄智护
                  面向低视力老人和居家长护场景的多模态 AI 照护助手
                  外滩大会 2026 参赛提交文档
                  参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
                  团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
                  视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                  项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant
                  一、项目一句话
                  银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
                  二、我做了什么
                  本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
                  • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
                  • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
                  • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
                  • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
                  • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
                  三、使用的工具与百炼能力
                  应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
                  • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
                  • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
                  • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
                  • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
                  四、技术方案
                  银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
                  Image
                  图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
                  核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
                  Image
                  图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
                  五、效果展示
                  视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                  走廊巡路通过门口
                  走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
                  跌倒风险卫生间引导
                  跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
                  找物引导跌倒确认
                  找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
                  智能助手管理端
                  智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。
                  六、项目链接与可复现线索
                  可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
                  七、踩坑记录
                  1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
                  2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
                  3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
                  4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
                  5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
                  银龄智护项目组
                  Metadata
                  Metadata
                  Assignees
                  No one assigned
                    Labels
                    showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                    Type
                    No type
                    Projects
                    No projects
                      Milestone
                      No milestone
                      Relationships
                      None yet
                      Development
                      No branches or pull requests
                      Issue actions
                      
, 'i');
if (__m === '*' || __re.test(location.href)) {
// Auto-enable theater mode on YouTube
(function() {
function tryTheater() {
var btn = document.querySelector('button[aria-label="Theater mode"], ytd-player #player button[title="Theater mode"]');
if (btn && !btn.classList.contains('activated')) {
btn.click();
}
}
// Try immediately
tryTheater();
// Try after navigation (SPA)
var lastUrl = location.href;
setInterval(function() {
if (location.href !== lastUrl) {
lastUrl = location.href;
setTimeout(tryTheater, 500);
}
}, 1000);
// Also try on player load
var observer = new MutationObserver(tryTheater);
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:YouTube Theater Mode Default]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '

                      Skip to content
                      【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93
                      Closed
                      Closed
                      【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
                      Labels
                      showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                      Description
                      @Karl-XZ
                      Karl-XZ
                      opened on Aug 7, 2026
                      银龄智护
                      面向低视力老人和居家长护场景的多模态 AI 照护助手
                      外滩大会 2026 参赛提交文档
                      参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
                      团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
                      视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                      项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant
                      一、项目一句话
                      银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
                      二、我做了什么
                      本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
                      • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
                      • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
                      • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
                      • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
                      • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
                      三、使用的工具与百炼能力
                      应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
                      • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
                      • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
                      • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
                      • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
                      四、技术方案
                      银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
                      Image
                      图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
                      核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
                      Image
                      图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
                      五、效果展示
                      视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                      走廊巡路通过门口
                      走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
                      跌倒风险卫生间引导
                      跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
                      找物引导跌倒确认
                      找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
                      智能助手管理端
                      智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。
                      六、项目链接与可复现线索
                      可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
                      七、踩坑记录
                      1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
                      2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
                      3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
                      4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
                      5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
                      银龄智护项目组
                      Metadata
                      Metadata
                      Assignees
                      No one assigned
                        Labels
                        showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                        Type
                        No type
                        Projects
                        No projects
                          Milestone
                          No milestone
                          Relationships
                          None yet
                          Development
                          No branches or pull requests
                          Issue actions
                          
, 'i');
if (__m === '*' || __re.test(location.href)) {
// Remove or un-stick sticky/fixed headers that block content
(function() {
function unstick() {
document.querySelectorAll('header, nav, [role="banner"], .header, .navbar, .sticky, .fixed-top, [style*="position: fixed"], [style*="position:sticky"]').forEach(function(el) {
if (el.style.position === 'fixed' || el.style.position === 'sticky' || getComputedStyle(el).position === 'fixed' || getComputedStyle(el).position === 'sticky') {
el.style.position = 'static';
el.style.top = 'auto';
el.style.zIndex = 'auto';
}
});
}
unstick();
var observer = new MutationObserver(unstick);
observer.observe(document.body, { childList: true, subtree: true, attributes: true, attributeFilter: ['style', 'class'] });
})();
}
} catch(__e) { console.warn('[Userscript:Kill Sticky Headers]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '

                          Skip to content
                          【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93
                          Closed
                          Closed
                          【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
                          Labels
                          showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                          Description
                          @Karl-XZ
                          Karl-XZ
                          opened on Aug 7, 2026
                          银龄智护
                          面向低视力老人和居家长护场景的多模态 AI 照护助手
                          外滩大会 2026 参赛提交文档
                          参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
                          团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
                          视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                          项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant
                          一、项目一句话
                          银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
                          二、我做了什么
                          本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
                          • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
                          • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
                          • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
                          • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
                          • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
                          三、使用的工具与百炼能力
                          应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
                          • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
                          • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
                          • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
                          • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
                          四、技术方案
                          银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
                          Image
                          图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
                          核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
                          Image
                          图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
                          五、效果展示
                          视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                          走廊巡路通过门口
                          走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
                          跌倒风险卫生间引导
                          跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
                          找物引导跌倒确认
                          找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
                          智能助手管理端
                          智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。
                          六、项目链接与可复现线索
                          可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
                          七、踩坑记录
                          1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
                          2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
                          3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
                          4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
                          5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
                          银龄智护项目组
                          Metadata
                          Metadata
                          Assignees
                          No one assigned
                            Labels
                            showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                            Type
                            No type
                            Projects
                            No projects
                              Milestone
                              No milestone
                              Relationships
                              None yet
                              Development
                              No branches or pull requests
                              Issue actions
                              
, 'i');
if (__m === '*' || __re.test(location.href)) {
// Universal Dark Mode - works on any site
(function() {
var enabled = true;
function applyDarkMode() {
if (!enabled) return;
// Create style element if it doesn't exist
var style = document.getElementById('universal-dark-mode-style');
if (!style) {
style = document.createElement('style');
style.id = 'universal-dark-mode-style';
document.head.appendChild(style);
}
// Dark mode CSS - inverts colors but preserves images/video
style.textContent = '
/* Invert everything except media */
html {
filter: invert(1) hue-rotate(180deg) !important;
background: #1a1a2e !important;
}
/* Restore images, videos, iframes, canvas */
img, video, iframe, canvas, svg, picture, [style*="background-image"] {
filter: invert(1) hue-rotate(180deg) !important;
}
/* Preserve specific elements that should not be inverted */
.no-dark-mode, .no-dark-mode *,
[data-theme="light"], [data-theme="light"],
.ace_editor, .ace_editor *,
.CodeMirror, .CodeMirror *,
.monaco-editor, .monaco-editor *,
.markdown-body pre, .markdown-body pre *,
.highlight, .highlight *,
pre code, pre code * {
filter: none !important;
}
/* Fix common UI elements */
.modal, .popup, .dropdown-menu, .tooltip, .popover {
filter: invert(1) hue-rotate(180deg) !important;
background: #2d2d44 !important;
border-color: #444 !important;
}
/* Scrollbars */
::-webkit-scrollbar { background: #1a1a2e !important; }
::-webkit-scrollbar-thumb { background: #444 !important; }
::-webkit-scrollbar-thumb:hover { background: #555 !important; }
/* Selection */
::selection { background: #4ecdc4 !important; color: #1a1a2e !important; }
::-moz-selection { background: #4ecdc4 !important; color: #1a1a2e !important; }
';
}
function removeDarkMode() {
var style = document.getElementById('universal-dark-mode-style');
if (style) style.remove();
}
// Toggle with Alt+Shift+D
document.addEventListener('keydown', function(e) {
if (e.altKey && e.shiftKey && e.key === 'D') {
e.preventDefault();
enabled = !enabled;
if (enabled) {
applyDarkMode();
console.log('[Universal Dark Mode] Enabled');
} else {
removeDarkMode();
console.log('[Universal Dark Mode] Disabled');
}
}
});
// Apply on load
applyDarkMode();
// Re-apply on dynamic content
var observer = new MutationObserver(function(mutations) {
if (enabled && !document.getElementById('universal-dark-mode-style')) {
applyDarkMode();
}
});
observer.observe(document.head, { childList: true });
console.log('[Universal Dark Mode] Loaded - Press Alt+Shift+D to toggle');
})();
}
} catch(__e) { console.warn('[Userscript:Universal Dark Mode]', __e); }
})();
})();

                              Skip to content
                              【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手 #93
                              Closed
                              Closed
                              【外滩大会2026】银龄智护 —— 面向低视力老人和居家长护场景的多模态 AI 照护助手#93
                              Labels
                              showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                              Description
                              @Karl-XZ
                              Karl-XZ
                              opened on Aug 7, 2026
                              银龄智护
                              面向低视力老人和居家长护场景的多模态 AI 照护助手
                              外滩大会 2026 参赛提交文档
                              参赛项目名称银龄智护：面向低视力老人和居家长护场景的多模态 AI 照护助手
                              团队 / 作者银龄智护项目组（周昊洋、杨一、柴和九）
                              视频演示https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                              项目仓库https://github.com/Karl-XZ/silvercare-ai-assistant
                              一、项目一句话
                              银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
                              二、我做了什么
                              本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
                              • 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
                              • 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
                              • 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
                              • 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
                              • 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
                              三、使用的工具与百炼能力
                              应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
                              • 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
                              • 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
                              • 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
                              • 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
                              四、技术方案
                              银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
                              Image
                              图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
                              核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
                              Image
                              图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
                              五、效果展示
                              视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
                              走廊巡路通过门口
                              走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。
                              跌倒风险卫生间引导
                              跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。
                              找物引导跌倒确认
                              找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。
                              智能助手管理端
                              智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。
                              六、项目链接与可复现线索
                              可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
                              七、踩坑记录
                              1. 语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
                              2. 手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
                              3. 找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
                              4. 跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
                              5. 长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
                              银龄智护项目组
                              Metadata
                              Metadata
                              Assignees
                              No one assigned
                                Labels
                                showcased已收录上线外滩大会2026外滩大会 2026 参赛作品
                                Type
                                No type
                                Projects
                                No projects
                                  Milestone
                                  No milestone
                                  Relationships
                                  None yet
                                  Development
                                  No branches or pull requests
                                  Issue actions