复旦学子主导研发的一款App帮视障者“看见”世界

来源：中国青年报客户端陈书灵,王烨捷2024-03-07

分享到 :

核心提示：中国青年报客户端讯（陈书灵中青报·中青网记者王烨捷）只需一枚摄像头和一对耳机便能将画面转化成语言，描绘场景、提示风险，让视障者出行更安全、生活更便捷。日前，复

中国青年报客户端讯（陈书灵中青报·中青网记者王烨捷）只需一枚摄像头和一对耳机便能将画面转化成语言，描绘场景、提示风险，让视障者出行更安全、生活更便捷。日前，复旦大学自然语言处理实验室（FudanNLP）的师生们研发了一款基于多模态大模型的“复旦·眸思”（MouSi）系统，为视障者量身打造了“听见世界”App。预计今年3月该App将完成第一轮测试，在我国一二线城市和地区同步开启试点，根据算力情况进行推广。

“听见世界”App有三种工作模式。一是街道行走模式，它可以细致扫描道路情况，发现红绿灯、十字路口、障碍物等，提示潜在风险；二是自由问答模式，它可以带着视障人士走进博物馆、艺术馆、公园，捕捉四周景象的每个细节，用声音构建生活场景；三是寻物模式，它可以及时帮助主人找到不知道被放在哪里的手杖、不同口味的牛奶等。

复旦学子主导研发的一款App帮视障者“看见”世界

图为APP帮助视章人士辨识路线。

复旦学子主导研发的一款App帮视障者“看见”世界

图为APP帮助视障人士找手杖。

据悉，我国盲人数量有1700多万，但在街上很少看到盲人出行。一个重要的原因是他们出门要面对大量不安全因素，难以独自成行。

复旦大学自然语言实验室张奇教授介绍，“听见世界”App项目的主导者都是“初出茅庐”的学生，在组内头脑风暴会上，年轻学子总能提出开创性想法”。

该项目团队共计吸纳了从本科生到博士生共25名复旦学子以及桂韬等多位教师、专家的加入。为了更好地感受视障者的难处，团队成员同样模拟真实情境，蒙眼探索视障者“黑暗”世界，并邀请视障人士加入，进一步摸清真实而具体的需求。在基于几亿张图片训练出的“眸思”大模型基础上，针对视障者提出的各类需求，同学们又用上万张图片进行特殊样本训练，使“眸思”具备能够适配更多场景的能力。未来，该项目还会开发更多的使用模式，比如阅读模式，服务盲人朋友点菜、读书等场景；解说模式，承担无障碍电影解说员的工作。

(编辑:映雪)

返回315记者摄影家首页>>

免责声明：

1、本网内容凡注明"来源：315记者摄影家网"的所有文字、图片和音视频资料，版权均属315记者摄影家网所有，转载、下载须通知本网授权，不得商用，在转载时必须注明"稿件来源：315记者摄影家网"，违者本网将依法追究责任。
2、本文系本网编辑转载，转载出于研究学习之目的，为北京正念正心国学文化研究院艺术学研究、宗教学研究、教育学研究、文学研究、新闻学与传播学研究、考古学研究的研究员研究学习，并不代表本网赞同其观点和对其真实性负责。
3、如涉及作品、图片等内容、版权和其它问题，请作者看到后一周内来电或来函联系删除。