只需一枚摄像头和一对耳机便能将画面转化成言语，描绘场景、提示危险，让视障者出行更安全、日子更快捷。日前，复旦大学自然言语处理实验室（FudanNLP）的师生们研制了一款依据多模态大模型的“复旦·眸思”（MouSi）体系，为视障者量身定制了“听见国际”App。估计本年3月该App将完结第一轮测验，在我国一二线城市和区域同步敞开试点，依据算力状况做推行。

  “听见国际”App有三种作业形式。一是大街行走形式，它可以详尽扫描路途状况，发现红绿灯、十字路口、障碍物等，提示潜在危险；二是自在问答形式，它可带着视障人士走进博物馆、艺术馆、公园，捕捉四周现象的每一个细节，用声响构建日子场景；三是寻物形式，它可以及时协助主人找到不知道被放在哪里的手杖、不同口味的牛奶等。

  据悉，我国瞎子数量有1700多万，但在街上很少看到瞎子出行。一个重要的原因是他们出门要面临很多不安全要素，难以单独成行。

  复旦大学自然言语实验室张奇教授介绍，“听见国际”App项目的主导者都是“初出茅庐”的学生，在组内脑筋风暴会上，年青学子总能提出开创性主意”。

  该项目团队合计吸纳了从本科生到博士生共25名复旦学子以及桂韬等多位教师、专家的参加。为了更好地感触视障者的难处，小组成员相同模仿实在情境，蒙眼探究视障者“漆黑”国际，并约请视障人士参加，进一步摸实而详细的需求。在依据几亿张图片练习出的“眸思”大模型基础上，针对视障者提出的各类需求，同学们又用上万张图片进行特别样本练习，使“眸思”具有可以适配更多场景的才能。未来，该项目还会开发更多的运用形式，比方阅览形式，服务瞎子朋友点菜、读书等场景；说明形式，承当无障碍电影说明员的作业。

  只需一枚摄像头和一对耳机便能将画面转化成言语，描绘场景、提示危险，让视障者出行更安全、日子更快捷。复旦大学自然言语实验室张奇教授介绍，“听见国际”App项目的主导者都是“初出茅庐”的学生，在组内脑筋风暴会上，年青学子总能提出开创性主意”。