清晰指向,说出坐标,Shikra开启多模态大模子参考对于话新维度
在人类的清晰同样艰深交流中 ,每一每一会关注场景中差距的指向坐标地域或者物体 ,人们可能经由语言并指向这些地域来妨碍高效的说出信息交流 。这种交互方式被称为参考对于话(Referential Dialogue)。开启考对
假如 MLLM 长于这项本领,多模度它将带来良多使人欢喜的模参运用。好比,于话将其运用到 Apple Vision Pro 等混合事实 (XR) 眼镜中,清晰用户可能运用视线凝望调拨任何内容与 AI 对于话。指向坐标同时 AI 也可能经由高亮等方式来指向某些地域,说出实现与用户的开启考对高效交流。
本文提出的多模度 Shikra 模子