马毅LeCun谢赛宁曝出多模态LLM重大缺陷!开创性研究显著增强视觉理解能力
马毅LeCun谢赛宁曝出多模态LLM重大缺陷!开创性研究显著增强视觉理解能力来自纽约大学和UC伯克利的研究团队成功捕捉到了多模态大模型在视觉理解方面存在的重大缺陷。针对这个问题,他们进一步提出了一个将DINOv2特征与CLIP特征结合的方法,有效地提升了多模态大模型的视觉功能。
来自主题: AI资讯
9218 点击 2024-01-18 13:27
搜索
来自纽约大学和UC伯克利的研究团队成功捕捉到了多模态大模型在视觉理解方面存在的重大缺陷。针对这个问题,他们进一步提出了一个将DINOv2特征与CLIP特征结合的方法,有效地提升了多模态大模型的视觉功能。
本文介绍了一个名为Alph-CLIP的框架,它在原始的接受RGB三通道输入的CLIP模型的上额外增加了一个alpha通道。在千万量级的RGBA-region的图像文本对上进行训练后,Alpha-CLIP可以在保证CLIP原始感知能力的前提下,关注到任意指定区域。通过替换原始CLIP的应用场景,Alpha-CLIP在图像识别、视觉-语言大模型、2D乃至3D生成领域都展现出强大作用。
下一个Windows 11更新拥有 150 多项新功能,是微软迄今为止最最重要的更新!它将 Copilot 的强大功能和新的 AI 驱动体验带到了 Windows PC 上的 Paint、Photos、Clipchamp 等应用程序中。
由谷歌公司(Google.org)支持的一项价值 500 万美元的合作项目将见证墨尔本初创企业 Climasens 与纽约城市系统实验室(USL)的联手,通过开发和推广基于多种城市气候灾害模型的人工智能(AI)气候风险评估工具,应对当前和未来的气候风险。