当前位置: 首页 -> 学院新闻 -> 正文

院长白翔教授团队推出文字多模态大模型TextMonkey 多项文档理解任务国际领先

2024-03-19  点击:[]

多模态大模型是一类可以同时处理和整合多种感知数据的AI架构,在众多场景中表现出色。凭借其丰富的世界知识和出色的对话能力,多模态大模型能够如同人类一样深入理解和感知世界。最近,院长白翔教授团队和金山办公的研究人员开发的Monkey多模态大模型已被人工智能领域的国际顶级会议CVPR2024接收,并且曾在Meta AI公认的国际权威“司南”多模态大模型排行榜中名列开源模型榜首。TextMonkey是Monkey在文档领域的重要升级,突破了通用文档理解能力的边界,在场景文字识别、办公文档摘要生成、数学问题问答、文档版式分析,表格理解,图表问答,电子文档关键信息抽取等12项等文档权威数据集以及在国际上规模最全的文档图像智能数据集OCRBench上取得了显著突破,通用文档理解性能大幅超越现有已开源的方法。

图1“司南”多模态大模型排行榜单

TextMonkey的成功核心在于它模拟人类视觉认知的方法,这使它能自然而然地识别高清文档图像中各部分的相互关联,并灵敏地鉴别出图像内的关键要素。更进一步,基于对用户多样化需求的深入理解,TextMonkey通过文本定位技术强化了答案的准确性,提升了模型的解释性,减少了幻觉,有效提高了在处理各类文档任务上的表现。

TextMonkey能帮助我们结构化图表、表格以及文档数据,通过将图像内容转化为轻量级的数据交换格式,方便记录和提取。

图2 TextMonkey将图表自动结构化成json格式示例

TextMonkey也能作为智能手机代理,无需接触后端,仅需语音输入及屏幕截图,即能够模仿人类的点击手势,能够在手机上执行各种任务,自主操控手机应用程序。

图3 TextMonkey充当智能手机代理控制手机应用程序

它也能帮助我们解答数学题并给出解题步骤。

图4解答数学题并给出具体步骤

当前,随着企业加速数字化转型,文档与图像的多模态结构化分析及内容提取显得尤为关键。无论处理的是随意拍摄的图片、电子文档、办公软件文件还是图表分析报告,快速、自动化、精确的数据处理对于提升企业的生产效率具有决定性意义。在此背景下,TextMonkey的推出为这一挑战提供了一种创新的通用解决方案,有望在办公自动化、智慧教育、智慧金融等领域率先实现技术突破,为全面提升通用文档理解能力带来曙光。

代码链接:https://github.com/Yuliang-Liu/Monkey

文章链接:https://arxiv.org/abs/2403.04473

DEMO链接:http://vlrlab-monkey.xyz:7684

上一条:学院与百度联合共建人工智能教育创新中心,全国首个飞桨班成立! 下一条:我院院长白翔教授指导的本科生论文被CVPR 2024录用

地址: 湖北省武汉市洪山区珞喻路1037号 

           华中科技大学东校区恩明楼软件学院1011室

Copyright 2023 华中科技大学软件学院 All Rights Reserved

联系我们:

Email: sse@hust.edu.cn 

电话: 027-87792255

院长信箱:ssedean@hust.edu.cn

书记信箱:sseshuji@hust.edu.cn