【新智元导读】文字也是一种视觉信息，多模态大语言模型KOSMOS-2.5不光能读懂论文，还能输出markdown格式！
当前一个显著的趋势是致力于构建更大更复杂的模型，它们拥有数百/数千亿个参数，能够生成令人印象深刻的语言输出。
然而，现有的大型语言模型主要集中在文本信息上，无法理解视觉信息。
因此多模态大型语言模型（MLLMs）领域的进展旨在解决这一限制，MLLMs将视觉和文本信息融合到一个基于Transformer的单一模型中，使该模型能够根据这两种模态学习和生成内容。
MLLMs在各种实际应用中显示出潜力，包括自然图像理解和文本图像理解。这些模型利用语言建模作为处理多模态问题的通用接口，使其能够根据文本和视觉输入处理和生成响应。
不过，现有的MLLMs主要关注分辨率较低的自然图像，对于文本密集图像的MLLM研究还不多见，因此充分利用大规模多模态预训练来处理文本图像是MLLM研究的一个重要的研究方向。
通过将文本图像纳入训练过程并开发基于文本和视觉信息的模型，我们可以开辟涉及高分辨率文本密集图像的多模态应用的新可能性。
