开云体育而不单是瞻望最终的细粒度类别-开云平台网站皇马赞助商| 开云平台官方ac米兰赞助商 最新官网入口

一张蓝锥嘴雀的图片，你能认出它是"鸟"，但能认出它是"鸟纲 - 雀形目 - 唐纳雀科 - 锥嘴雀属 - 蓝锥嘴雀"吗？

像大大批东谈主同样，当前的多模态大模子也认不出来。

确切宇宙中的对象频繁包含极其丰富的类别档次，变成类别树结构。比如蓝锥嘴雀是：动物界 - 脊索动物门 - 鸟纲 - 雀形目 - 唐纳雀科 - 锥嘴雀属 - 蓝锥嘴雀（界 - 门 - 纲 - 目 - 科 - 属 - 种）。

区别于传统的细粒度视觉识别，分层视觉识别旨在瞻望所属的所有类别档次，而不单是瞻望最终的细粒度类别。尽管现存 Finedefics、Fine-R1 等生成式大模子在细粒度视觉识别任务上阐扬出色，但由于枯竭类别树常识，无法从粗到细完了每一层的精确识别。

同期，继承分层类别标签对比学习得到的判别式大模子（如 BioCLIP、BioCLIP2、BioCAP 等），其表征空间已能充分编码类别树中的类间计议与类内计议。基于上述发现，本文应用判别式大模子的表征换取生成式大模子的学习，为多模态大模子学习类别树提供了新旅途。

本文是北京大学彭宇新栽种团队在细粒度多模态大模子畛域的最新推敲恶果，有关论文已被 CVPR 2026 禁受，并已开源。

配景

尽管现存多模态大模子在细粒度视觉识别上的准确率获取显然普及，但在依赖类别树常识的分层视觉识别任务上，仍无法从粗到细完了每一层的精确识别。具体地，存在如下 3 点挑战：

1. 同层判别性差：关于更粗粒度的类别档次，"类内相反大"愈加凸起，模子倾向于学习类别共性；关于更细粒度的类别档次，"类间相反小"愈加凸起，模子倾向于学习类别相反。两者的矛盾导致模子难以从粗到细别离每一层的相似类别。

2. 跨层一致性差：由于模子枯竭类别树常识，难以保证率性相邻档次的瞻望类别餍足父子节点计议。举例，瞻望放荡为"鹦鹉目 - 裸鼻雀科"，但两者不餍足父子节点计议，"裸鼻雀科"应该属于"雀形目"。

3. 新类泛化性差：现存模子倾向于挖掘不同细粒度子类别的相反，忽略了对其共性的转头（用于识别其父节点的辨识性特征），难以准确识别从未见过的新类别。

△  图 1. 推敲配景

针对上述问题，北京大学彭宇新栽种团队提倡了分类感知表征对皆门径（Taxonomy-Aware Representation Alignment，TARA），用于将类别树结构常识注入多模态大模子。通过将大模子与生物基础模子的视觉表征对皆，促进大模子索求具备好意思满类别树结构的视觉表征。同期，通过将大模子输出谜底的首个词元表征与经生物基础模子编码后确凿切类别表征对皆，促进大模子说明指定的档次，将具备好意思满类别树结构的视觉表征映射为对应档次的类一名呼。

践诺放荡标明，本门径不仅能增强现存大模子的细粒度视觉识别才气，普及最终的细粒度类别的识别准确率，还能增强分层视觉识别才气，从粗到细普及类别树上每一层的识别准确率。

期间有缱绻

为向多模态大模子注入类别树结构常识，本文提倡了分类感知表征对皆门径 TARA。如图 2 所示，TARA 包含 2 个主要部分：

1. 分层视觉表征对皆：通过将大模子中间层与生物基础模子临了一层的视觉表征对皆，促进大模子索求具备好意思满类别树结构的视觉表征。

2. 目田粒度类别表征对皆：通过将大模子输出谜底的首个词元表征与经生物基础模子编码后确凿切类别表征对皆，促进大模子说明指定的档次，将具备好意思满类别树结构的视觉表征映射为对应档次的类一名呼。

具体如下：

△  图 2. 分类感知表征对皆门径（TARA）框架图

1. 分层视觉表征对皆。

经分层类别标签检会的生物基础模子（举例， BioCLIP、BioCLIP2、BioCAP 等）能提供包含分类学信息的监督信号，促进大模子索求具备好意思满类别树结构的视觉表征。具体地，给定输入图像 I 和识别特定档次类别的问题 q（举例，"图中动物属于什么门 / 纲 / 目 / 科 / 属 / 种？从如下选项中采用： [ 确切类别，相似类别 1，相似类别 2，相似类别 3 ] "），生物基础模子的视觉编码器 ε v ( · ) 输出目标视觉特征� �img= ε v ( I ) ∈ RN × d，其中 d 默示生物基础模子的特征维度。大讲话模子第ℓ层的视觉表征默示为� � ℓ img ∈ RN × D，继承可学习的映射层 PV ( · ) 将其映射到生物基础模子的视觉特征空间，并最小化如下对皆蚀本：

2. 目田粒度类别表征对皆。

一张图像同期对应不同档次的类别标签，但用户渴望识别的类别档次是不同的。举例，大家可能但愿在"种"档次上将对象识别为阿卡迪亚霸鹟，而平时用户只需要在"纲"档次上将其识别为鸟。通过在并吞档次上对皆生物基础模子和大模子的类别文本表征，促进大模子将具备好意思满类别树结构的视觉表征映射为对应档次的类一名呼。具体地，生物基础模子的文本编码器 ET ( · ) 输出目标文本特征 ylabel=ET ( C ) ∈ Rd，其中 C 默示在渴望档次上确凿切类一名呼。大讲话模子第 m 层的谜底表征序列默示为 emanswer ∈ RN ′ × D，继承可学习的映射层 PT ( · ) 将谜底的首个词元表征映射到生物基础模子的文本特征空间，并最小化如下对皆蚀本：

最终，TARA 的对皆蚀本界说为两者的均值：

3. 模子检会和推理：

在检会阶段，继承无需念念考的强化微调（No Thinking RFT）和 TARA 轮流优化大模子、映射层 PV ( · ) 与 PT ( · ) ，促进大模子适配分层视觉识别领导的同期学习类别树常识。在推理阶段，生物基础模子和映射层 PV ( · ) 与 PT ( · ) 均不参与运算，奏凯由优化后的大模子进行识别。

践诺放荡

△  表 1. iNaturalist-Plant 与 iNaturalist-Animal 分层视觉识别放荡

表 1 展示了在 iNaturalist-Plant 与 iNaturalist-Animal 上的分层视觉识别放荡。本门径不仅能增强多种大模子的细粒度视觉识别才气，普及最终的细粒度类别的识别准确率，还能增强分层视觉识别才气，从粗到细普及类别树上每一层的识别准确率。

△  表 2. TerraIncognita 的新类别（已有类别树除外的类别）分层视觉识别放荡

表 2 展示了在 TerraIncognita 的新类别（已有类别树除外的类别）的分层视觉识别放荡。这部分新类别不仅是模子强化微调检会集聚未见类别，更是珍稀或纪录少许的物种图像，在公开数据中险些莫得或澈底莫得可用样本，更不成能出当前模子的预检会数据中。

关于其中许各种本，很可能是科学界尚未认真形色的新物种，当前只可可靠地确定其较高等次的分类标签（如"目"和"科"）。本门径通过引入类别树先验，促进模子学习子类别的共性，从而转头出用于识别父类别的判别性特征，普及已知类别树除外的新类别的识别准确率。

△  图 3. 分类感知表征对皆门径（TARA）案例展示

图 3 的案例展示标明，比拟阿里的 Qwen3-VL-2B 大模子，本门径能普及同层判别性与跨层一致性，既别离开并吞层的相似类别，又确保相邻档次的瞻望类别餍足父子节点计议。

形状价值

针对现存多模态大模子枯竭类别树常识，无法从粗到细完了每一层的精确识别的问题，本文提倡了分类感知表征对皆门径 TARA，通过对皆大模子与生物基础模子的中间表征，注入类别树结构常识，不仅能普及最终的细粒度类别的识别准确率，还能增巨大模子的分层视觉识别才气，从粗到细普及类别树上每一层的识别准确率。

论文标题：

Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models

论文贯穿：

https://arxiv.org/abs/2603.00431

开源代码：

https://github.com/PKU-ICST-MIPL/TARA_CVPR2026

践诺室网址：

https://www.wict.pku.edu.cn/mipl

一键三连「点赞」「转发」「注重心」

宽饶在挑剔区留住你的见识！

—  完  —

咱们正在招聘一名眼疾手快、关怀 AI 的学术裁剪实习生  � �

感兴味的小伙伴宽饶关怀 � �  了解笃定

� � 点亮星标 � �

科技前沿进展逐日见开云体育