MMBench

from vlmeval.dataset import ImageMCQDatasetfrom vlmeval.smp import mmqa_display# 加载 MMBench 开发集dataset = ImageMCQDataset(\'MMBench_DEV_EN\')# 查看第 0 个样本dataset.display(0)# 构建多模态提示item = dataset.build_prompt(0)print(item)

• 模型推理：用你的多模态模型对数据集进行推理。以下是一个示例命令，使用 llava_v1.5_7b 模型进行推理：

python run.py --model llava_v1.5_7b --data MMBench_DEV_EN --mode infer

• • 运行后，推理结果将保存为一个 Excel 文件，例如：llava_v1.5_7b/MMBench_DEV_EN.xlsx。
• 评估模型性能：用 VLMEvalKit 对模型的预测结果进行评估。评估工具根据 MMBench 的标准计算准确率等指标。
• 提交测试结果：
  • 在 MMBench 领先榜上提交测试结果，按照以下步骤操作：
    • 使用测试集数据进行推理，生成预测结果文件（如 llava_v1.5_7b/MMBench_TEST_EN.xlsx）。
    • 登录 MMBench 领先榜上传预测结果文件。
    • 领先榜将自动计算并展示模型在各个能力维度上的性能表现。

MMBench的应用场景

• 模型性能评估：MMBench 提供全面的多模态基准测试平台，能对视觉语言模型在不同任务和能力维度上的表现进行细粒度评估，帮助研究者和开发者清晰了解模型的强项和弱项，为模型优化提供方向。
• 学术研究支持：研究人员用 MMBench 数据集进行新模型的开发和验证，推动多模态技术的前沿研究。
• 工业应用开发：在工业领域，企业评估和选择适合其产品的多模态模型，确保所采用的模型在实际应用场景中具备足够的性能和稳定性，提高产品的市场竞争力。
• 教育与培训：作为教学资源，帮助学生和研究人员更好地理解多模态模型的评估方法和应用场景，基于实践项目和课程练习提升对多模态技术的理解和应用能力。
• 跨领域应用：MMBench 的多模态数据集涵盖多个领域，如文化、科学、医疗等，例如 CCBench（中国文化相关基准测试）能评估模型在特定文化领域的表现，推动文化研究和跨文化交流。