OlympicArena是什么
OlympicArena是上海交通大学、上海AI Lab、苏州大学和上海交通大学生成式人工智能实验室（GAIR Lab）联合推出的多学科认知推理基准测试框架。OlympicArena包含11,163道来自国际奥林匹克竞赛的双语题目，涵盖数学、物理、化学、生物、地理、天文学和计算机科学等7大领域。OlympicArena全面评估AI模型的高级认知推理能力，特别是逻辑推理和视觉推理能力。基于答案级和过程级的细粒度评估，OlympicArena揭示AI模型在解决复杂问题时的局限性，推动AI技术向超级智能发展。
OlympicArena的主要功能
- 全面覆盖：涵盖数学、物理、化学、生物、地理、天文学和计算机科学等7大核心学科，共34个细分领域，全面评估AI模型在多个学科领域的认知推理能力。
- 双语支持：基准测试提供中英文双语版本，增强国际适用性。
- 答案级评估：对AI模型的答案进行精确评估。
- 过程级评估：评估解题过程中的每一步骤，确保AI模型的推理过程具有逻辑性和正确性。
- 多模态支持：支持文本和图像交织的问题，评估AI模型在处理多模态信息时的能力。
OlympicArena的技术原理
- 数据收集与标注：从62项国际奥林匹克竞赛中收集问题，确保问题的高质量和多样性。基于专业团队进行问题提取和标注，包括问题的分类、答案类型标注、解题步骤标注等。用多步验证机制，确保标注数据的准确性和一致性。
- 评估方法：对于固定答案的问题，基于规则匹配验证模型输出的正确性；对于需要生成代码的问题，用测试用例验证代码的正确性。将模型生成的解题步骤与标准解题步骤进行对比，评估每一步的正确性。难以用规则匹配评估的问题，基于高性能模型（如GPT-4V）作为评估器，判断模型输出的正确性。
- 多模态处理：对于包含图像的问题，基于图像识别技术提取图像中的关键信息，与文本信息结合，评估AI模型的多模态处理能力。为图像生成描述性文字，帮助AI模型更好地理解图像内容。
- 数据泄漏检测：基于N-gram预测技术检测模型是否见过基准测试中的问题，确保基准测试的公正性。对每个问题进行实例级检测，验证模型是否正确预测问题中的关键信息。
OlympicArena的项目地址
- 项目官网：https://gair-nlp.github.io/OlympicArena/
- GitHub仓库：https://github.com/GAIR-NLP/OlympicArena
- HuggingFace模型库：https://huggingface.co/datasets/GAIR/OlympicArena
- arXiv技术论文：https://arxiv.org/pdf/2406.12753
OlympicArena的应用场景
- AI模型性能评估：测试AI模型在多学科领域的认知推理能力。
- 模型训练与优化：帮助识别模型弱点，指导改进训练策略。
- 教育与学习辅助：提供奥林匹克竞赛级别的学习资源，辅助教学。
- 科学研究与发现：推动AI在科学研究中的应用，助力科学发现。
- 技术竞赛与挑战：作为AI技术竞赛平台，激发创新，促进技术发展。