C-Eval

C-Eval是什么

C-Eval是适用于大语言模型的多层次多学科中文评估套件，由上海交通大学、清华大学和爱丁堡大学研究人员在2023年5月份联合推出，包含13948个多项选择题，涵盖52个不同的学科和四个难度级别，用在评测大模型中文理解能力。通过零样本（zero-shot）和少样本（few-shot）测试，C-Eval 能评估模型在未见过的任务上的适应性和泛化能力。

C-Eval的主要功能

• 多学科覆盖：C-Eval 包含 52 个不同学科的题目，涵盖 STEM、社会科学、人文科学等多个领域，全面评估语言模型的知识储备。
• 多层次难度分级：设有四个难度级别，从基础到高级，细致评估模型在不同难度下的推理和泛化能力。
• 量化评估与标准化测试：包含 13948 个多项选择题，通过标准化评分系统提供量化性能指标，支持不同模型的横向对比。

如何使用C-Eval

• 数据下载：
  •  Hugging Face 下载：

from datasets import load_datasetdataset = load_dataset(\"ceval/ceval-exam\", name=\"computer_network\")

• • 或者直接下载 ZIP 文件并解压：

wget https://huggingface.co/datasets/ceval/ceval-exam/resolve/main/ceval-exam.zipunzip ceval-exam.zip

• 选择评估模式
  • 零样本（Zero-shot）：模型在没有任何示例的情况下直接回答问题。
  • 少样本（Few-shot）：模型在少量示例（如 5 个）的提示下回答问题。
• 准备模型：确保模型已经加载并准备好进行推理。如果是基于 Hugging Face 的模型，用以下代码加载：

from transformers import AutoModelForCausalLM, AutoTokenizermodel_name = \"your-model-name\"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModelForCausalLM.from_pretrained(model_name)

• 构建提示（Prompt）
  • 零样本提示：

以下是中国关于{科目}考试的单项选择题，请选出其中的正确答案。{测试题目}A. {选项A}B. {选项B}C. {选项C}D. {选项D}答案：

以下是中国关于{科目}考试的单项选择题，请选出其中的正确答案。{题目1}A. {选项A}B. {选项B}C. {选项C}D. {选项D}答案：A[k-shot 示例]{测试题目}A. {选项A}B. {选项B}C. {选项C}D. {选项D}答案：

inputs = tokenizer(prompt, return_tensors=\"pt\")outputs = model.generate(**inputs)response = tokenizer.decode(outputs[0], skip_special_tokens=True)answer = extract_answer(response)  # 自定义函数，提取答案选项

from sklearn.metrics import accuracy_score# 假设 `predictions` 是模型的预测结果，`labels` 是真实答案accuracy = accuracy_score(labels, predictions)print(f\"Validation Accuracy: {accuracy:.2f}\")

{  \"chinese_language_and_literature\": {    \"0\": \"A\",    \"1\": \"B\",    ...  },  ...}