IndicEval: A Bilingual Indian Educational Evaluation Framework for Large Language ModelsAuthors:Saurabh Bharti, Gaurav Azad, Abhinaw Jagtap, Nachiket TapasDeep-Dive Summary:IndicEval面向大语言模型的多语种印度教育评估框架摘要随着大语言模型LLMs的快速发展评估框架需要反映现实世界的学术严谨性和多语言复杂性。本文介绍了 IndicEval这是一个可扩展的基准测试平台旨在利用来自 UPSC印度公务员考试、JEE联合入学考试和 NEET国家资格入学考试的真实高风险考试题目评估 LLM 在 STEM 和人文领域的英语及印地语表现。与合成基准不同IndicEval 以真实考试标准为基础能够切合实际地衡量推理能力、领域知识和双语适应性。1 引言目前主流的基准测试如 GLUE 和 SuperGLUE主要依赖于人工策划或合成的数据集难以反映模型在应用性、高风险环境中的鲁棒推理能力。在教育领域深度解决问题的能力、特定领域的推理和语言细微差别至关重要。IndicEval 旨在填补三个结构性空白多语言认知需求现有基准往往将多语言能力简化为翻译准确性忽视了集成双语推理。应用型多步推理当前的评估套件更强调事实检索而非 UPSC、JEE 和 NEET 特有的多步问题解决能力。程序真实性缺乏对真实高风险考试约束和学科严谨性的模拟。2 相关工作早期的基准测试侧重于通用自然语言理解。随后的 AGIEval 和 HELM 引入了标准化考试题目但大多集中在英语环境。最近的 M3Exam 和 SciExam 扩展了语言和科学领域而 IndicQA 引入了具有文化背景的数据集。然而这些努力大多仍以翻译为中心。IndicEval 通过将双语推理、领域严谨性和真实的评估结构整合到模块化平台中区别于现有框架。3 研究方法本研究采用了标准化的八阶段评估流程(1) 数据收集、(2) 人工标注、(3) 元数据标记、(4) JSON 模式构建、(5) 提示词生成、(6) 模型查询、(7) 答案自动提取以及 (8) 定量和定性评估。数据集包含客观选择题MCQs涵盖 UPSC政体、历史等、JEE物理、化学、数学和 NEET生物、化学。题目以 JSON 格式存储{passage:null,question:Question text goes here,options:[a. Option A,b. Option B,c. Option C,d. Option D],label:a}提示词工程包括三种策略零样本Zero-Shot、少样本Few-Shot和思维链Chain-of-Thought, CoT。主要评估指标为准确率A c c u r a c y C o r r e c t P r e d i c t i o n s T o t a l Q u e s t i o n s × 100 ( 1 ) \mathrm{Accuracy} \frac{\mathrm{Correct~Predictions}}{\mathrm{Total~Questions}} \times 100 \quad (1)AccuracyTotalQuestionsCorrectPredictions​×100(1)4 实验设计实验对 Gemini 2.0 Flash、GPT-4、Claude 和 LLaMA 3-70B 进行了测试。各模型在相同的题库、提示词模板和参数设置下运行以确保可比性。数据集分布如下表所示Table 2. 考试、学科和语言的题目分布ExaminationSubjectEnglishHindiUPSCGeneral Studies10086JEEPhysics108-NEETBiology9393NEETChemistry50385 结果5.1 思维链CoT提示词效果CoT 提示词在几乎所有配置下都显著提高了准确率尤其是在印地语化学领域Gemini 的表现提升了 27.05%。Table 3. 思维链提示词对准确率%的影响ModelSubjectLanguageZero-ShotCoTGemini 2.0 FlashChemistryHindi44.0071.05Gemini 2.0 FlashUPSCEnglish87.0089.00LLaMA 3-70BUPSCEnglish67.0080.00LLaMA 3-70BUPSCHindi39.5368.60Gemini 2.0 FlashJEE PhysicsEnglish67.5975.93Gemini 2.0 FlashNEET BiologyHindi86.0291.405.2 综合准确率对比Gemini 2.0 Flash 在绝大多数学科和策略中表现优于 LLaMA 3-70B。最高观测准确率为94.00 % 94.00\%94.00%Gemini, NEET Chemistry English, CoT。5.3 模型间性能差异在 UPSC 印地语零样本测试中Gemini84.88 % 84.88\%84.88%与 LLaMA39.53 % 39.53\%39.53%之间存在高达45.35 45.3545.35个百分点的差距。5.4 双语性能模式英语和印地语之间存在明显的性能差距。例如LLaMA 在 UPSC 零样本下的英语准确率为67.00 % 67.00\%67.00%而印地语仅为39.53 % 39.53\%39.53%。5.5 学科特定差异模型在 NEET 生物和化学方面的表现通常优于 JEE 物理和数学。例如Gemini 在 NEET 生物印地语CoT中达到91.40 % 91.40\%91.40%但在 JEE 物理英语CoT中仅为75.93 % 75.93\%75.93%。5.6 提示词敏感性令人惊讶的是在某些情况下少样本Few-Shot提示词的效果反而低于零样本。6 讨论实验结果证明了 CoT 在增强教育场景推理中的核心作用。然而印地语相对于英语的显著性能衰减部分配置下超过 40 个百分点表明多语言推理挑战可能源于表示失衡或分词效率低下。学科差异表明模型在知识检索如生物方面表现强劲但在多步符号或定量推理如物理方面仍面临困难。此外少样本策略偶尔的低效暗示了模型对格式敏感和上下文干扰的问题。7 结论IndicEval 提供了一个基于真实考试的基准揭示了 LLM 在处理高难度、多语言学术任务时的结构性弱点。虽然 CoT 带来了显著的增益平均提升μ 11.59 % \mu 11.59\%μ11.59%但跨语言的准确率差距平均 34.77 个百分点表明要实现语言公平且认知可靠的教育级 LLM仍有很长的路要走。未来研究将扩展到更多印度语言如泰米尔语、孟加拉语和主观题型。Original Abstract:The rapid advancement of large language models (LLMs) necessitates evaluation frameworks that reflect real-world academic rigor and multilingual complexity. This paper introduces IndicEval, a scalable benchmarking platform designed to assess LLM performance using authentic high-stakes examination questions from UPSC, JEE, and NEET across STEM and humanities domains in both English and Hindi. Unlike synthetic benchmarks, IndicEval grounds evaluation in real examination standards, enabling realistic measurement of reasoning, domain knowledge, and bilingual adaptability. The framework automates assessment using Zero-Shot, Few-Shot, and Chain-of-Thought (CoT) prompting strategies and supports modular integration of new models and languages. Experiments conducted on Gemini 2.0 Flash, GPT-4, Claude, and LLaMA 3-70B reveal three major findings. First, CoT prompting consistently improves reasoning accuracy, with substantial gains across subjects and languages. Second, significant cross-model performance disparities persist, particularly in high-complexity examinations. Third, multilingual degradation remains a critical challenge, with marked accuracy drops in Hindi compared to English, especially under Zero-Shot conditions. These results highlight persistent gaps in bilingual reasoning and domain transfer. Overall, IndicEval provides a practice-oriented, extensible foundation for rigorous, equitable evaluation of LLMs in multilingual educational settings and offers actionable insights for improving reasoning robustness and language adaptability.PDF Link:2602.16467v1部分平台可能图片显示异常请以我的博客内容为准