note创意任务评测不能只看一个总分必须分成 3 层硬性底线层有没有事实错误、逻辑断裂、明显病句、跑题、违规任务能力层有没有完成该类任务最核心的目标审美风格层有没有高级感、感染力、记忆点、文学性是否有“机器味”文章目录note一、统一评测框架1评分结构2评分方式A. 维度打分绝对分B. 两两比较Pairwise二、文学创作评测体系文学创作评测表100分文学创作的扣分项 / 一票否决项文学创作更科学的评测建议三、剧情编写评测体系剧情编写评测表100分剧情编写的关键扣分项剧情编写更合理的专项评测1. 设定记忆一致性测试2. 伏笔-回收链路测试四、营销文案评测体系营销文案评测表100分营销文案的强制扣分项营销文案更科学的评测建议品牌向文案权重示例转化向文案权重示例五、一个更实战的“评分档位说明”六、实际落地时用的最终评测表1文学创作最终版2剧情编写最终版3营销文案最终版一、统一评测框架创意任务评测不能只看一个总分必须分成 3 层硬性底线层有没有事实错误、逻辑断裂、明显病句、跑题、违规任务能力层有没有完成该类任务最核心的目标审美风格层有没有高级感、感染力、记忆点、文学性是否有“机器味”建议所有创意任务都采用下面这套统一结构1评分结构总分 基础质量分20 任务核心分60 高级审美分20其中基础质量分通顺、完整、无硬伤任务核心分该任务最核心的能力高级审美分风格、感染力、新鲜度、记忆点2评分方式建议同时使用两种A. 维度打分绝对分每个维度打 1~5 分或 1~10 分再加权汇总。适合做模型横向对比长期看趋势分析哪个维度弱B. 两两比较Pairwise给 judge 两个候选结果只判断A 更好 / B 更好 / 接近并说明在哪些维度更好适合做新旧模型 A/BPrompt 策略对比偏好数据筛选在创意任务里pairwise 往往比绝对打分更稳定因为审美任务很难保证绝对分尺度一致。二、文学创作评测体系文学创作的核心不是“信息传达”而是语言质感 情绪感染 人物真实感 叙事牵引力。文学创作评测表100分一级维度二级维度分值评测要点常见低分问题基础质量语言通顺与可读性10语句是否自然顺畅无明显病句、歧义、重复病句、堆砌形容词、句式僵硬基础质量结构完整性10是否有相对完整的段落组织、起承转合或情绪推进东一段西一段像拼接核心能力文风一致性15是否保持统一文风是否符合题设如冷峻、细腻、克制、诗性前后风格漂移像多个人写的核心能力情绪表达与感染力15情绪是否自然渗透能否引发共鸣而非口号式表达“他很悲伤”这类直给缺少感染核心能力人物塑造15人物是否有辨识度、行为和语言是否一致、是否有真实感人物像工具人台词同质化核心能力叙事张力15是否有推进力、悬念、冲突或内在牵引不松散不平平铺直叙像流水账高级审美语言表现力 / 意象细节10是否有具体细节、有效意象、节奏变化和表达层次空泛抒情无抓手高级审美新颖度 / 陌生化表达5是否避免陈词滥调是否有新鲜表达套话、鸡汤化、模板化高级审美文学性 / 余味5是否有留白、含蓄、回味感而非“把意思说尽”过度总结、过度升华文学创作的扣分项 / 一票否决项类型建议处理严重跑题直接降到 60 以下明显逻辑断裂扣 10~20人物行为严重不自洽扣 5~15AI 套话浓重如“仿佛命运的齿轮开始转动”这类泛化句扣 5~10过度解释情绪、过度总结主题扣 5~10文学创作更科学的评测建议文学创作最好不要只看单条分数建议拆成三种子集抒情类人物片段类短篇叙事类因为同一个模型可能很会写氛围但不会写人物对话或者会写短场景不会控长叙事。所以文学创作评测最好输出总分文风分情绪分人物分张力分子集分布这样更利于找问题。三、剧情编写评测体系剧情编写和文学创作不一样它更偏结构工程。它看的是设定能不能立住、冲突能不能推起来、节奏会不会崩、反转合不合理。剧情编写评测表100分一级维度二级维度分值评测要点常见低分问题基础质量逻辑清晰度10情节因果是否清楚事件顺序是否明确前因后果不清跳步严重基础质量结构完整性10是否具备起始、发展、转折、收束像提纲而不是剧情核心能力世界观 / 设定一致性15人物设定、规则、背景约束是否自洽世界规则乱改设定崩塌核心能力冲突设计15是否有明确冲突冲突是否足够驱动剧情没矛盾剧情推不动核心能力节奏控制15信息释放是否合理张弛是否有变化一上来全讲完或拖沓核心能力反转合理性15反转是否有伏笔支撑是否意外但合理硬拐、强行反转核心能力人物动机合理性10人物行为是否符合其目标、性格和处境为剧情服务而行动高级审美戏剧张力 / 可看性5是否让人想继续看是否有“钩子”平淡无悬念高级审美创新性5设定、桥段、冲突组合是否新鲜套路感重高级审美场景表现力 / 画面感5是否有可视化的场景和镜头感全是概述缺乏画面高级审美情绪回收 / 收束力度5结尾是否有效完成情绪或主题闭环虎头蛇尾剧情编写的关键扣分项类型建议处理设定自相矛盾扣 10~20人物动机失真扣 5~15反转没有铺垫扣 10节奏塌陷中段无推进扣 5~10结尾收不住 / 强行上价值扣 5~10剧情编写更合理的专项评测剧情类强烈建议增加两个专项指标1. 设定记忆一致性测试给长上下文设定看模型后续是否记住并遵守。例如角色不能说谎某世界不能出现现代科技某角色怕水却下水救人这个维度对剧情模型很重要。2. 伏笔-回收链路测试评测是否埋了伏笔伏笔是否有效触发反转回收是否自然这比单看“反转好不好”更科学。四、营销文案评测体系营销文案和前两类最大的不同是它最终不是为了“美”而是为了传播和转化。所以一定要把“审美”和“商业目标”分开看。营销文案评测表100分一级维度二级维度分值评测要点常见低分问题基础质量语言清晰度10是否易读易懂表达明确不绕表达含混、太虚基础质量信息完整性10产品/卖点/行动指令是否讲清楚漏核心信息核心能力目标受众匹配15语气、利益点、表达方式是否匹配目标人群对年轻人写得像公文核心能力品牌调性一致性15是否符合品牌一贯气质和人设品牌感弱像 generic 文案核心能力核心卖点提炼15是否抓住真正有竞争力的利益点说了一堆没重点核心能力传播性 / 可传播表达10是否适合被记住、转述、扩散平庸、无传播抓手核心能力转化导向10是否有明确行动引导能推动点击/购买/咨询只会描述不会转化高级审美记忆点 / slogan 感5是否有可记忆短句、钩子表达看完就忘高级审美创意性 / 差异化5是否避免行业套话是否有新鲜表达千篇一律高级审美情绪调动能力5是否能激发兴趣、认同、焦虑、欲望、期待等太冷、太平高级审美场景代入感5是否让用户想到具体使用场景空喊卖点无场景营销文案的强制扣分项类型建议处理虚假夸大 / 不合规表述一票否决或直接低分品牌调性严重跑偏扣 10~20没有 CTA行动号召扣 5~10卖点与目标人群错位扣 10套话严重如“开启美好生活”扣 5~10营销文案更科学的评测建议营销文案最好按场景拆开评品牌向文案效果转化文案社媒传播文案电商详情页卖点文案短视频口播文案因为它们权重完全不同。比如品牌广告更重调性、记忆点、情绪价值电商文案更重卖点提炼、清晰度、转化社媒文案更重钩子、节奏、传播感所以一个更落地的做法是品牌向文案权重示例品牌调性一致性25记忆点20情绪调动15受众匹配15创意性15基础质量10转化向文案权重示例卖点提炼25转化导向20受众匹配15清晰度15场景代入感10传播性/记忆点15五、一个更实战的“评分档位说明”只写分值还不够真正做评测时必须给每个维度定义分档否则不同评审理解不一致。建议统一用 5 档分数档定义1分明显失败严重不符合要求2分较弱存在明显缺陷3分合格完成基本要求但亮点不足4分较好整体成熟少量瑕疵5分优秀明显优于一般水平有专业质感例如“人物塑造”维度分档描述1分人物行为混乱语言无辨识度2分有基本角色设定但较扁平3分角色基本成立有一定一致性4分人物鲜明行为语言自然统一5分人物立体真实有复杂性和记忆度这一步非常重要因为它直接影响 LLM judge prompt 和人工标注指南。六、实际落地时用的最终评测表下面这个是最推荐的版本维度分 扣分项 总评项。1文学创作最终版维度分值语言通顺与可读性10结构完整性10文风一致性15情绪表达与感染力15人物塑造15叙事张力15语言表现力 / 细节意象10新颖度5文学性 / 余味5总分100附加机器味明显-5~-10跑题严重-10~-30惊艳表达明显3~52剧情编写最终版维度分值逻辑清晰度10结构完整性10世界观 / 设定一致性15冲突设计15节奏控制15反转合理性15人物动机合理性10戏剧张力 / 可看性5创新性5场景表现力 / 画面感5情绪回收 / 收束力度5总分110如果你要严格 100 分制可以把最后三个 5 分项压缩成合计 10 分。更推荐下面这个 100 分版维度分值逻辑清晰度10结构完整性10世界观 / 设定一致性15冲突设计15节奏控制15反转合理性15人物动机合理性10戏剧张力 / 可看性5创新性5场景表现力与收束力度10总分1003营销文案最终版维度分值语言清晰度10信息完整性10目标受众匹配15品牌调性一致性15核心卖点提炼15传播性10转化导向10记忆点5创意性 / 差异化5情绪调动能力5场景代入感5总分105压成 100 分制推荐版维度分值语言清晰度10信息完整性10目标受众匹配15品牌调性一致性15核心卖点提炼15传播性10转化导向10记忆点5创意性 / 差异化5情绪调动与场景代入5总分100