评测 AI 短剧最容易犯的错，是把单镜头画质分当成叙事成功率。一个镜头里人物脸部稳定，不代表切到下一镜还是同一个角色；衣服、道具归属、剧情状态都可能断——上一镜刚把钥匙交给别人，下一镜又从自己口袋里掏出来。跨镜一致性评测要的是跨镜证据，抽样和聚合方式都得重新设计。
抽样单位定为故事，不是镜头
同一故事里的帧和镜头高度相关，当独立样本算，置信区间会窄得虚高。正确的做法是以故事为最小评测单元：每个故事固定分镜表、角色参考图、预期状态变化和评分规范，由不知道模型身份的标注者逐镜检查身份、服装、道具与状态连续性。
评分规范里还要写清"允许的变化"。剧情需要换装、角色本身在变老，这些属于合理剧情推进，不能自动判错。规范没写清楚的项，标注者只能靠感觉，分歧率会失控。
聚合规则：首试定胜负，重试要记账
主指标建议按"首次尝试通过率"统计：每个故事只取预选定的第一次生成，任一镜头违反约定即整个故事判负。用 Python 把这条聚合规则写成可执行校验：
from collections import defaultdict
attempts = [
("A", 1, [True, True], "ok"),
("B", 1, [True, False], "ok"),
("B", 2, [True, True], "ok"),
("C", 1, [], "generation_error"),
]
by_story = defaultdict(list)
for story, attempt, shots, status in attempts:
by_story[story].append((attempt, shots, status))
first = [min(xs, key=lambda x: x[0]) for xs in by_story.values()]
passed = sum(status == "ok" and bool(shots) and all(shots)
for _, shots, status in first)
assert (passed, len(first), len(attempts)) == (1, 3, 4)
这段夹具数据跑出 1/3 的首试通过率、4 次总尝试——数字是教学算术，不是任何模型的真实表现。要点在规则：重试与生成错误另列统计但绝不删除，研究重试策略时按"预算内成功率"算，所有尝试的成本都记账。只挑最好的一条当分母，评测结论就废了。配对比较时，同一个故事必须在不同条件下都出现；置信区间要对故事簇做重采样，而不是按镜头数算。
自动指标的适用边界
VBench 这类评测库提供主体一致性、背景稳定性等维度，可作为人工评审的补充，但距离替代跨镜判定还很远：遮挡、背影、年龄跨度、长相相似的双角色，都会骗过自动表征提取。上线前先做一次校准——抽一批已有人工结论的片段对比自动分与人工分的一致率，低于阈值就只能当参考列，不能进主指标。
交付物清单与留证
一套可复现的评测协议至少包含五样：分镜与评分规范、标注分歧记录与裁决证据、每个故事的全部尝试及成本、自动指标的校准记录、聚合规则的机器可执行定义。生成服务对接、素材版权、预算口径这些前置条件也要落成文字。评测记录齐全之后，才谈得上回答"哪种参考策略能减少跨镜失败"这类优化问题——没有留证的评测，只是看片会。
评论0