天羿轩智

文章详情

首发档案行业 AI 使用测试用例(第一期),也可以当提示词和 AI 入门使用

85
发表时间:2025-05-24 20:38作者:档案AI共学社

实话实说,这种 AI 评测的表,我们这种选手根本看不懂,也不明白背后的 技术原理和数据用例。

Image

(图片来自通义千问qwen3)

全民 AI 的时代肯定是来了,这个不用怀疑。

2025 年的 AI 新产品不断的出现,于是乎我在想针对自己所在的行业做个简单的使用/测试/上手用例,也便于大家面对 AI 大模型的时候,真不知道问什么,怎么问。

思路是这样的:

Image
Image

翻译后还是看不懂。算了。准备熟悉点的场景吧。

  • 总结行业的业务、关键词
  • 或者让 AI 帮你总结、提炼(需反复多次)
  • 形式词汇表

行业业务关键词整理

收集、整理、数字化、检索、复制、档案移交、编研、编纂、展览、修复、档案防护、档案库房建设、电子档案、数字档案馆(室)、数字档案管理系统、档案托管寄存、档案消毒、宣传教育、宣传海报设计、档案行政管理、爱国教育、展厅、鉴定、销毁、保管、开放审核、利用、开发、档案培训、档案宣传、档案文创、档案文化、档案新媒体、档案社交媒体档案信息化、数字档案、信息安全。

这些不全,逐步完善

基于这些场景搭建测试用例。

工具:trae(国际版)

模型选择:Gemini-2.5 pro

测试用例1:基于特定历史事件的档案元素生成文创产品设计理念

  • 目的 :测试模型能否理解特定历史事件档案中蕴含的代表性元素,并结合现代审美和市场需求,提出有创意的文创产品设计理念。
  • 步骤 :
    1. 向模型提供一段关于特定历史事件的档案文字描述(例如,关于古代丝绸之路的描述)。
    2. 要求模型识别描述中的关键档案元素(如:骆驼、丝绸、古地图、沿途地标、文化符号等)。
    3. 要求模型基于这些元素,提出至少三种不同类型的文创产品设计理念(例如,可以是主题书签、茶具套装、桌面摆件等)。
    4. 要求模型对每种设计理念进行阐述,包括设计灵感来源、产品材质建议、寓意、目标用户群体等。

示例输入 :

历史事件描述:“丝绸之路,这条古老的商贸通道,在公元前2世纪至公元16世纪间,连接了东方与西方。无数满载丝绸、瓷器、香料的商队,在漫漫黄沙中艰难跋涉。沿途的敦煌壁画记录了当时的繁荣景象,楼兰古城的遗址诉说着曾经的辉煌。骆驼是这条路上的主要交通工具,它们坚韧不拔的精神也成为丝绸之路文化的一部分。这条路不仅是贸易之路,更是文化交流之路,佛教、艺术、科技通过它传播到世界各地。”指令:“请仔细阅读以上关于丝绸之路的档案描述,识别其中的关键档案元素,并基于这些元素提出三种文创产品设计理念。请详细说明每种理念的设计灵感、建议材质、产品寓意以及目标用户。”

注意:这个时候,可以随意选择AI平台或者模型。对比 2 个的效果。

豆包:

Image

文心一言:

Image

评估标准 :

  • 元素提取准确性 :模型是否准确识别了描述中的关键档案元素?(满分5分)
  • 设计理念与元素关联度 :设计理念是否与提取的档案元素紧密相关?(满分5分)
  • 创意性与实用性 :设计理念是否新颖、独特,并兼具一定的实用价值或收藏价值?(满分5分)
  • 文化内涵表达 :设计理念是否能较好地体现历史事件的文化内涵?(满分5分)
  • 阐述完整性与清晰度 :对设计理念的各项说明是否完整、清晰、具有说服力?(满分5分)

上 AI 绘画软件:

Image
Image

测试用例2:为档案主题展览设计系列文创衍生品概念

  • 目的 :测试模型能否根据给定的档案展览主题和核心展品信息,构思一系列相互关联且有吸引力的文创衍生品概念。
  • 步骤 :
    1. 向模型提供一个档案展览的主题和几件核心展品的简要描述(例如,“城市记忆:百年工业遗产档案展”,核心展品包括老厂房的图纸、旧机器的照片、工人口述史片段)。
    2. 要求模型围绕展览主题和核心展品,构思一个包含至少4种不同类型文创衍生品的系列概念(例如,可以是纪念徽章、帆布袋、微缩模型、明信片套装)。
    3. 要求模型说明这个系列文创的设计主题、色彩搭配建议、以及每种衍生品如何呼应展览内容。
  • 示例输入 :
    展览主题:“城市记忆:百年工业遗产档案展”核心展品描述:1.  “A厂旧址建筑图纸”:一套泛黄的、详细记录了20世纪初某大型纺织厂房结构与布局的蓝图。2.  “‘先锋号’蒸汽机车照片”:一张记录了该城市第一代工业蒸汽机车雄姿的黑白照片,机车身上有清晰的“先锋号”字样。3.  “纺织女工口述史片段”:一段文字记录,讲述了上世纪50年代一位女工在纺织厂工作的日常、挑战与梦想。指令:“请根据以上档案展览主题和核心展品信息,构思一个系列文创衍生品概念(至少4种)。请阐述该系列的设计主题、建议的主色调,并说明每种衍生品如何与展览内容或核心展品产生联系。”
  • 评估标准 :
    • 主题一致性 :系列文创概念是否与展览主题高度契合?(满分5分)
    • 展品关联性 :每种衍生品的设计是否巧妙地融入了核心展品的元素或故事?(满分5分)
    • 系列感与整体性 :不同衍生品之间是否存在设计上的呼应,形成一个有机的整体?(满分5分)
    • 创意与吸引力 :文创概念是否具有新意,能够吸引参观者购买或收藏?(满分5分)
    • 阐述清晰度 :对系列概念的描述是否清晰、具体,易于理解其设计思路?(满分5分)
Image
Image
Image
Image

测试用例3:智能识别与分类待收集档案线索

  • 目的 :测试模型能否从混杂的文本信息中,准确识别出潜在的、有价值的档案收集线索,并进行初步分类。
  • 步骤 :
    1. 向模型输入一段包含多种信息的文本(例如,一段地方政府工作会议纪要,其中可能夹杂着政策发布、项目启动、人事变动、历史事件提及等信息)。
    2. 要求模型识别出其中哪些信息可以作为档案收集的线索。
    3. 要求模型对识别出的线索按照预设的档案门类进行初步分类(例如:文书档案、科技档案、照片档案、实物档案等)。
    4. 要求模型简述每个线索的判断依据和分类理由。
  • 示例输入 :
    文本信息:“上周市政会议讨论了关于启动‘智慧城市’一期项目的议案,并通过了相关预算。会议还回顾了建市70周年庆典活动的筹备情况,特别提到了需要征集反映城市变迁的老照片。张局长在会上强调了新区规划方案的重要性,并要求各部门提交详细的实施计划。此外,会议记录显示,李工程师因其在‘跨江大桥’设计中的突出贡献获得了表彰,其设计手稿具有重要参考价值。”预设档案门类:[文书档案, 科技档案, 照片档案, 声像档案, 实物档案]指令:“请阅读以上会议纪要,识别其中可作为档案收集的线索,并按照提供的档案门类进行分类。请说明每个线索的判断依据及分类理由。”
  • 评估标准 :
    • 线索识别全面性 :是否识别出了所有有价值的档案线索?(满分5分)
    • 线索识别准确性 :识别出的线索是否确实具有档案价值?(满分5分)
    • 分类准确性 :档案线索的分类是否准确?(满分5分)
    • 理由阐述清晰度 :判断依据和分类理由是否清晰、合理?(满分5分)
    • 无关信息排除 :是否有效排除了与档案收集无关的信息?(满分5分)
Image

测试用例4:根据档案内容自动生成规范化案卷标题

  • 目的 :测试模型能否理解档案文件的核心内容,并依据档案著录规则,自动生成简洁、准确、规范的案卷标题。
  • 步骤 :
    1. 向模型输入一份档案文件的主要内容摘要或全文(例如,一份关于某项工程竣工验收的报告摘要)。
    2. 提供案卷标题的构成要素和格式要求(例如:责任者—事由—文种)。
    3. 要求模型根据档案内容和格式要求,生成一个或多个候选案卷标题。
  • 示例输入 :
    档案内容摘要:“本报告详细记录了幸福小区1号楼建设项目自2023年3月1日至2024年5月30日的全部施工过程、质量检查情况、遇到的主要问题及解决方案,并附有完整的竣工图纸清单和验收小组意见。经综合评定,该工程符合设计要求和国家建筑标准,同意通过竣工验收。建设单位:阳光房地产开发有限公司。监理单位:平安工程监理有限公司。施工单位:卓越建筑集团。”案卷标题构成要素与格式要求:[责任者]关于[事由]的[文种]指令:“请根据以上档案内容摘要和案卷标题格式要求,生成一个规范的案卷标题。”
  • 评估标准 :
    • 内容概括准确性 :生成的标题是否准确概括了档案的核心内容?(满分5分)
    • 要素提取完整性 :标题是否包含了要求的关键要素(如责任者、事由)?(满分5分)
    • 格式规范性 :标题是否符合给定的格式要求?(满分5分)
    • 简洁性与明确性 :标题是否简洁明了,无歧义?(满分5分)
    • 专业术语使用 :是否恰当使用了档案工作的专业术语(如文种判断)?(满分5分)

测试用例5:对不规范的档案目录进行自动整理与标准化

  • 目的 :测试模型能否识别不规范的档案目录条目,并根据给定的标准或规则,进行自动化的整理、修正和标准化。
  • 步骤 :
    1. 向模型输入一批混杂着不规范条目的档案目录数据(例如,目录中存在题名不完整、日期格式不统一、保管期限缺失或不规范等问题)。
    2. 提供档案目录的规范化标准和著录规则(例如,日期统一格式为YYYY-MM-DD,保管期限应为“永久”、“长期”、“短期”之一等)。
    3. 要求模型识别出不规范的条目,并输出整理和标准化后的目录。
    4. 要求模型高亮或说明其所做的修改。
  • 示例输入 :
    不规范档案目录:1. 文件号: 001, 题名: 关于去年的工作总结, 日期: 2023年12月, 页数: 10, 保管期限: 永2. 文件号: 002, 题名: 项目计划书, 日期: 2024.01.15, 页数: 25, 保管期限: 30年3. 文件号: 003, 题名: 会议纪要 - 讨论预算, 日期: 2024/3/5, 页数: 5, 保管期限: 短4. 文件号: 004, 题名: 技术报告XYZ, 日期: 二零二三年五月一日, 页数: 60, 保管期限: Permanent规范化标准与规则:- 题名:应完整,避免口语化表达。- 日期格式:YYYY-MM-DD。- 保管期限:应为“永久”、“长期”(指16-50年)、“短期”(指15年及以下)。“30年”视为“长期”,“永”和“Permanent”视为“永久”,“短”视为“短期”。指令:“请根据提供的不规范档案目录和规范化标准,对其进行整理和标准化。请输出修正后的目录,并简要说明您对哪些条目进行了哪些修改。”
  • 评估标准 :
    • 不规范识别准确性 :是否准确识别了所有不规范的目录条目和具体问题点?(满分5分)
    • 修正准确性 :对不规范之处的修正是否符合标准和规则?(满分5分)
    • 标准化一致性 :输出的目录是否整体达到了标准化要求?(满分5分)
    • 修改说明清晰度 :对所做修改的说明是否清晰、准确?(满分5分)
    • 数据完整性 :是否保留了原始目录中的所有有效信息,未发生不必要的删减?(满分5分)

测试用例6:从档案文本中自动提取关键元数据

  • 目的 :测试模型能否从非结构化的档案文本中自动抽取出预定义的关键元数据字段。
  • 步骤 :
    1. 向模型输入一段档案文本(例如,一份合同或协议)。
    2. 提供需要提取的元数据字段列表(例如:合同编号、甲方、乙方、签订日期、主要标的、金额等)。
    3. 要求模型从文本中抽取出这些元数据,并以结构化的形式输出。
  • 示例输入 :
    档案文本(合同节选):“本采购合同(合同号:CG-2024-0078)由ABC科技有限公司(以下简称“甲方”)与XYZ服务有限公司(以下简称“乙方”)于2024年6月18日在中国上海签订。根据本合同,甲方向乙方采购定制化软件开发服务一套,总金额为人民币伍拾万元整(¥500,000.00)。服务内容详见附件一《技术规格书》。”需提取的元数据字段:[合同编号, 甲方, 乙方, 签订日期, 主要标的, 金额]指令:“请从以上合同文本中提取指定的元数据字段,并以‘字段名: 字段值’的格式输出。”
  • 评估标准 :
    • 提取准确率 :提取出的元数据值是否准确无误?(对每个字段单独评分或综合评分,满分5分)
    • 提取召回率 :是否所有应提取的元数据都被成功提取出来了?(满分5分)
    • 格式正确性 :输出的结构化数据格式是否符合要求?(满分5分)
    • 抗干扰能力 :模型是否能有效处理文本中的干扰信息,准确定位元数据?(满分5分)
    • 对模糊表达的处理 :如果文本中某些元数据表达不直接,模型能否进行合理推断(如有此要求)?(满分5分)

测试用例7:辅助进行档案数字化过程中的图像内容描述

  • 目的 :测试模型能否对档案图像(如老照片、历史地图、手稿等)进行内容分析,并生成简洁、准确的描述性文字,辅助档案数字化著录。
  • 步骤 :
    1. 向模型输入一张档案图像(例如,一张描绘了特定场景的历史绘画作品的扫描件)。
    2. 要求模型描述图像中的主要人物、物体、场景、活动以及可能的时代背景或风格特征。
    3. 要求描述文字客观、简洁,突出档案价值相关的核心信息。
  • 示例输入 :
  • 评估标准 :
    • 内容识别准确性 :对图像中关键元素的识别是否准确?(满分5分)
    • 描述完整性 :是否涵盖了图像的主要信息点?(满分5分)
    • 描述客观性 :描述是否基于图像内容,避免主观臆断?(满分5分)
    • 简洁与重点突出 :描述是否简洁,并能突出与档案价值相关的信息?(满分5分)
    • 时代/风格判断(若适用) :对时代背景或艺术风格的判断是否合理?(满分5分)

测试用例8:辅助档案OCR识别结果的校对与修正

  • 目的 :测试模型能否对比OCR识别结果与原始图像(或高质量扫描件),找出识别错误或不准确之处,并提出修正建议。
  • 步骤 :
    1. 向模型提供一份档案图像的扫描件和对应的OCR初步识别文本。
    2. 指出OCR文本中可能存在的典型错误类型(如:相似字混淆、标点符号错误、断行错误、特殊符号无法识别等)。
    3. 要求模型对比图像和文本,找出OCR识别的错误,并给出修正后的文本。
    4. (可选)要求模型解释其判断某处为错误的理由。
  • 示例输入 :
  • 评估标准 :
    • 错误检测准确率 :是否准确找到了OCR文本中的所有错误?(满分5分)
    • 修正准确率 :提出的修正是否正确?(满分5分)
    • 对疑难文字的处理能力 :对于模糊、手写或不规范的文字,模型的判断和修正能力如何?(满分5分)
    • 理由阐述清晰度(若要求) :对错误判断的理由是否清晰、合理?(满分5分)
    • 效率 :模型处理速度如何(主观感受或计时)?(满分5分)

测试用例9:基于自然语言的档案智能检索

  • 目的 :测试模型能否理解用户的自然语言检索请求,并从模拟的档案数据库(或提供的多份档案摘要)中匹配到最相关的档案条目。
  • 步骤 :
    1. 向模型提供若干份档案的摘要信息(包含题名、关键词、内容简介、时间等)。
    2. 用户用自然语言提出一个档案检索需求(例如,“我想找关于1980年代城市规划改革的资料”)。
    3. 要求模型返回最相关的1-3份档案条目的信息,并说明推荐理由。
  • 示例输入 :
  • 评估标准 :
    • 检索准确性(查准率) :推荐的档案是否与用户需求高度相关?(满分5分)
    • 检索全面性(查全率,相对) :是否遗漏了其他高度相关的档案(在小样本库中判断)?(满分5分)
    • 对自然语言的理解能力 :模型是否能准确理解用户查询中的语义、时间限定、主题范围等?(满分5分)
    • 推荐理由的合理性 :给出的推荐理由是否充分、有说服力?(满分5分)
    • 结果排序(若多于1条) :推荐结果的排序是否合理(最相关的在前)?(满分5分)

测试用例10:辅助档案复制申请的合规性审查

  • 目的 :测试模型能否根据预设的档案开放和复制规定,对用户的档案复制申请进行初步的合规性判断。
  • 步骤 :
    1. 向模型提供一份简化的档案开放和复制规定(例如,哪些类型的档案不予复制,复制数量限制,涉密档案的处理流程等)。
    2. 向模型输入一个模拟的用户档案复制申请(包含申请人信息、申请复制的档案信息、复制目的等)。
    3. 要求模型判断该申请是否符合规定,如果不符合,请指出具体违反了哪些条款,并给出处理建议(如:拒绝、要求补充材料、转人工审核等)。
  • 示例输入 :
    档案开放与复制规定(简化版):1.  凡涉及国家秘密、商业秘密、个人隐私的档案,未经解密或授权,不予复制。2.  已开放档案,每人每次复制同主题内容不超过10页。3.  复制目的需与学术研究、政府参考、法律诉讼等正当理由相关。4.  复制申请需提供有效身份证明。用户档案复制申请:- 申请人:张三(未提供身份证明照片)- 申请复制档案:[一份标记为“秘密”的会议纪要],档号:XM-2001-M001- 复制数量:全文复制(约30页)- 复制目的:个人兴趣收藏指令:“请根据以上档案开放与复制规定,审查这份用户档案复制申请是否合规。如果不合规,请指出具体原因并给出处理建议。”
  • 评估标准 :
    • 规定理解准确性 :模型是否准确理解了各项规定条款?(满分5分)
    • 违规点识别准确性 :是否准确识别出申请中的所有不合规之处?(满分5分)
    • 引用条款正确性 :指出的违规原因是否能正确对应到规定条款?(满分5分)
    • 处理建议合理性 :给出的处理建议是否恰当、符合实际操作?(满分5分)
    • 表达清晰专业 :审查意见的表达是否清晰、专业?(满分5分)

测试用例11:生成档案数字化项目的初步方案

  • 目的 :测试模型能否根据给定的档案类型、数量和数字化要求,生成一个初步的档案数字化项目方案框架。
  • 步骤 :
    1. 向模型提供一批待数字化档案的基本情况(例如:档案类型主要是文书档案和照片档案,总量约10万页,部分纸张状况较差,要求进行高保真扫描并进行OCR识别)。
    2. 要求模型生成一个档案数字化项目的初步方案,至少应包含:项目目标、主要工作流程(如:档案清点、整理、扫描、图像处理、OCR、元数据著录、数据挂接、质检、备份等环节)、关键技术要求、预估的风险点及初步应对措施。
  • 示例输入 :
    待数字化档案基本情况:本馆藏有一批民国时期的地方政府档案,主要为纸质文书档案(约8万页,部分纸张发黄、变脆)和玻璃底片照片档案(约2000张,需进行专业清洗和高精度扫描)。数字化目标是实现档案的全文检索和在线阅览,要求扫描分辨率不低于300dpi,照片档案需达到600dpi,文书档案完成OCR识别,准确率不低于95%。指令:“请根据以上待数字化档案的基本情况和要求,撰写一份档案数字化项目的初步方案框架。方案应包含项目目标、主要工作流程、关键技术要求、以及至少三个潜在风险点及其初步应对措施。”
  • 评估标准 :
    • 方案完整性 :生成的方案是否涵盖了要求的主要方面?(满分5分)
    • 流程合理性 :描述的工作流程是否符合档案数字化的一般实践?(满分5分)
    • 技术要求针对性 :提出的技术要求是否针对输入的需求?(满分5分)
    • 风险识别与应对 :识别的风险点是否典型?应对措施是否具有一定的可行性?(满分5分)
    • 专业性与逻辑性 :方案的整体表述是否专业、逻辑清晰?(满分5分)

大家有空可以试试,选不同的平台或者模型,看看效果,有问题可以交流,反馈。

档案AI共学社是什么?

档案AI共学社是一个专注于AI与档案融合创新的开源知识社区,致力于推动档案资源的活化与价值创造。在通往 AGI 的路上,人工智能需要档案,需要真实、完整、优质的数据资源。

无论您是档案从业者还是AI技术爱好者,均可通过知识库上手、互助、分享、创建等,共同推动档案领域的智能化革新。

持续更新中,期待您的加入!

Image
Image

文章列表