天羿轩智

文章详情

档案行业 AI 使用测试用例(第二期),也可以当提示词和 AI 入门使用

98
发表时间:2025-05-26 18:36作者:档案AI共学社

接着第一期的内容:

首发档案行业 AI 使用测试用例(第一期),也可以当提示词和 AI 入门使用

Image

测试用例 12:基于档案内容生成知识图谱,辅助用户进行关联性探索与发现

  • 目的: 评估模型从档案信息中抽取实体、关系并构建知识图谱的能力,以及图谱在辅助用户发现潜在关联和新知识方面的有效性。
  • 步骤:
    1. 提供一批相关的档案文件(如人物档案、事件档案、机构档案)。如果是 pdf 文件,最好是ocr 识别后的。
    2. 要求模型识别档案中的核心实体(人名、地名、机构名、事件名、时间等)及其之间的关系。
    3. 要求模型以结构化的方式(如三元组)输出这些实体和关系,以便构建知识图谱。
    4. (可选)要求模型基于构建的图谱回答一些关联性查询问题,或推荐相关的档案线索。
  • 示例输入:
    档案片段1(人物A传记):张三,1920年出生于北京,1940年加入中国共产党,曾任XX厂厂长,与李四(XX厂工程师)共同领导完成了YY项目的研发。档案片段2(事件B记录):YY项目,1955年启动,由XX厂负责,主要参与者包括张三、李四、王五。项目于1958年成功,解决了ZZ问题。档案片段3(机构C沿革):XX厂,成立于1950年,第一任厂长为赵六,张三为第二任厂长。``` 指令: 请根据以上档案片段,提取核心实体及其关系,并以三元组形式输出。例如:(张三, 出生于, 北京), (张三, 任职于, XX厂), (XX厂, 负责, YY项目)。
  • 评估标准:
    • 实体识别准确率: 模型识别出的实体与人工标注实体的匹配程度。
    • 关系抽取准确率: 模型抽取出的关系与人工标注关系的匹配程度。
    • 知识图谱完整性: 构建的知识图谱是否全面覆盖了输入档案中的关键信息。
    • 关联查询有效性(可选): 模型基于图谱回答关联问题的准确性和相关性。
    • 输出格式规范性: 输出的三元组是否符合预定义的格式要求。

测试用例 13:辅助进行档案开放鉴定,识别敏感信息并提出处理建议

备注:不太适合在线联网模型测试,最好是本地部署,但是都要本地部署的话,难度大,周期长,建议采用 dify 本地部署。

  • 目的: 评估模型识别档案中潜在敏感信息(如个人隐私、国家秘密、商业机密等)的能力,并根据相关法规和政策提出脱敏或限制开放建议的合理性。
  • 步骤:
    1. 提供一份包含潜在敏感信息的档案文件(如会议记录、个人信件、技术报告)。
    2. 要求模型通读档案内容,识别出可能涉及敏感信息的部分。
    3. 要求模型说明其判断依据,并指出具体敏感信息的类型。
    4. 要求模型根据预设的开放鉴定规则(可作为背景知识提供给模型),对识别出的敏感信息提出处理建议(如:涂黑、部分开放、不予开放等)。
  • 示例输入:
    档案文件(模拟):XX公司内部会议纪要 - 2023年10月26日...(会议内容)...讨论到新产品“星尘”的研发进度,目前核心算法由李明工程师负责,其联系方式为138********,家庭住址为XX市XX区XX街道XX号。该算法预计将使公司在未来五年内保持行业领先地位,具体技术细节[此处省略500字技术描述]。会议决定,此项内容暂不对外公开。...(其他内容)...``` 指令: 请阅读以上会议纪要,识别其中的敏感信息,说明判断依据,并根据《XX档案开放鉴定规则》(假设已提供)提出处理建议。
  • 评估标准:
    • 敏感信息识别召回率与准确率: 模型识别出的敏感信息与人工判定的敏感信息的匹配程度。
    • 判断依据合理性: 模型给出的判断理由是否充分且符合逻辑。
    • 处理建议合规性与可行性: 模型提出的处理建议是否符合相关法规政策,并具有实际操作性。
    • 覆盖全面性: 是否遗漏了重要的敏感信息点。

测试用例 14:针对特定档案主题,自动生成通俗易懂的科普解读或故事化叙述

  • 目的: 评估模型将专业、枯燥的档案内容转化为易于公众理解和接受的科普文章或生动故事的能力,以提升档案的社会教育功能。
  • 步骤:
    1. 提供一份或一组关于特定主题的档案材料(如一份古代契约、一组城市规划图纸、一份科学实验报告)。
    2. 要求模型理解档案的核心内容和历史背景。
    3. 要求模型以通俗易懂的语言,或采用故事化的叙述方式,对档案内容进行解读和再创作。
    4. 明确输出的文体风格和目标受众(如:青少年科普、大众历史故事)。
  • 示例输入:
    档案材料(节选):清代地契一份“立卖契人张老四,今因家贫无措,将祖遗水田一段,坐落土名羊角山下,东至李家界,西至王家沟,南至官路,北至自家菜园,四至分明,凭中估价,时值白银三十两,当日交足,永不赎回。此田原系祖上所传,并无上手不清及与人争论等情,如有此等情弊,由卖主一面承担,与买主无干。恐后无凭,立此卖契为照。同治三年三月吉日 立卖契人 张老四(押) 中人 李大(押)”``` 指令: 请根据以上清代地契内容,为对历史感兴趣的普通大众撰写一篇短文,解释这份地契反映了当时怎样的土地交易方式和社会生活信息,语言力求生动有趣。
  • 评估标准:
    • 内容准确性: 生成的科普文或故事是否准确反映了档案的核心信息,无歪曲或臆造成分。
    • 通俗易懂性/趣味性: 语言是否流畅、易懂,叙述是否生动、吸引人。
    • 逻辑连贯性: 文章结构是否清晰,逻辑是否通顺。
    • 主题契合度: 是否紧扣档案主题进行解读和发挥。
    • 风格符合度: 是否符合指定的文体风格和目标受众特点。

测试用例 15:模拟档案咨询场景,根据用户提问自动检索相关档案并给出初步解答

  • 目的: 评估模型理解用户自然语言提问的能力,从(预设的)档案数据库中检索相关信息,并给出初步、准确解答的水平,模拟档案利用咨询服务。
  • 步骤:
    1. 构建一个小型、结构化的档案信息库(或提供API接口),包含档案的元数据和部分内容摘要。
    2. 用户以自然语言提出关于档案信息查询的问题。
    3. 要求模型理解问题意图,在档案库中进行检索匹配。
    4. 要求模型返回最相关的档案条目(或摘要),并针对用户问题给出初步的文字解答。
  • 示例输入: 背景: 假设已有一个包含若干城市建设规划档案元数据和摘要的数据库。 用户提问: “我想了解一下我们市上世纪90年代关于中山路改造的规划档案有哪些?” 指令: 请根据用户提问,在档案库中检索相关档案,并列出档案标题和简要说明。
  • 评估标准:
    • 问题理解准确性: 模型是否准确理解了用户的查询意图。
    • 检索结果相关性与准确性: 返回的档案条目是否与用户提问高度相关,提供的解答是否准确。
    • 信息完整性: 是否返回了所有相关的关键信息,有无遗漏。
    • 响应效率: 模型给出答复的速度。
    • 语言自然度: 模型生成的解答是否自然流畅。

测试用例 16:辅助进行档案数字化成果的质量检查,如识别图像模糊、文字识别错误等

  • 目的: 评估模型在档案数字化成果(如扫描件、OCR识别文本)中发现常见质量问题的能力,以辅助人工进行质检,提高效率。
  • 步骤:
    1. 提供一批档案数字化成果,其中包含一些预设的质量问题(如:扫描图像部分模糊、OCR文本中存在明显错别字、版面歪斜等)。
    2. 要求模型对这些成果进行分析,识别出潜在的质量问题。
    3. 要求模型指出问题的具体位置和类型。
    4. (可选)要求模型对某些类型的问题提出修复建议(如:建议重新扫描、建议人工校对某处文字)。
  • 示例输入:
    输入1:一张档案扫描图片,其中右下角区域有明显的水渍导致的模糊。输入2:一段OCR识别后的文本:“兹证明张三同志系我单立员工,特此证明。” (其中“单立”应为“单位”)``` 指令: 请检查以上档案数字化成果,指出其中存在的质量问题及其位置和类型。
  • 评估标准:
    • 问题检出率(召回率): 模型能发现多少预设的质量问题。
    • 问题定位置准确性: 模型指出的问题位置是否准确。
    • 问题类型判断准确性: 模型对问题类型的判断是否正确。
    • 误报率: 模型将没有问题的地方判断为有问题的比例。
    • 修复建议合理性(可选): 提出的修复建议是否具有可行性和针对性。

测试用例 17:辅助撰写档案展览的单元说明或展品介绍

  • 目的: 评估模型根据档案材料和展览主题,生成符合展览要求的单元说明文字或具体展品介绍文案的能力。
  • 步骤:
    1. 提供展览的主题、目标观众以及相关的档案材料(可以是图片、文字摘要等)。
    2. 指定需要撰写的单元名称或展品名称。
    3. 要求模型围绕主题,结合档案信息,撰写相应的说明或介绍文字。
    4. 可以对字数、风格(如庄重、活泼)提出要求。
  • 示例输入:
    展览主题:百年学府的记忆目标观众:校友、在校师生、社会公众单元名称:名师风采相关档案材料:- 图片:某著名教授(附生平简介:王教授,1900-1980,我国近代物理学奠基人之一,在本校任教40年,培养了大批优秀人才。)- 文字:王教授《相对论初步》手稿照片及内容摘要。- 引言:“他们是知识的灯塔,是品格的楷模,他们的智慧与风范,照亮了学府的百年历程。”``` 指令: 请为“百年学府的记忆”展览中的“名师风采”单元撰写一段单元说明,约150字,风格庄重典雅。并为展品“王教授《相对论初步》手稿”撰写一段展品介绍,约100字,突出其历史价值和学术意义。
  • 评估标准:
    • 主题契合度: 生成的文案是否紧扣展览主题和单元/展品内容。
    • 内容准确性与信息量: 是否准确传达了档案信息,并具有适当的信息密度。
    • 语言表达与风格: 文字是否流畅、得体,是否符合要求的风格。
    • 结构逻辑性: 单元说明和展品介绍的内部逻辑是否清晰。
    • 吸引力与启发性: 能否引起观众的兴趣,并传递档案的价值。

测试用例 18:为档案从业人员提供特定业务场景的培训问答或操作指南生成

  • 目的: 评估模型作为档案业务知识库和辅助培训工具的潜力,能否根据特定业务场景生成准确的问答解释或操作步骤指南。
  • 步骤:
    1. 设定一个具体的档案业务场景(如:如何进行破损档案的应急处理?如何填写一份标准的归档文件目录?)。
    2. 用户(模拟档案从业人员)就该场景提出问题或请求操作指南。
    3. 要求模型根据已有的档案工作规范、标准或最佳实践(可作为背景知识提供)给出解答或生成操作步骤。
  • 示例输入:
    业务场景:接收机构移交的电子档案用户提问:“接收外部机构移交的电子档案时,有哪些关键的核查点需要注意?”``` 指令: 请根据《电子档案移交与接收办法》(假设已提供),回答用户关于接收电子档案时关键核查点的问题,要求条理清晰,易于理解。
  • 评估标准:
    • 答案准确性与完整性: 提供的解答或操作指南是否准确、全面,符合相关规范。
    • 实用性与可操作性: 内容是否具有实际指导意义,步骤是否清晰可行。
    • 针对性: 是否直接回应了用户的问题或场景需求。
    • 语言专业性与清晰度: 使用的术语是否规范,表达是否清晰易懂。

测试用例 19:根据档案管理规定,辅助起草或审查档案管理相关的制度文件初稿

  • 目的: 评估模型理解档案管理法规政策,并辅助起草或审查相关制度文件(如档案保管制度、档案借阅制度)初稿的能力。
  • 步骤:
    1. 提供相关的国家或行业档案管理法规、标准作为依据。
    2. 指定需要起草或审查的制度文件类型及核心要点。
    3. 对于起草任务,要求模型生成制度文件的框架和主要条款内容。
    4. 对于审查任务,提供一份制度文件初稿,要求模型对照法规标准,指出其中可能存在的不合规之处或改进建议。
  • 示例输入(审查任务):
    依据文件:《中华人民共和国档案法》、《企业档案工作规范》待审查文件(初稿节选):《XX公司档案借阅管理办法(草案)》“第三条:公司所有员工均可凭工作证直接到档案室借阅所需档案,无需审批。”``` 指令: 请根据《中华人民共和国档案法》和《企业档案工作规范》,审查上述《XX公司档案借阅管理办法(草案)》第三条款的合规性,并提出修改建议。
  • 评估标准:
    • 合规性(审查)/合理性(起草): 生成或审查的制度条款是否符合上位法规的要求,是否合理可行。
    • 逻辑严谨性: 制度文件的结构是否合理,条款之间逻辑是否清晰。
    • 覆盖完整性: 是否包含了该类型制度应有的核心要素。
    • 语言规范性: 使用的法律或管理术语是否准确,表达是否严谨。
    • 建议的建设性(审查): 提出的修改建议是否具有针对性和可操作性。

测试用例 20:辅助进行档案著录规则的自动校验或生成符合规范的著录项

  • 目的:评估大模型理解并精准应用档案著录规则(如ISAD(G)国际档案著录通用标准、《档案著录规则》(DA/T 18—2022)等)的能力,具体包括:
    • 对已有著录数据的错误识别(格式错误、逻辑矛盾、遗漏必填项等);
    • 根据档案内容生成符合规则的结构化著录项(覆盖规则要求的核心字段及关联约束)。
  • 步骤:
    • 校验任务:提供一批包含多类错误的著录数据(覆盖格式错误:如日期写成"1985-03";逻辑矛盾:如责任者为"李华"但原文显示起草人为"王强";遗漏必填项:缺少"载体类型"字段等)。
    • 生成任务:提供档案原文或元数据信息(需包含关键要素,例如:档案载体类型(纸质/电子)、保管期限、密级等补充信息)。
    1. 规则输入:提供具体、可操作的著录规则文本(需明确规则版本及关键条款,例如《档案著录规则》(DA/T 18—2022)中"题名应包含‘责任者+问题+文种’三要素""形成日期统一采用‘YYYY年MM月DD日’格式"等)。
    2. 任务类型区分:
    3. 模型执行:要求模型对照规则条款,输出校验任务的错误定位(标注错误类型及对应规则条款)或生成任务的规范著录项(需引用规则依据)。


  • 示例输入(生成任务):
    著录规则参考:《档案著录规则》(DA/T 18—2022)核心条款:    - 题名:应包含"责任者+问题+文种"三要素(示例:"XX厂(责任者)关于‘凤凰牌’自行车技术改造(问题)的报告(文种)");    - 责任者:需注明职务或角色(如"工程师李华(起草人)");    - 形成日期:采用"YYYY年MM月DD日"格式(无具体日期时标注"1985年");    - 范围与内容概要:需概括档案核心内容及价值(如"记录XX厂‘凤凰牌’自行车技术改造的背景、方案及实施情况,共25页")。  档案信息:一份1985年3月XX厂关于"凤凰牌"自行车技术改造的报告(纸质载体,长期保管),主要起草人为工程师李华,内容涵盖改造背景、技术方案及实施效果,共25页。  

    指令:请根据《档案著录规则》(DA/T 18—2022),生成规范的题名、责任者、形成日期、载体类型、保管期限和范围与内容概要等著录项(需标注引用的规则条款)。

  • 评估标准(细化可量化指标):
    • 规则符合度(占比40%):生成/校验的著录项与规则条款的匹配度(如题名是否包含三要素、日期格式是否正确),每项错误扣5%。
    • 准确性(占比20%):著录信息与档案原文的匹配度(如责任者是否为"工程师李华"、页数是否为25页),信息偏差每项扣3%。
    • 完整性(占比20%):是否包含规则要求的所有必填项(如题名、责任者、形成日期、载体类型、保管期限),遗漏一项扣4%。
    • 一致性(占比10%):批量处理时,同一字段的格式、术语是否统一(如日期均为"YYYY年MM月DD日"),风格不一致每处扣2%。
    • 错误检出率(校验任务)(占比10%):正确识别错误数/总错误数×100%(低于80%则判定不达标)。

测试用例 21:针对档案数字化项目,辅助生成项目计划书或实施方案的初稿

  • 目的: 评估模型根据档案数字化项目的通用流程和需求,辅助撰写项目计划书或实施方案关键部分的能力。
  • 步骤:
    1. 提供项目背景信息(如待数字化档案的类型、数量、年代、保存状况等)。
    2. 明确计划书或方案需要包含的主要章节(如项目目标、范围、技术路线、人员组织、进度安排、预算估算、风险控制等)。
    3. 要求模型针对特定章节,结合通用实践和输入信息,生成初步的文本内容。
  • 示例输入:
    项目背景:某档案馆藏有约10万卷民国时期诉讼档案,纸张发黄变脆,亟需数字化保护和利用。要求生成的章节:项目目标、数字化技术路线选择、主要风险及应对措施。``` 指令: 请为“民国时期诉讼档案数字化项目”撰写项目计划书中的“项目目标”、“数字化技术路线选择”和“主要风险及应对措施”三个章节的初稿内容。
  • 评估标准:
    • 内容相关性与合理性: 生成的内容是否与项目背景和章节主题紧密相关,提出的方案和措施是否合理。
    • 结构完整性: 各章节内部结构是否清晰,要素是否基本齐全。
    • 专业性: 是否体现了档案数字化项目管理的基本知识和常用方法。
    • 语言表达: 文字是否通顺,逻辑是否连贯。
    • 可行性考虑: 提出的计划或方案是否初步考虑了实际操作的可行性。

测试用例 22:辅助进行档案库房环境监测数据的分析与预警

备注:很多档案室都有库房环境监测与治理系统,每天采集的数据也不少,可以把数据导出为表格形式,发给 AI评估。

  • 目的: 评估模型分析档案库房温湿度、空气质量等环境监测数据,识别异常波动或潜在风险,并发出预警的能力。
  • 步骤:
    1. 提供一段时间内的档案库房环境监测数据(如温度、湿度、光照、空气中二氧化硫/氮氧化物浓度等)。
    2. 设定各项环境指标的安全阈值或理想范围。
    3. 要求模型分析数据趋势,识别超出阈值或有持续恶化趋势的情况。
    4. 要求模型发出预警信息,说明异常情况和可能造成的危害,并(可选)提出调控建议。
  • 示例输入:
    监测数据(模拟):日期       时间     温度(°C)  湿度(%RH)  二氧化硫(ppb)2023-10-01 09:00   18.5      52.0       52023-10-01 10:00   18.6      52.5       6...2023-10-05 14:00   23.1      68.0       15 (持续3小时高于阈值)安全阈值:温度14-22°C,湿度45-60%RH,二氧化硫 < 10 ppb。``` 指令: 请分析以上档案库房环境监测数据,对照安全阈值,指出存在的异常情况,说明其潜在风险,并发出预警。
  • 评估标准:
    • 异常检测准确率: 是否能准确识别所有超出阈值或有不良趋势的数据点。
    • 预警及时性: 对于快速变化或突发异常,能否及时发出预警。
    • 风险判断合理性: 对异常情况可能造成的危害判断是否准确。
    • 数据分析能力: 能否从数据中发现简单的趋势或模式。
    • 建议有效性(可选): 提出的调控建议是否具有针对性和可行性。

档案AI共学社是什么?

档案AI共学社是一个专注于AI与档案融合创新的开源知识社区,致力于推动档案资源的活化与价值创造。在通往 AGI 的路上,人工智能需要档案,需要真实、完整、优质的数据资源。

无论您是档案从业者还是AI技术爱好者,均可通过知识库上手、互助、分享、创建等,共同推动档案领域的智能化革新。

持续更新中,期待您的加入!

Image
Image

文章列表