首页知识课件培训手册人工智能知识工程指南(1.0)
策划大佬

文档

6354

关注

0

好评

0
PDF

人工智能知识工程指南(1.0)

阅读 557 下载 77 大小 2.82M 总页数 45 页 2025-07-31 分享
价格:¥ 9.90
下载文档
/ 45
全屏查看
人工智能知识工程指南(1.0)
还有 45 页未读 ,您可以 继续阅读 或 下载文档
1、本文档共计 45 页,下载后文档不带水印,支持完整阅读内容或进行编辑。
2、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
4、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。
大数据技术标准推进委员会人工智能知识工程指南(1.0)CCSA TC601大数据技术标准推进委员会2025年6月前言2024年政府工作报告明确提出,要“深化大数据、人工智能等研发应用,开展‘人工智能+’行动”,随着“人工智能+”行动的持续推进,如何通过大数据、人工智能技术赋能数智化建设是各方关注的重点问题。数智化的核心是从数据中提炼出有价值的知识,构筑智能算法及模型,并将其赋能于机构业务、管理过程中的关键环节,实现降本增效及业务创新。作为连接“数据”和“智能”的桥梁,知识是机构员工决策、行动和创新的重要依据,同时也为大模型等智能算法的开发应用提供了高质量的训练和推理资源,是大模型在垂直领域应用落地的关键要素之一。在此背景下,各机构逐步开始重视知识工程能力建设,通过构筑知识工程工具链、完善知识管理体系、打造知识服务能力来更好的管理和利用知识资产,为大模型、智能体的应用落地提供知识来源,并赋能知识共享及协作、知识检索、知识推荐、智能创作等场景,从而提升机构的核心竞争力。知识工程已成为人工智能时代企业数智化能力建设的新增量。为进一步助力各方开展知识工程实践落地,助力各行业新质生产力的发展,中国信息通信研究院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)联合多家机构共同编制了《人工智能知识工程指南(1.0)》,以期与业界分享。由于相关领域正处于快速发展阶段,本指南仍有不足之处,欢迎联系wangchaolun(@caict..ac.cn交流探讨。编制说明牵头机构:CCSA TC601大数据技术标准推进委员会编委会成员机构名单:中国信息通信研究院、中国联合网络通信集团有限公司、中电信人工智能科技(北京)有限公司、浙江大华技术股份有限公司、联通数据智能有限公司、厦门渊亭信息科技有限公司、中国铁道科学研究院、电科云(北京)科技有限公司、中移互联网有限公司、中国移动通信集团有限公司、南方电网数据平台与安全(广东)有限公司、中电科大数据研究院有限公司、上海鸿翼软件技术股份有限公司、中电金信软件有限公司、北京枫清科技有限公司、中国联合网络通信有限公司软件研究院、泛微网络科技股份有限公司、北京盛汉律师事务所、天翼数字生活科技有限公司、中国石油大学(华东)、北京宇信科技集团股份有限公司、易智瑞信息技术有限公司、上海爱数信息技术股份有限公司、湖北省数字产业发展集团有限公司、武汉大数据产业发展有限公司、南京中新赛克科技有限责任公司、广州小鹏汽车科技有限公司、山东犀盐数据科技有限公司、软通智慧科技有限公司、佳沃集团有限公司、途普智能科技(北京)有限公司、深圳力维智联技术有限公司目录知识工程发展情况概述(二)知识工程发展历程3(三)知识工程落地实践的关键要素二、78(三)知识存储与计算.·10三、完善知识管理体系11(一)知识资产管理战略.·12(二)知识资产管理制度..13(三)知识资产盘点14(四)知识资产运营.…15四、知识服务及应用赋能..16(一)面向机构员工的知识服务16(二)面向大模型的知识供给18(三)面向行业场景的创新应用..·五、知识工程的落地路线..2020(二)体系化推进知识工程能力建设..,21六、人工智能时代知识工程的发展趋势及展望25图目录图1DIKW模型概览...图2知识能力发展的三个阶段.3图3知识管理及应用过程中的痛点图4知识工程能力框架..6图5人工智能时代知识工程工具链...7图6人工智能时代的知识管理体系.·12图7知识服务类型分布统计..…17图8知识工程能力成熟度模型标准框架24表目录811表3行业场景的知识应用赋能案例.20表4知识工程技术工具标准介绍....24人工智能知识工程指南(1.0)一、知识工程发展情况概述(一)知识工程概念探讨知识是通过学习、研究、实践获得的事实、原理、经验、技能的集合,是支撑决策、指导行动、驱动创新的基础。对机构知识能力建设的系统性研究可追溯至英国信息学家泽勒(Zeleny)于1987年提出的“数据-信息-知识-智慧”(DKW)模型,其中将知识定义为对信息的解释和理解,是经过验证的、可应用的见解和经验,是机构无形资产的重要组成部分。总结、河察智慧知识信息分析、提炼数据图1DIKW模型概览目前,许多观点将知识同数据混用,而二者并不应混淆,相较于数据和信息而言,总体来说知识具备如下四大特性,机构在对知识进行管理、运营及应用的过程中应重视这些差异:稳定性:虽然知识也会时间的推移逐步更新,但仍相对稳定,因此具备积累的必要性。关联性:知识不是孤立产生的,通常会相互关联、相互影响,随时间的推移共同演进。实践性:知识来自于实践,可通过较为直接的方式赋能决策、人工智能知识工程指南(1.0)指导实践,并可通过实践验证。价值性:知识传播复用的成本较低,具备较高的价值密度。数字经济时代,各机构产生的数据和获取的信息呈现出爆炸式增长的态势,如何从这些数据和信息中甄别、获取知识,对知识进行安全高效的运营管理,并面向机构业务人员或人工智能应用提供知识服务是机构实现数智化转型的关键一环。随着发展新质生产力连续多年被写入政府工作报告,知识的重要性愈发凸显,高质量的知识供给能为科技创新提供理论支撑,助力突破核心技术瓶颈,推动传统产业改造升级,知识已成为新质生产力发展的重要源泉。随着以DeepSeek为代表的国产大模型快速发展,大模型对产业的赋能持续深化。行业大模型的应用落地须依托高质量的语料资源及检索增强生成(RAG)知识库的建设,对机构的知识供给能力提出了更高的要求。知识工程是机构知识能力的集合,通过整合、存储和管理机构内外的各类知识资源,实现知识的高效共享,赋能机构的智能决策和大模型应用落地。技术能力层面,知识工程通过自然语言处理(NLP)、机器学习、知识挖掘等手段,提供知识采集、分类、检索、分析、推荐等能力,实现对知识的处理、加工及应用;知识管理层面,知识工程整合内外部知识资源,依托知识管理体系,实现知识的整合与运营管理,为机构提供丰富的知识供给;知识服务层面,知识工程提供知识共享与协作、知识检索、推荐、问答等能力,赋能机构经营决策,并面向大模型建设运营方提供语料资源及RAG等人工智能知识工程指南(1.0)能力的支持。(二)知识工程发展历程知识工程的起源可追溯至传统的知识管理系统,发展历程可以划分为三个阶段。大模型时代的知识工程信息化时代应用场景:为各行业主要业务方向提供大模型增强的知的知识工程识服务:为大模型应用提供(2000~2023)知识支撑,计算机时代组织方式:文件+图谱+向量应用场景:政企机构的管理核心能力的知识工程部门,医疗、司法、教育等(1950s~2000)知识密集型行业主体业务。大模型赋能的问答、搜索、创作、数字员工等组织方式:文件+图谱L3能力。RAG、Agent等应用场景:政府机构及大核心能力大模型应用支撑能力。型企业的档案管理门组织方式:文件系统L2知识抽取、加工、挖掘L2知识抽取、加工、挖掘,核心能力分析等进阶能力。分析等进阶能力,L1知识存储、查阅、检索、L1L1知识存储、查阅、检索共享等基本能力。共享等基本能力。共享等基本能力,图2知识工程发展的三个阶段计算机时代:在计算机时代,机构主要依托文件系统为政府机构及大型机构的档案管理部门提供知识服务。这一阶段的核心目标是实现知识的数字化存储和检索,解决纸质档案管理效率低下的问题。技术手段以数据库和文档管理系统为主,如早期的电子目录、文件索引等。核心能力包括知识的存储、查阅、检索和共享,但知识仍以静态形式存在,缺乏深度分析和关联。由于技术限制,企业知识能力更多是被动响应需求,而非主动赋能业务。这一阶段奠定了知识数字化的基础,但尚未形成系统化的知识开发利用方法论。人工智能知识工程指南(1.0)信息化时代:随着信息化时代互联网及数字化办公技术的发展,机构的知识体量和价值进一步增长,一些知识密集型行业,如医疗、司法、教育、互联网、金融等,逐步开展了知识工程的实践。这一阶段的核心变革是知识图谱技术的引入,实现了从文件管理到知识关联分析的跃迁。通过NPL及机器学习等技术,可实现知识抽取、加工、挖掘和分析等能力,进一步挖掘知识的价值。例如,医疗领域通过知识图谱关联疾病、药品和诊疗方案,司法系统利用案例库辅助判决。这一阶段的局限性在于知识的挖掘工作依赖于专业人员参与,智能化程度有限,但为后续大模型时代的知识工程奠定了基础。大模型时代:大模型技术的快速发展推动了各行业加速开展知识工程能力建设,其核心目标是为各行业提供大模型增强的知识服务,同时为大模型训推提供语料供给及RAG支持,赋能AI原生应用。借助大模型技术,机构能够更深入地挖掘知识的内在关联和规律,为机构提供更加精准化、智能化的决策支持。同时,大模型技术还使得各类知识服务具备了更强的自然语言处理能力,能够更准确地理解和回应用户的知识需求。例如,机构可通过知识工程面向各业务领域的员工提供个性化的知识问答、智能搜索、智能写作等服务,并抽取知识用于大模型的训练及推理。这一阶段的特点是知识服务的智能化和场景化,知识服务的对象也由服务于机构员工逐步向服务大模型等智能算法转变。人工智能知识工程指南(1.0)(三)知识工程落地实践的关健要素随着大模型的行业落地持续推进,各行业头部机构纷纷着手开展语料库、RAG平台、高质量数据集等能力建设,对行业知识、领域知识、业务知识的需求也逐步提升。然而各方在相关领域普遍缺乏技术积累和管理经验,存在着诸多痛点难点。一是知识获取难,企业的隐性知识多且分散,需资深从业者传授,难以系统化获取;二是知识加工难,企业知识多为非结构化,质量不一,加工处理要求高;三是知识服务难,企业知识共享协作机制不足,业务与知识脱节的现象普遍存在,且缺乏持续运营,影响了知识的有效利用和服务。知识获取难图知识加工难知识服务难企业隐性知识较多·知识以非结构化为主·知识的共享协作缺乏机制·知识由资深从业者传授知识质量参差不齐·业务与知识脱节·知识散落在组织各处·知识加工处理门槛高·缺乏对知识资产的持续运营图3知识管理及应用过程中的痛点知识工程旨在通过建设知识工程工具链、完善知识管理体系、构筑智能化的知识服务等方式助力机构全方位提升知识管理及应用能力,提升组织效率,促进机构落地大模型驱动的创新应用,并实现知识的持续运营。人工智能知识工程指南(1.0)金融行业医疗行业法律行业军事行业行业应用风险管理、智能客案例管理。辅助量情报研判。装备管刑、合规审查等知识工程核心能力服务于机构员工服务&应用知识协作Agent语料服务知识管理知识战略知识管理知识资产知识资产制定制度盘点运营知识工程工具链采集、抽取处理、加工存储、计算设计研发知识营销运营知识业务流程知识企业管理知识设计文稿、论文专商品资讯.订单、业务规范、生产工行业规章、制度、知识来源利、研报、供应商客服问答话术、客操作规范、管理办法、法规键技术规范记录等图4知识工程能力框架构筑知识工程工具链:企业开展知识工程实践须具备一系列技术工具以支撑机构知识全生命周期的运营管理,包括知识采集、抽取、处理、加工、存储、检索等部分。完善知识管理体系:知识管理体系构建是机构知识工程能力建设的重要一环,是机构可持续发展的重要支撑,涉及到知识资产战略的制定、知识资产盘点、知识资产管理、知识资产运营等多个环节。建设知识服务及应用:知识工程实践不仅需要为企业提供丰富的知识资源,还需要将这些资源转化为实际的服务与应用,以支持组织的业务发展与创新,在服务机构业务人员的同时也为机构的大模型应用提供语料服务、RAG服务等。以上要素相互支撑、相互促进,共同构成了知识工程的核心架人工智能知识工程指南(1.0)构与运行机制。在实际应用中,组织需要根据自身需求和发展战略来合理规划建设知识工程能力,以实现知识资产的最大化利用和价值创造。二、构筑知识工程工具链企业知识能力的技术底座是支撑机构知识全生命周期的知识工程工具链,可分为知识采集与抽取、知识处理与加工、知识存储与计算三部分。其中知识采集与抽取主要强调从机构内、外部数据源中汇聚并提取有价值的知识资源;知识处理与加工强调对知识的整合优化,提升知识的质量及可用性,将知识资源转化为知识资产:知识存储与计算主要强调如何构建高效的知识存储架构,提供快速、精准的知识检索、知识分析等能力,为知识服务及应用提供支撑。各部分相辅相成,实现知识的高效流转与增值,为机构知识应用提供坚实的技术底座。知识处理与加工向量化企业内部知识外部行业知识结构化数据半结构化数据非结构化数据企业内外部知识图5人工智能时代知识工程工具链人工智能知识工程指南(1.0)(一)知识采集与抽取知识采集与抽取解决的是机构知识来源的问题,旨在汇聚渠道的知识,或从数据源中提取知识,汇聚形成知识资源。知识采集:通过数据库链接、API接口、消息队列、批量导入等方式实现知识的汇聚。一些公开网络资源中的知识也可采用网络爬虫技术从互联网上自动抓取和提取网页数据,它模拟用户浏览行为,通过HTTP请求获取网页内容,并对知识进行解析提取。知识工程的落地通常须具备从内外部数据源集成和同步知识的能力,并实现机构内外部知识的集中整合。行业场景内部知识来源示例外部知识来源示例产品研发生产忧化设备运行日志、工艺参数记录、质量检测报告售后服务金雕行业客户服务疗支持电商零售课程开发软件开发信息技术数据分析表1各行业知识的来源情况示例知识抽取:知识抽取即是从原始数据中提取知识的过程,由于知识所涉及的原始数据通常以文本、网页、图片等多种形态存在,人工智能知识工程指南(1.0)知识抽取过程通常对多模态数据处理能力具备较高的要求,如通过D2R技术,将关系型数据库中的数据转换为RDF形式的知识;通过自然语言处理(NLP)进行实体识别、关系抽取、事件抽取等;利用机器学习和深度学习从文本中进行模式识别和特征提取。大模型对知识抽取赋能显著,大模型技术的应用使得机构知识工程的冷启动周期大大缩短,它可以从文档中抽取实体和关系,自动生成问答,减少了人工标注的需求,提高了知识的构建效率,加快了知识服务的上线速度。大模型还能助力机构从大量的文本中发现新名词、新知识,提升机构知识发现的效率。(二)知识处理与加工知识处理及加工是将知识进行整理、清洗、补全、整合和优化的过程,旨在提升知识的质量和价值。这一过程是从知识资源到知识资产的关键步骤。知识处理:这个过程主要包括知识文件的格式转换、解析和清洗等步骤。将原始的知识文件转化为可以被计算机理解和操作的形式,并且清除其中可能存在的错误。知识加工:包括知识补全、融合、切分、关联等加工方式。其中知识补全是指基于规则、机器学习等算法,利用已有的知识和信息,学习并预测缺失的知识或信息,从而提高知识的完整性和可用性;知识融合即是将来自不同来源的知识进行整合,解决知识冲突和重复,提高知识的一致性和完整性的过程,这一过程涉及知识识别,知识链接、重复知识的合并、以及知识之间的关系融合等多个人工智能知识工程指南(1.0)步骤,以提升机构知识的质量;知识切分是对复杂或大量的知识内容按照一定的逻辑、主题或结构进行分解和整理的过程,使知识更易于理解、管理、存储和传播;知识关联旨在通过分析和描述不同知识点之间的关系,发现潜在的规律和结构化信息,从而揭示知识之间的内在联系,是构筑知识图谱的前序工作。知识审核:知识审核是确保知识准确无误的重要环节,可以通过人工检查或利用AI技术自动检测异常并及时纠正。大模型技术对知识审核赋能显著,可以发现不同文档中对同一知识点的不同解释,提示知识不一致或错误的地方,辅助人工进行知识校验,提高校验效率。知识入库:知识入库是将知识依据存储形式进行转换的过程,如通过知识增强的方式生成Q&A对、向量化、图谱构建等。(三)知识存储与计算知识存储与计算是知识工程的核心环节,涉及面向不同的知识存储模式构筑多模态知识库,并通过向量检索、全文检索、图谱检索等方式实现知识的快速查找定位;此外,知识工程能力建设也可覆盖知识标注、知识分析推理等能力,为知识应用提供有力支持。知识存储:知识存储支持结构化数据、半结构化数据和非结构化数据等多样化的数据类型,存储技术包括关系型数据库、文件存储、图数据库、向量数据库等。关系型数据库适用于存储和管理需要高度一致性和事务支持的知识,如金融交易、客户信息等;文件存储支持将知识以文件的形式保存在文件系统中,适用于访问频率10
文档评分
    请如实的对该文档进行评分
  • 0
发表评论

特惠

限量优惠活动

正在火热进行

站长

添加站长微信

领取新人礼包

下载

便携运营智库

立即下载APP

工具

运营导航

工具推荐

帮助

帮助中心

常见问题

分销

50%直推收益

30%间推分成

AI

智能对话

办公助手

顶部