开放评测
OpenKG收录的CCKS上面历届的评测任务。
|
CCKS 2024
任务一
大模型知识编辑评测
|
|
CCKS 2024
任务二
大模型零样本知识抽取评测
大模型零样本知识抽取评测
进行中
随着深度学习和预训练模型技术的飞速发展，零样本知识抽取正吸引着越来越多的关注。在零样本知识抽取任务中，我们探究如何利用大型预训练语言模型如ChatGPT、Mistral、LLaMA、ChatGLM、文心一言、通义等，在没有任何针对特定任务标注数据的情况下，提取文本中的结构化信息。这些先进的语言模型内嵌了丰富的世界知识，能够通过其庞大的参数化网络对文本进行理解和分析，体现出它们在知识获取和任务泛化方面的优势。
能力评测
任务类型
￥0
奖金
359
团队
2024
赛季
举办方
大模型知识编辑评测
进行中
随着深度学习与预训练技术的快速发展，大模型如ChatGPT、Mistral、LLaMA、ChatGLM、文心一言、通义等在自然语言处理领域已经取得了显著的突破。大模型通过将海量的、以文本序列为主的世界知识预先学习进神经网络中，并通过参数化空间实现对知识的处理和操作，其揭示了大规模参数化神经网络在习得和刻画世界知识上的巨大潜力。不同于传统的符号知识工程，大模型的隐式参数知识具有表达能力强、任务泛化好等优点。
大语言模型
任务类型
￥0
奖金
277
团队
2024
赛季
举办方
人物知识图谱复杂问答推理评测
已结束
人物是人类社会活动和事件组成的核心要素之一，与人物相关的信息查询和推理问答很常见，与其他领域的问答不同，人物相关的问答具有以下两种特点：
（1）涉及数值统计和计算，如查询某歌手在2024年发表的专辑数量，
（2）涉及人物关系的复杂推理，如查询某人的侄子是谁，但此信息并为被显式存储，需要根据兄弟关系和儿子关系推理得出。
知识图谱
任务类型
￥30000
奖金
223
团队
2024
赛季
举办方
开放环境下的知识图谱构建与补全
已结束
知识图谱是一种结构化的数据表示形式，它以图形的方式展示实体及其之间的关系。 而大型语言模型，如GPT系列模型，通过在大量文本数据上进行预训练，能够捕捉到丰富的语义和句法信息。知识图谱可以为大型语言模型提供结构化的知识，有助于改善模型的推理能力和生成质量。通过将知识图谱中的信息融入大型语言模型中，可以使模型在处理复杂任务时更具智能和准确性。今年，面向更有挑战的开放环境下知识图谱构建和补全场景。
知识图谱
任务类型
￥20000
奖金
664
团队
2023
赛季
举办方
面向数字商务的知识图谱评测
已结束
阿里巴巴商品数据规模庞大，商品知识图谱为海量异构的商品数据的组织、管理和利用提供了有效的方式。商品数据模态丰富，动态性高，数据存在噪声，这些都对商品的认知和理解带来了巨大挑战。2022年1月 ，阿里巴巴联合浙江大学等单位发布首个数字商业开放知识图谱AliOpenKG: http://kg.alibaba.com。以该开放图谱数据集为基础，在CCKS2022大会组织本次评测任务。首批评测包括三个子任务：商品常识知识显著性推理……
Knowledge Reasoning
任务类型
￥93000
奖金
1237
团队
2022
赛季
举办方
化学元素知识图谱构建及应用
已结束
随着AI技术的发展和普及，药物研发也逐渐进入到AI时代，擅长处理大数据的AI深度学习技术，就成为近年来大家关注的焦点。化合物的性质预测的主要目的在于及时发现理化性质不达标的化合物，以降低候选化合物进入临床实验失败的风险，提升药物研发的成功率。传统的化合物性质预测分析一般采取实验方式，成本高昂且耗时长。很多的研究工作都证明了机器学习技术，特别是深度学习在化合物性质预测方面的巨大潜力……
知识图谱
任务类型
￥0
奖金
***
团队
2022
赛季
举办方
跨语言知识图谱问答评测任务
已结束
随着近年来越来越多的非英语使用者参与到知识图谱的建立和维护，在线知识的分布已经由富资源语言(英语)一家独大转变为多语言资源相互补充。然而，当前多语言知识图谱问答模型主要关注于自然语言问题解析，而忽略了对跨语言知识的联合应用。以百科知识问答为例，对于新出现的知识，如“COVID-19 (2019新冠病毒病)”，在Wikipedia中文词条中，关于“并发症”属性的记录包含“全身器官衰竭”，而这项记录未被收录于英文词条关于……
知识图谱
任务类型
￥0
奖金
***
团队
2022
赛季
举办方
基于本体的金融知识图谱自动化构建技术评测
已结束
金融研报是各类金融研究结构对宏观经济、金融、行业、产业链以及公司的研究报告。报告通常是由专业人员撰写，对宏观、行业和公司的数据信息搜集全面、研究深入，质量高，内容可靠。报告内容往往包含产业、经济、金融、政策、社会等多领域的数据与知识，是构建行业知识图谱非常关键的数据来源。另一方面，由于研报本身所容纳的数据与知识涉及面广泛，专业知识众多，不同的研究结构和专业认识对相同的内容的表达方式也会略有差异。
知识图谱
任务类型
￥0
奖金
***
团队
2020
赛季
举办方
新冠知识图谱构建与问答
已结束
受限于非结构化文本和结构化知识之间的巨大差异，自动化构造知识图谱以及利用知识图谱支持上层应用仍存在诸多挑战。时值2020年新型冠状病毒疫情爆发，在OpenKG总体组织和协调下，部分相关企业院校使用自动化的技术，以新型冠状病毒为核心构建了包括新冠百科、健康、防控等多个高质量的知识图谱，并于此针对知识图谱构建的关键技术及其核心应用。本任务包括四个子任务：1）新冠百科知识图谱类型推断：围绕新冠百科知识图谱构建中……
知识图谱
任务类型
￥0
奖金
***
团队
2020
赛季
举办方
公众公司公告信息抽取
已结束
随着金融科技的发展和全球资本市场的不断扩大，在金融领域， 每一天都有海量的数据产生， 而与之形成强烈对比的是有限的人力以及人脑所能处理信息的极限能力。因此，依靠传统的人工方式已经无法应对投研分析、风险控制、金融监管和事件关联等需求，而亟需引入新的技术来提高信息处理效率，包括大数据分析、自然语言处理、知识图谱等技术，都已经开始被积极用于金融分析和金融监管领域。
Knowledge Extraction
任务类型
￥0
奖金
***
团队
2019
赛季
举办方
链接预测与元组分类
已结束
知识图谱是一种结构化的知识表示方式，广泛应用于信息检索、问答系统、推荐系统等领域。知识图谱中的实体和关系构成了复杂的网络结构，链接预测和元组分类是知识图谱中的两个重要任务。链接预测旨在预测知识图谱中缺失的链接（即实体之间的关系），而元组分类则判断给定的三元组（实体-关系-实体）是否正确。zhishi.me是一个开放的中文链接图数据库。基于zhishi.me，参赛者需要基于图数据挖掘中链接预测的基本思想……
链接预测
任务类型
￥0
奖金
***
团队
2016
赛季
举办方
产品预测评测
已结束
这是一个关于进出口交易记录数据的产品预测比赛。参赛者需要使用提供的已分类训练数据来构建模型，并对未分类的测试数据进行产品类别预测。训练样本包括Enterprise、Destination、Quality（可忽略）、Price、Origin、Custom、Product七个基本属性，验证样本包括 Enterprise、Destination、Origin、Custom、Product五个基本属性。参赛者需要进行分类预测，记录概率由大到小排名前 3 名的产品类别。
分类预测
任务类型
￥0
奖金
***
团队
2016
赛季
举办方
人物知识图谱复杂问答推理评测
已结束
人物是人类社会活动和事件组成的核心要素之一，与人物相关的信息查询和推理问答很常见，与其他领域的问答不同，人物相关的问答具有以下两种特点：
（1）涉及数值统计和计算，如查询某歌手在2024年发表的专辑数量，
（2）涉及人物关系的复杂推理，如查询某人的侄子是谁，但此信息并为被显式存储，需要根据兄弟关系和儿子关系推理得出。
知识图谱
任务类型
￥30000
奖金
223
团队
2024
赛季
举办方
开放环境下的知识图谱构建与补全
已结束
知识图谱是一种结构化的数据表示形式，它以图形的方式展示实体及其之间的关系。 而大型语言模型，如GPT系列模型，通过在大量文本数据上进行预训练，能够捕捉到丰富的语义和句法信息。知识图谱可以为大型语言模型提供结构化的知识，有助于改善模型的推理能力和生成质量。通过将知识图谱中的信息融入大型语言模型中，可以使模型在处理复杂任务时更具智能和准确性。今年，面向更有挑战的开放环境下知识图谱构建和补全场景。
知识图谱
任务类型
￥20000
奖金
664
团队
2023
赛季
举办方
化学元素知识图谱构建及应用
已结束
随着AI技术的发展和普及，药物研发也逐渐进入到AI时代，擅长处理大数据的AI深度学习技术，就成为近年来大家关注的焦点。化合物的性质预测的主要目的在于及时发现理化性质不达标的化合物，以降低候选化合物进入临床实验失败的风险，提升药物研发的成功率。传统的化合物性质预测分析一般采取实验方式，成本高昂且耗时长。很多的研究工作都证明了机器学习技术，特别是深度学习在化合物性质预测方面的巨大潜力……
知识图谱
任务类型
￥0
奖金
***
团队
2022
赛季
举办方
跨语言知识图谱问答评测任务
已结束
随着近年来越来越多的非英语使用者参与到知识图谱的建立和维护，在线知识的分布已经由富资源语言(英语)一家独大转变为多语言资源相互补充。然而，当前多语言知识图谱问答模型主要关注于自然语言问题解析，而忽略了对跨语言知识的联合应用。以百科知识问答为例，对于新出现的知识，如“COVID-19 (2019新冠病毒病)”，在Wikipedia中文词条中，关于“并发症”属性的记录包含“全身器官衰竭”，而这项记录未被收录于英文词条关于……
知识图谱
任务类型
￥0
奖金
***
团队
2022
赛季
举办方
基于本体的金融知识图谱自动化构建技术评测
已结束
金融研报是各类金融研究结构对宏观经济、金融、行业、产业链以及公司的研究报告。报告通常是由专业人员撰写，对宏观、行业和公司的数据信息搜集全面、研究深入，质量高，内容可靠。报告内容往往包含产业、经济、金融、政策、社会等多领域的数据与知识，是构建行业知识图谱非常关键的数据来源。另一方面，由于研报本身所容纳的数据与知识涉及面广泛，专业知识众多，不同的研究结构和专业认识对相同的内容的表达方式也会略有差异。
知识图谱
任务类型
￥0
奖金
***
团队
2020
赛季
举办方
新冠知识图谱构建与问答
已结束
受限于非结构化文本和结构化知识之间的巨大差异，自动化构造知识图谱以及利用知识图谱支持上层应用仍存在诸多挑战。时值2020年新型冠状病毒疫情爆发，在OpenKG总体组织和协调下，部分相关企业院校使用自动化的技术，以新型冠状病毒为核心构建了包括新冠百科、健康、防控等多个高质量的知识图谱，并于此针对知识图谱构建的关键技术及其核心应用。本任务包括四个子任务：1）新冠百科知识图谱类型推断：围绕新冠百科知识图谱构建中……
知识图谱
任务类型
￥0
奖金
***
团队
2020
赛季
举办方
大模型知识编辑评测
进行中
随着深度学习与预训练技术的快速发展，大模型如ChatGPT、Mistral、LLaMA、ChatGLM、文心一言、通义等在自然语言处理领域已经取得了显著的突破。大模型通过将海量的、以文本序列为主的世界知识预先学习进神经网络中，并通过参数化空间实现对知识的处理和操作，其揭示了大规模参数化神经网络在习得和刻画世界知识上的巨大潜力。不同于传统的符号知识工程，大模型的隐式参数知识具有表达能力强、任务泛化好等优点。
大语言模型
任务类型
￥0
奖金
277
团队
2024
赛季
举办方
公众公司公告信息抽取
已结束
随着金融科技的发展和全球资本市场的不断扩大，在金融领域， 每一天都有海量的数据产生， 而与之形成强烈对比的是有限的人力以及人脑所能处理信息的极限能力。因此，依靠传统的人工方式已经无法应对投研分析、风险控制、金融监管和事件关联等需求，而亟需引入新的技术来提高信息处理效率，包括大数据分析、自然语言处理、知识图谱等技术，都已经开始被积极用于金融分析和金融监管领域。
Knowledge Extraction
任务类型
￥0
奖金
***
团队
2019
赛季
举办方
面向数字商务的知识图谱评测
已结束
阿里巴巴商品数据规模庞大，商品知识图谱为海量异构的商品数据的组织、管理和利用提供了有效的方式。商品数据模态丰富，动态性高，数据存在噪声，这些都对商品的认知和理解带来了巨大挑战。2022年1月 ，阿里巴巴联合浙江大学等单位发布首个数字商业开放知识图谱AliOpenKG: http://kg.alibaba.com。以该开放图谱数据集为基础，在CCKS2022大会组织本次评测任务。首批评测包括三个子任务：商品常识知识显著性推理……
Knowledge Reasoning
任务类型
￥93000
奖金
1237
团队
2022
赛季
举办方
大模型零样本知识抽取评测
进行中
随着深度学习和预训练模型技术的飞速发展，零样本知识抽取正吸引着越来越多的关注。在零样本知识抽取任务中，我们探究如何利用大型预训练语言模型如ChatGPT、Mistral、LLaMA、ChatGLM、文心一言、通义等，在没有任何针对特定任务标注数据的情况下，提取文本中的结构化信息。这些先进的语言模型内嵌了丰富的世界知识，能够通过其庞大的参数化网络对文本进行理解和分析，体现出它们在知识获取和任务泛化方面的优势。
能力评测
任务类型
￥0
奖金
359
团队
2024
赛季
举办方
链接预测与元组分类
已结束
知识图谱是一种结构化的知识表示方式，广泛应用于信息检索、问答系统、推荐系统等领域。知识图谱中的实体和关系构成了复杂的网络结构，链接预测和元组分类是知识图谱中的两个重要任务。链接预测旨在预测知识图谱中缺失的链接（即实体之间的关系），而元组分类则判断给定的三元组（实体-关系-实体）是否正确。zhishi.me是一个开放的中文链接图数据库。基于zhishi.me，参赛者需要基于图数据挖掘中链接预测的基本思想……
链接预测
任务类型
￥0
奖金
***
团队
2016
赛季
举办方
产品预测评测
已结束
这是一个关于进出口交易记录数据的产品预测比赛。参赛者需要使用提供的已分类训练数据来构建模型，并对未分类的测试数据进行产品类别预测。训练样本包括Enterprise、Destination、Quality（可忽略）、Price、Origin、Custom、Product七个基本属性，验证样本包括 Enterprise、Destination、Origin、Custom、Product五个基本属性。参赛者需要进行分类预测，记录概率由大到小排名前 3 名的产品类别。
分类预测
任务类型
￥0
奖金
***
团队
2016
赛季
举办方
EN 
ZH_CN