KAGGLE NLP | LLM提示恢复竞赛解析

YHM LLM提示恢复 恢复用于转换给定文本的提示

竞赛名称：Kaggle-LLM提示恢复

恢复用于转换给定文本的提示

竞赛类型：NLP LLM竞赛目的：LLM常用于重写或对文本进行风格修改。本竞赛的目标是恢复用于转换给定文本的LLM提示。

竞赛网址：https://www.kaggle.com/competitions/llm-prompt-recovery

YHM EDU&AI

赛题背景

自然语言处理工作流程越来越多地涉及重写文本，但如何有效地提示LLM仍有很多需要学习的地方。这个机器学习竞赛旨在成为深入研究这个问题的一种新颖方式。

挑战：

恢复用于重写给定文本的LLM提示。您将在一个包含1300多个原始文本的数据集上进行测试，每个原始文本都与Gemma的重写版本配对，Gemma是Google的一系列新的开放模型。

YHM EDU&AI

赛题时间

2024年2月27日 - 开始日期。

2024年4月9日 - 参赛截止日期。

2024年4月16日 - 最终提交截止日期。

除非另有说明，所有截止日期均为当天的UTC时间11:59 PM。竞赛组织者保留根据需要更新比赛时间表的权利。

YHM EDU&AI

竞赛评估方法

对于提交和相应的基本事实中的每一行，使用sentence-t5-base计算相应的嵌入向量。使用锐化余弦相似度计算每个预测/预期对的分数，指数为3。锐化余弦相似度用于减弱嵌入向量为错误答案提供的慷慨得分。请不要将任何rewrite_prompt留空，因为空白答案会引发错误。

提交文件

提交文件应包含标题，并具有以下格式：

YHM EDU&AI

数据集描述

竞赛数据集包含由未公开提示的Gemma 7b LLM重写的文本段落。竞赛的目标是确定使用了哪些提示。

请注意，这是一个代码竞赛。在对您的提交进行评分时，此示例测试数据将被完整的测试集替换。预计测试集中将有大约1,400个原始文本。

YHM EDU&AI

竞赛奖金

总奖金池为20万美元

第一名：10万美元

第二名：4万美元

第三名：2万美元

第四名：1.4万美元

第五名：1.1万美元

第六名：1万美元

第七名：5千美元

除了货币奖金之外，我们还将为完成以下所有操作的25位Kaggler提供特别的Kaggle商品：

(1) 将模型变体上传到Kaggle模型；

(2) 将该模型附加到能成功提交到本次比赛的公共笔记本；

然后 (3) 通过提交此Google表单自荐。