gpt prompt engineer

综合介绍

gpt-prompt-engineer是一个GitHub上的开源项目，专注于GPT模型的提示工程。用户可以通过输入任务描述和测试用例，这个工具能够生成、测试，并排名不同提示以寻找表现最佳者。该项目利用GPT-4和GPT-3.5-Turbo等大型语言模型，采用ELO评分系统对生成提示的有效性进行排序，并可选择记录日志和追踪提示链。

提示工程有点像炼金术。没有明确的方法来预测什么最有效。这一切都是为了尝试，直到找到正确的提示。gpt 提示工程师是一个将这种实验提升到一个全新水平的工具。

帮助你生成、优化和测试 Prompt，支持GPT和Claude，并且可以优化 Claude 3 Haiku 的提示词，帮助达到很好的效果。值得一提的是， Claude 3 Haiku 价格比 GPT-3.5 还便宜，但是性能不错，并且支持视觉模型。

功能列表

提示生成：基于用例和测试用例生成多样的提示。
提示测试：使用ELO评分系统测试提示性能并进行排名。
ELO评分系统：通过对比测试用例响应性能动态调整ELO评分。
分类版本：专为分类任务而设计，给出每个提示的测试分数。
可选日志记录：支持Weights & Biases日志和Portkey工具记录。

使用帮助

在Google Colab或本地Jupyter notebook中打开项目笔记本。
将OpenAI的API秘钥添加到代码中。
定义任务描述和测试用例。
调整模型，根据需要选择GPT-4或GPT-3.5-Turbo。
调用generate_optimal_prompt()函数生成、测试和评分提示。