三菱系统【⒈7⒈548⒊⒊762】◀◀◀◀電➤➤➤ChatGPT火热势头不减，[各行各业的用户都在使用它来尝试能否代替业务原始工作内容。AI将会取代某些职业的言论也是层出不穷。有的人观望，有的人恐慌，有的人不在乎，有的人已经开始研究出论文了。关注这方面信息的人不难发现，不少程序员开始使用ChatGPT写代码了。并在网上放出了自己用ChatGPT编写的代码并进行了应用。

大部分人还是持怀疑态度： ChatGPT生成的代码，真的准确吗？最近来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明：ChatGPT和GPT-4生成代码的准确率，比之前评估的至少要降低13%！其实就是采用了新的测试方法对包括ChatGPT在内的AI生成代码工具进行测试。以往很多ML论文都在用一些有问题或有局限性的基准来评估模型，这就使得评估的准确性有一定的偏差。这项最新研究报告中提出他们使用了一种新的测试方法——EvalPlus，一种自动化代码评估框架来进行代码测试

这种测试方法通过改进现有评估数据集的输入多样性和问题描述准确性，来将这些评估基准变得更严格。作者们通过这个新的测试方法测试了当前比较受欢迎的14种代码生成AI，并贴出了10个平台的相应准确率表格。

数据显示：大模型们的准确率平均下降了15%，其中比较广泛研究的CODEGEN-16B更是下降了超过18%。ChatGPT和GPT-4生成代码的性能，也下降了至少13%。很多人可能比较关心的是AI写代码为什么会存在准确率低的问题。为此小智向AI做出了提问，看看它是怎么回答的，以下为AI回答原文：问：AI写代码的准确率低的原因是什么？AI回答：数据集问题：数据集缺失值过多、样本不均衡、存在异常值等，都会影响模型的训练和推理效果。数据处理算法设计和实现问题：数据处理参数有误、未对数据进行归一化、特征提取算法存在错误等，都会影响模型的准确率。算法设计和实现问题：API使用错误、没有遵循深度学习框架约束、算子使用错误、计算图结构错误、权重共享错误、权重冻结错误等，都会影响模型的准确率。超参设置问题：超参数的设置不合理，例如学习率、批量大小、优化器等，都会影响模型的准确率。普通python编程错误：例如代码格式不规范、变量未初始化、缺少导入语句等，都会影响模型的准确率。环境问题：依赖软件问题、环境变量配置问题、云上环境问题等，都会影响模型的准确率。综上所述，AI写代码准确率低的原因可能是数据集质量不佳、数据处理算法存在缺陷、算法设计和实现不合理、超参数设置不合理、编程错误等多种因素的综合影响。为了提高模型的准确率，需要对数据集进行质量控制，优化数据处理算法，调整超参数，检查代码格式和规范，以及正确配置环境等。你觉得AI写代码准确率低的原因是什么呢？