News Image

陶哲轩疯狂安利Copilot:它帮我完成了一页纸证明,甚至能猜出我后面的过程

陶哲轩对Copilot表示了高度的认可,他表示在编程时,Copilot能直接预测出他的下一步操作。陶哲轩还用Copilot辅助完成了最新的研究成果,这次的论文中,他提到了关于麦克劳林不等式的问题,并给出了一页纸的证明。此外,他还提到了希望有一天模型可以直接生成不等式变体的期待。

News Image

NeurIPS 2023新研究:多模态查询提升大模型图像识别准确率

NeurIPS 2023收录的论文提出了一种基于多模态查询的目标检测方法MQ-Det。通过为输入添加图像示例,可以显著提高大模型的识别准确率,实验结果在LVIS数据集上,MQ-Det使GLIP模型的精度提高约7.8%。

News Image

一行代码提高大模型10%性能,开发者:免费午餐

由马里兰州大学、纽约大学等机构的研究人员提出的NEFT(une)微调方式,是一种新的正则化技术,旨在提高微调监督(SFT)模型的性能。这种方法已被HuggingFace收录进TRL库。NEFTune的核心思想是在训练阶段向嵌入层中加入噪声,以避免过拟合,从而提高模型性能。实验结果显示,使用NEFTune微调后的Llama 2模型在某些数据集上的性能提升了至少10%,在Alpaca数据集上甚至翻倍。