陶哲轩对Copilot表示了高度的认可,他表示在编程时,Copilot能直接预测出他的下一步操作。陶哲轩还用Copilot辅助完成了最新的研究成果,这次的论文中,他提到了关于麦克劳林不等式的问题,并给出了一页纸的证明。此外,他还提到了希望有一天模型可以直接生成不等式变体的期待。
NeurIPS 2023收录的论文提出了一种基于多模态查询的目标检测方法MQ-Det。通过为输入添加图像示例,可以显著提高大模型的识别准确率,实验结果在LVIS数据集上,MQ-Det使GLIP模型的精度提高约7.8%。
由马里兰州大学、纽约大学等机构的研究人员提出的NEFT(une)微调方式,是一种新的正则化技术,旨在提高微调监督(SFT)模型的性能。这种方法已被HuggingFace收录进TRL库。NEFTune的核心思想是在训练阶段向嵌入层中加入噪声,以避免过拟合,从而提高模型性能。实验结果显示,使用NEFTune微调后的Llama 2模型在某些数据集上的性能提升了至少10%,在Alpaca数据集上甚至翻倍。