Rattibha

来看一下编程模型（CoderLLM）🚀
LLM的子领域中，注重coding能力的是一个好切入点。
竞争激烈，且优秀的模型层出不穷，各领风骚十几天。
下面为您详细介绍几个模型：
🌟 StarCoder
⚡ StarCoder+
📚 Code T5
🕰️ LTM
🧩 DIDACT
🧙‍♂️ WizardCoder
🦅 FalCoder-7B
🎯 MPT30B

1️⃣ StarCoder
• 源自GPT2模型的AI编程神器，通过训练各种GitHub代码集。
• 15B的参数 + 8K的上下文
• 在80多种编程语言中磨炼，StarCoder拥有强大的代码补全和错误修复能力。在HumanEval评估中，竟可达到40%的pass@1得分，将成为你的编码好助手！
• 推特：

2️⃣ StarCoder+
• StarCoder+，在StarCoder的基础上，通过在Falcon模型的英文网络数据集上进行训练，并进行指令调优，变身为强大的英文语言模型。
• 站在30B以下模型的领导者榜首，HumanEval的得分更是达到了惊人的45.1 MMLU，超过所有的LLaMa模型和PaLM-540B。
• 推特：

3️⃣ CodeT5+
• 擅长代码理解和生成，且在HumanEval上取得了创新的代码生成性能，超越了原有模型。
• 这个模型是一个灵活的编码解码结构，通过混合各种预训练任务，可以灵活地在不同模式（如，仅编码，仅解码，和编码解码）中操作，适应各种代码理解和生成任务。
• 推特：

4️⃣ LTM
• LTM，一款具有长期记忆网络（Long-term Memory Network）技术的LLM，可以支持最大500万Tokens，让你的代码库得以完整呈现，如同编写长篇小说一般轻松自如。
• 此模型能够支持巨大的上下文窗口，以至于可以完全覆盖大部分代码库。
• 推特：

5️⃣ DIDACT
• 由Google研发，是第一个被训练用来模拟真实软件开发者编写代码、修复构建、并进行代码审查的LLM。能够逐步构建软件基于开发者的工作历史。
• 可以帮助开发者修复构建错误，预测代码审查意见，甚至像GitHub Copilot一样，根据你的开发历史来完成代码补全。

6️⃣ WizardCoder
• WizardCoder，这是一款全新的开源代码LLM。通过应用Evol-Instruct方法（类似orca），它在复杂的指令微调中展现出强大的力量，得分甚至超越了所有的开源Code LLM，及Claude、Bard等闭源LLM，达到了惊人的57.3的HumanEval pass@1得分。
• 推特：

7️⃣ FalCoder-7B
• FalCoder-7B，源于Falcon模型，经过CodeAlpaca20k数据集的细微调整，，专为代码指令补全而生。因为Falcon的质量不错，且可商用，基于这个的coder model可以供参考
• 推特：

8️⃣ MPT30B
• 开源商用且比Falcon 40B更好的模型
• 拥有30B参数、1T token和8k上下文窗口的模型。MPT30B优雅地在编程能力和商业可用性之间取得了平衡，其在HumanEval评估中的表现优于GPT-3，而模型大小仅为GPT-3的17%，训练计算量仅为GPT-3的60%。
• 推特：