GitHub - jzhang38/TinyLlama: The TinyLlama project is an open …
2023年10月3日 · The TinyLlama project aims to pretrain a 1.1B Llama model on 3 trillion tokens. With some proper optimization, we can achieve this within a span of "just" 90 days using 16 A100-40G GPUs 🚀🚀. The training has started on 2023-09-01.
TinyLlama/TinyLlama-1.1B-Chat-v1.0 - Hugging Face
The TinyLlama project aims to pretrain a 1.1B Llama model on 3 trillion tokens. With some proper optimization, we can achieve this within a span of "just" 90 days using 16 A100-40G GPUs 🚀🚀. The training has started on 2023-09-01. We adopted exactly the …
TinyLlama/TinyLlama-1.1B-step-50K-105b - Hugging Face
2023年9月4日 · The TinyLlama project aims to pretrain a 1.1B Llama model on 3 trillion tokens. With some proper optimization, we can achieve this within a span of "just" 90 days using 16 A100-40G GPUs 🚀🚀. The training has started on 2023-09-01.
从零训练一个迷你Llama (TinyLlama-1.1B) - 知乎 - 知乎专栏
2023年9月4日 · TinyLlama 项目旨在3万亿tokens上进行预训练，最终构建一个拥有11亿参数的，基于Llama架构的语言模型。 经过精心优化，我们仅需16块A100-40G GPU，预计90天完成训练。
TinyLlama-1.1B：从零开始训练一个精悍的语言模型 - CSDN博客
TinyLlama 是一个雄心勃勃的开源项目，旨在基于惊人的 3 万亿个 token 对 Llama 模型的紧凑型 11 亿个参数版本进行预训练。 该 训练 过程于 2023 年 9 月 1 日启动，利用 16 个 A100-40G GPU 的强大功能，目标是在 90 天内完成。
TinyLlama_v1.1 - Hugging Face
In this project, rather than only training a single TinyLlama model, we first train TinyLlama on a corpus of 1.5 trillion tokens to obtain foundational language capabilities. Subsequently, we take this model and turn it into three different models by …
TinyLlama：一种开源小语言模型 - CSDN博客
2024年5月30日 · TinyLlama 以 Llama 2（Touvron，2023b）的架构和token化器为基础，利用开源社区贡献的各种技术（例如 FlashAttention（Dao，2023）），实现了更好的计算效率。 模型检查点和代码在 GitHub 上公开提供，网址为 https://github.com/jzhang38/TinyLlama。
只需少量计算和内存资源即可运行的小型 Llama 大模型 – GitHub …
2024年1月5日 · TinyLlama 旨在预训练一个在 3 万亿的 token 上的 1.1B Llama 模型。 在一些恰当的优化下，我们可以在短短 90 天内使用 16 个 A100-40G GPUs 来达到这个目标。 该项目采用了与 Llama 2 完全相同的架构和 tokenizer，这意味着 TinyLlama 可以在许多基于 Llama 的开源项目 …
TinyLlama-1.1B：从零开始训练一个精悍的语言模型 - CSDN博客
2023年9月14日 · TinyLlama 项目旨在构建一个在 3 万亿 tokens 上预训练的 11 亿参数 Llama 模型。 采用 16 块 A100-40G GPU，预计 90 天内完成。 模型基于 Llama 架构，适合有限计算资源的应用，如手机上的离线运行。
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
TinyLlama 以 Llama 2 架构和分词器（tokenizer）为基础，这意味着 TinyLlama 可以在许多基于 Llama 的 开源项目 中即插即用。此外，TinyLlama 只有 11 亿的参数，体积小
- 某些结果已被删除