Skip to content

Commit

Permalink
Update README_JA.md
Browse files Browse the repository at this point in the history
  • Loading branch information
JustinLin610 authored Aug 30, 2023
1 parent ff2bfa5 commit c8209f7
Showing 1 changed file with 4 additions and 4 deletions.
8 changes: 4 additions & 4 deletions README_JA.md
Original file line number Diff line number Diff line change
Expand Up @@ -259,10 +259,10 @@ BF16 の精度と Int4 の量子化レベルの下で、それぞれ 2048 個と

また、BF16またはInt4の量子化レベルで、それぞれ2048トークンをコンテキストとしてエンコードした場合(および単一のトークンを生成した場合)と、8192トークンを生成した場合(単一のトークンをコンテキストとして生成した場合)のGPUメモリ使用量のピーク値をプロファイリングしました。その結果を以下に示します。

| Quantization | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens |
| -------------- | :-----------------------------------: | :-------------------------------------: |
| BF16 | 17.66GB | 22.58GB |
| Int4 | 8.21GB | 13.62GB |
| Quantization Level | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens |
| ------------------ | :---------------------------------: | :-----------------------------------: |
| BF16 | 17.66GB | 22.58GB |
| Int4 | 8.21GB | 13.62GB |

上記のスピードとメモリーのプロファイリングは、[このスクリプト](https://qianwen-res.oss-cn-beijing.aliyuncs.com/profile.py)を使用しています。
<br>
Expand Down

0 comments on commit c8209f7

Please sign in to comment.