Skip to content

Commit

Permalink
Merge pull request #16 from eltociear/add_ja-docs
Browse files Browse the repository at this point in the history
Add Japanese documents
  • Loading branch information
simonJJJ authored Aug 26, 2023
2 parents 371c034 + e241913 commit 2ace785
Show file tree
Hide file tree
Showing 7 changed files with 805 additions and 4 deletions.
55 changes: 55 additions & 0 deletions FAQ_ja.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,55 @@
# FAQ

## インストールと環境

#### transformers のバージョンは?

4.31.0 が望ましいです。

#### コードとチェックポイントをダウンロードしましたが、モデルをローカルにロードできません。どうすればよいでしょうか?

コードを最新のものに更新し、すべてのシャードされたチェックポイントファイルを正しくダウンロードしたかどうか確認してください。

#### `qwen.tiktoken` が見つかりません。これは何ですか?

これは tokenizer のマージファイルです。ダウンロードする必要があります。[git-lfs](https://git-lfs.com) を使わずにリポジトリを git clone しただけでは、このファイルをダウンロードできないことに注意してください。

#### transformers_stream_generator/tiktoken/accelerate が見つかりません。

コマンド `pip install -r requirements.txt` を実行してください。このファイルは [https://github.com/QwenLM/Qwen-VL/blob/main/requirements.txt](https://github.com/QwenLM/Qwen-VL/blob/main/requirements.txt) にあります。
<br><br>



## デモと推論

#### デモはありますか?

ウェブデモは `web_demo_mm.py` を参照してください。詳細は README を参照してください。



#### Qwen-VLはストリーミングに対応していますか?

いいえ、まだサポートしていません。

#### 世代と命令は関係ないようですが...

Qwen-VL ではなく Qwen-VL-Chat を読み込んでいないか確認してください。Qwen-VL はアライメントなしのベースモデルで、SFT/Chat モデルとは動作が異なります。

#### 量子化はサポートされていますか?

いいえ。早急に量子化をサポートするつもりです。

#### 長いシーケンスの処理で不満足なパフォーマンス

NTK が適用されていることを確認してください。`config.json``use_dynamc_ntk``use_logn_attn``true` に設定する必要がある(デフォルトでは `true`)。
<br><br>


## Tokenizer

#### bos_id/eos_id/pad_id が見つかりません。

私たちのトレーニングでは、セパレータとパディングトークンとして `<|endoftext|>` のみを使用しています。bos_id、eos_id、pad_id は tokenizer.eod_id に設定できます。私たちの tokenizer について詳しくは、tokenizer についてのドキュメントをご覧ください。

2 changes: 1 addition & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,7 +12,7 @@
<br>

<p align="center">
<a href="README_CN.md">中文</a>&nbsp | &nbsp English
<a href="README_CN.md">中文</a>&nbsp | &nbsp English | &nbsp <a href="README_JA.md">日本語</a>
</p>
<br><br>

Expand Down
2 changes: 1 addition & 1 deletion README_CN.md
Original file line number Diff line number Diff line change
Expand Up @@ -11,7 +11,7 @@
<br>

<p align="center">
中文</a>&nbsp | &nbsp<a href="README.md">English</a>
中文</a>&nbsp | &nbsp<a href="README.md">English</a> | &nbsp <a href="README_JA.md">日本語</a>
</p>
<br><br>

Expand Down
Loading

0 comments on commit 2ace785

Please sign in to comment.