Skip to content

Commit

Permalink
Add Japanese FAQ
Browse files Browse the repository at this point in the history
  • Loading branch information
eltociear committed Aug 26, 2023
1 parent 38bf208 commit e241913
Showing 1 changed file with 55 additions and 0 deletions.
55 changes: 55 additions & 0 deletions FAQ_ja.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,55 @@
# FAQ

## インストールと環境

#### transformers のバージョンは?

4.31.0 が望ましいです。

#### コードとチェックポイントをダウンロードしましたが、モデルをローカルにロードできません。どうすればよいでしょうか?

コードを最新のものに更新し、すべてのシャードされたチェックポイントファイルを正しくダウンロードしたかどうか確認してください。

#### `qwen.tiktoken` が見つかりません。これは何ですか?

これは tokenizer のマージファイルです。ダウンロードする必要があります。[git-lfs](https://git-lfs.com) を使わずにリポジトリを git clone しただけでは、このファイルをダウンロードできないことに注意してください。

#### transformers_stream_generator/tiktoken/accelerate が見つかりません。

コマンド `pip install -r requirements.txt` を実行してください。このファイルは [https://github.com/QwenLM/Qwen-VL/blob/main/requirements.txt](https://github.com/QwenLM/Qwen-VL/blob/main/requirements.txt) にあります。
<br><br>



## デモと推論

#### デモはありますか?

ウェブデモは `web_demo_mm.py` を参照してください。詳細は README を参照してください。



#### Qwen-VLはストリーミングに対応していますか?

いいえ、まだサポートしていません。

#### 世代と命令は関係ないようですが...

Qwen-VL ではなく Qwen-VL-Chat を読み込んでいないか確認してください。Qwen-VL はアライメントなしのベースモデルで、SFT/Chat モデルとは動作が異なります。

#### 量子化はサポートされていますか?

いいえ。早急に量子化をサポートするつもりです。

#### 長いシーケンスの処理で不満足なパフォーマンス

NTK が適用されていることを確認してください。`config.json``use_dynamc_ntk``use_logn_attn``true` に設定する必要がある(デフォルトでは `true`)。
<br><br>


## Tokenizer

#### bos_id/eos_id/pad_id が見つかりません。

私たちのトレーニングでは、セパレータとパディングトークンとして `<|endoftext|>` のみを使用しています。bos_id、eos_id、pad_id は tokenizer.eod_id に設定できます。私たちの tokenizer について詳しくは、tokenizer についてのドキュメントをご覧ください。

0 comments on commit e241913

Please sign in to comment.