此存儲庫具有以下3個功能:
- 與AI角色對話
- AITuber直播
- 外部整合模式
我在下面的文章中寫了詳細的使用指南:
- 安裝包
npm install
- 以開發模式啟動應用程序
npm run dev
- 打開URL http://localhost:3000
- 這是與AI角色對話的功能。
- 它是此存儲庫的基礎pixiv/ChatVRM的功能。
- 只要您有各種LLM的API密鑰,就可以相對輕鬆地嘗試。
- 最近的10個對話句子作為記憶保留。(未來更新可以指定數字)
- 在設置屏幕中輸入各種LLM的API密鑰。
- OpenAI
- Anthropic
- Google Gemini
- Groq
- Local LLM(不需要API密鑰,但需要運行本地API服務器。)
- Dify Chatbot(不需要API密鑰,但需要運行本地API服務器。)
- 如有必要,編輯角色的設置提示。
- 如有必要,加載VRM文件。
- 選擇語音合成引擎並根據需要配置語音設置。
- 對於VOICEVOX,您可以從多個選項中選擇發言者。需要事先運行VOICEVOX應用程序。
- 對於Koeiromap,您可以細微調整語音。需要API密鑰。
- 對於Google TTS,還可以選擇日語以外的語言。需要憑證信息。
- 對於Style-Bert-VITS2,需要運行本地API服務器。
- 對於GSVI TTS,需要運行本地API服務器。
- 從輸入表單開始與角色對話。也可以使用麥克風輸入。
- 可以檢索YouTube直播評論並讓角色發言。
- 需要YouTube API密鑰。
- 以「#」開頭的評論不會被讀取。(未來更新可以指定字符串)
- 在設置屏幕中打開YouTube模式。
- 輸入您的YouTube API密鑰和YouTube Live ID。
- 與"與AI角色對話"相同的方式配置其他設置。
- 開始在YouTube上直播並確認角色對評論的反應。
- 開啟会話継続模式,在沒有評論時,AI可以自動發言。
- 您可以通過WebSocket向服務器應用程序發送消息並獲得響應。
- 與上述兩者不同,它不在前端應用程序中完成,因此難度略高。
- 啟動服務器應用程序並打開
ws://127.0.0.1:8000/ws
端點。 - 在設置屏幕中打開WebSocket模式。
- 與"與AI角色對話"相同的方式配置其他設置。
- 等待服務器應用程序的消息並確認角色的反應。
- 您可以嘗試我創建的服務器應用程序存儲庫。tegnike/aituber-server
- 請閱讀"與美少女一起開發吧!!【Open Interpreter】"以獲得詳細設置。
- 在
public/AvatarSample_B.vrm
更改VRM模型數據。請不要更改名稱。 - 在
public/bg-c.jpg
更改背景圖片。請不要更改名稱。
- 某些配置值可以從
.env
文件內容中參考。 - 如果在設置屏幕中輸入,則該值優先。
- 可以在設置屏幕中重置對話歷史。
- 各種設置存儲在瀏覽器中。
- 代码块中的元素不会被TTS读取。
我們正在尋求贊助者以繼續我們的開發工作。
您的支持將極大地促進AITuber套件的開發和改進。
另外還有1位私人贊助者
- 許可證遵循pixiv/ChatVRM,使用MIT許可證。
- 商標使用協議
- VRM模型使用協議