גודל הדרגה (rank) של מטריצות LoRA - פרמטר קריטי לאיכות האימון
- ערך גבוה:
- יכולת למידה טובה יותר
- צורך יותר זיכרון
- למידה מעמיקה יותר של פרטים
- ערך נמוך:
- חסכוני בזיכרון
- יכולת למידה מוגבלת יותר
- מתאים למודלים פשוטים
- 4-8: למודלים קטנים או מוגבלי זיכרון
- 16-32: לרוב המקרים (מומלץ)
- 64+: למודלים גדולים עם הרבה זיכרון
המלצה חד משמעית: השתמש ב-batch_size = 1
- תוצאות יותר עקביות ויציבות
- למידה יותר מדויקת של המאפיינים
- פחות רעש בתהליך האימון
- עובד טוב במיוחד עם Flux LoRA
- מונע בעיות זיכרון אפשריות
פורמט הנתונים לשמירת המודל
- חצי דיוק
- חוסך זיכרון
- מספיק למרבית המקרים
- מומלץ!
- דיוק מלא
- צורך יותר זיכרון
- נדרש במקרים מיוחדים
צעדים באפוקה = (מספר תמונות × repeats) ÷ batch_size
מספר אפוקות = סך כל הצעדים ÷ צעדים באפוקה
| פרמטר | תיאור | המלצות |
|---|---|---|
| steps | מספר הצעדים הכולל באימון | - סט קטן (עד 20 תמונות): 1000-1500 צעדים - סט בינוני (20-50 תמונות): 1500-2500 צעדים - סט גדול (50+ תמונות): 2500+ צעדים |
| repeats | כמה פעמים לחזור על כל תמונה ברצף | - 1 ברוב המקרים (מומלץ) - 2+ רק במקרים מיוחדים |
קצב הלמידה של המודל - ערך מומלץ: 0.0001
- קצב נמוך (0.0001):
- למידה יציבה יותר
- סיכוי נמוך ל-overfitting
- מתאים לרוב המקרים
- קצב גבוה יותר:
- למידה מהירה יותר
- סיכון גבוה יותר לחוסר יציבות
- דורש ניטור קפדני
מספר הגרסאות המקסימלי שיישמר במהלך האימון
דוגמה עם 2000 צעדים ו-max_step_saves_to_keep: 4:
יישמרו רק 4 נקודות השמירה האחרונות:
1250, 1500, 1750, 2000
* כל השמירות הקודמות יימחקו אוטומטית
תדירות רישום מדדי ביצועים במהלך האימון
- ערכי Loss
- זמני עיבוד
- שימוש בזיכרון
ערך מומלץ: 10 - מספק מעקב מדויק מספיק בלי להאט את האימון
שיעור השמטת כיתובים במהלך האימון
- 5% מהזמן הכיתוב יושמט
- מטרות:
- הגברת גמישות המודל
- מניעת תלות יתר בכיתובים
- שיפור יכולת ההכללה
- מינימום 15-20 תמונות לתוצאות טובות
- גיוון בזוויות, תאורה ורקעים
- רזולוציה עקבית בין התמונות
- איכות תמונה טובה ללא רעשים
- learning rate: בין 1e-4 ל-8e-4
- network_dim: 4-32 (תלוי בכמות הזיכרון)
- resolution: 512-1024 (תלוי באיכות התמונות המקוריות)
- optimizer: adamw8bit (חסכוני בזיכרון ויעיל)
עם 30 תמונות ו-batch_size = 1:
repeats = 1 (מומלץ):
- צעדים באפוקה = 30 × 1 ÷ 1 = 30
- עם 1800 צעדים = 60 אפוקות
repeats = 2:
- צעדים באפוקה = 30 × 2 ÷ 1 = 60
- עם 1800 צעדים = 30 אפוקות
- שמירת מודל תקופתית (למשל כל 250 צעדים)
- יצירת תמונות לבדיקה במהלך האימון
- מעקב אחרי ערך ה-loss
- loss שלא יורד או קופץ מאוד
- תמונות שנראות זהות בכל דגימה
- תמונות שנראות מעוותות או מטושטשות
- שימוש יתר במאפיין ספציפי מהתמונות
- יכול לגרום לחוסר יציבות באימון
- עלול לפספס פרטים עדינים בתמונות
- צורך יותר זיכרון ללא תועלת משמעותית
- פחות מתאים לאימון LoRA ממוקד
- התחל עם ערכי ברירת המחדל המומלצים
- שנה פרמטר אחד בכל פעם
- תעד את כל השינויים והתוצאות
- גבה את המודלים החשובים
- בדוק תוצאות עם מגוון prompts
- התחל עם batch_size = 1 ו-repeats = 1
- שמור על יחס טוב בין מספר התמונות למספר הצעדים
- הקפד על prompts טובים בתמונות הדגימה
- נסה שינויים קטנים בפרמטרים אחרים (learning rate, network_dim)
- תעד את התוצאות והשינויים שעשית
- שמור את הגדרות האימון לכל ניסוי
- תעד את איכות התוצאות
- השווה בין הגדרות שונות
- למד מניסיונות קודמים
- batch_size = 1: יציבות ודיוק
- repeats = 1: יעילות באימון
- network_dim: איזון בין יכולת למידה לזיכרון
- learning_rate: איזון בין מהירות ליציבות
- dtype = float16: יעילות בזיכרון
- התחל עם הגדרות בסיסיות ופשוטות
- הבן את ההשפעה של כל פרמטר
- התאם את ההגדרות בהדרגה לפי הצורך
- שמור על תיעוד מסודר של השינויים והתוצאות
- הקפד על גיבוי המודלים החשובים