איך בנוי הניסוי

כדי להשוות בין הכלים בצורה הוגנת, כל הכלים קיבלו בדיוק את אותם תנאים. כל כלי קיבל את אותו קובץ Excel, את אותה משימה ואת אותו פרומפט בדיוק. המטרה הייתה לראות איך כל כלי מפרש את אותם נתונים. לא שיניתי את הקובץ בין הכלים ולא הוספתי הסברים נוספים. כך ניתן לראות איך כל כלי מתמודד עם הנתונים בצורה עצמאית ואיך הוא מבין את מבנה הנתונים ואת המשימה שניתנה לו.
חשוב לציין שהבדיקה בוצעה באמצעות גרסאות חינמיות של הכלים בלבד. לא השתמשתי בתוספים מיוחדים ל-Excel, לא ב-Add-ins ולא בהתקנות מורכבות בתוך האקסל. המטרה הייתה לבדוק כלים שכל משתמש יכול לנסות בעצמו בצורה פשוטה להעלות את הקובץ ולבדוק את הכלים בעצמו ללא התקנות מיוחדות.

הקריטריונים לבדיקה

כדי שהבדיקה תהיה משמעותית, רציתי לבדוק יותר מאשר רק את התוצאה הסופית. לכן הבדיקה התבססה על כמה קריטריונים שונים שמדמים עבודה אמיתית עם נתונים.

הבנת מבנה הנתונים

השלב הראשון היה לבדוק האם הכלי מצליח להבין את מבנה הקובץ. הקובץ כולל שני גיליונות שונים ולכן היה צורך להבין שיש קשר בין הנתונים. בדקתי האם הכלים מצליחים לזהות את הקשר בין מכירות לעלויות ולחבר את הנתונים לפי מוצר ושנה.

חישובים אנליטיים

בשלב הבא בדקתי האם הכלים מצליחים לבצע חישובים בסיסיים שמופיעים כמעט בכל ניתוח נתונים. החישובים כללו חישוב הכנסות, חישוב רווח והשוואה בין מוצרים או בין תקופות שונות.

זיהוי דפוסים בנתונים

אחד הדברים החשובים בניתוח נתונים הוא היכולת לזהות דפוסים. לכן בדקתי האם הכלים מצליחים לזהות מוצרים מובילים, פערים בין מכירות לבין רווחיות ושינויים במגמות בין השנים.

הפקת תוצרים

בנוסף לניתוח עצמו ביקשתי מהכלים גם להפיק תוצרים. כל כלי התבקש ליצור קובץ Excel עם החישובים שבוצעו וכן מצגת הנהלה קצרה המסכמת את הממצאים. כך ניתן היה לבחון גם את איכות התוצרים ולא רק את הניתוח עצמו.

מבנה קובץ האקסל

הקובץ שבו השתמשתי כולל שני גיליונות עיקריים.

1. גיליון Sales – הגיליון המרכזי כולל נתוני מכירות לפי שנה, סניף, סוכן, מוצר, כמות ומחיר. כל שורה מייצגת עסקה אחת. הנתונים מכסים שלוש שנים שונות: 2023, 2024 ו-2025.
2. גיליון Costs – הגיליון השני כולל את עלות המוצר לפי שנה. כדי לחשב רווחיות יש צורך לחבר בין הנתונים בגיליון המכירות לבין הנתונים בגיליון העלויות לפי מוצר ושנה. זה מצב נפוץ מאוד בניתוח נתונים ולכן היה חשוב לראות האם הכלים מצליחים לבצע את החיבור הזה בצורה נכונה.

קובץ אקסל להורדה – TEST_AI

פרומפט (ההנחיה) ולמה חשוב לחלק את העבודה עם כלי AI לשלבים

מזכירה — בניסוי שלנו השתמשתי בהנחיה הקבועה הבאה:

"בקובץ יש שני גיליונות:
נתוני מכירות לפי שנה, סניף ומוצר – Sales
עלות מוצר לפי שנה – Cost
בצע את הניתוח הבא:

1. חבר בין נתוני המכירות לעלויות לפי מוצר ושנה.
2. חשב הכנסות ורווח לכל מוצר.
3. זהה את המוצרים המובילים לפי מכירות ולפי רווח.
4. זהה את הסניפים המובילים.
5. זהה את הסוכן המוביל.
6. נתח מגמות מכירה בין השנים 2023–2025.
7. בדוק האם יש מוצרים שמוכרים הרבה אך רווחיותם נמוכה.
8. הצג 5 תובנות עסקיות מרכזיות.
9. לבסוף צור דוח מסכם שניתן להציג להנהלה.
10. צור גם את הגרפים הבאים: גרף מכירות לפי מוצר, גרף רווח לפי מוצר, גרף מגמת מכירות לפי שנה, גרף מכירות לפי סניף.

אחרי שסיים (וזה חשוב עם כלי AI):

1. צור מצגת הנהלה קצרה (5–7 שקפים) המסכמת את הממצאים מהניתוח: ביצועים כלליים, מוצרים מובילים, סניפים מובילים, מגמות מכירה, המלצות פעולה"

חשוב!!!
כשעובדים עם כלי AI על נתונים, חשוב מאוד לחלק את העבודה לשני שלבים נפרדים: שלב הניתוח ושלב ההצגה.
כלומר, קודם לתת לכלי הנחיה לנתח את הנתונים וליצור את קובץ האקסל, ורק לאחר מכן לבקש ממנו ליצור מצגת או דוח מסכם.
הסיבה לכך פשוטה: כל שלב דורש סוג חשיבה שונה מהכלי.

בשלב הראשון הכלי צריך להתמקד בהבנת מבנה הנתונים, חישובים, חיבור טבלאות וזיהוי דפוסים. כאן מתבצע החלק האנליטי האמיתי של העבודה. אם הכלי מצליח להבין נכון את הנתונים וליצור גיליונות ניתוח מדויקים, זה הבסיס לכל התובנות בהמשך.
רק לאחר שהניתוח קיים, אפשר לעבור לשלב השני – הפקת התוצרים. בשלב הזה מבקשים מהכלי ליצור מצגת, דוח הנהלה או סיכום ויזואלי של הממצאים.
כאשר מבקשים מהכלי לבצע את שני הדברים יחד באותו פרומפט, הוא לעיתים מדלג על חלק מהשלבים האנליטיים ומנסה להגיע מהר יותר לתוצר הסופי. התוצאה יכולה להיראות יפה מבחינה ויזואלית, אבל להישען על חישובים שלא נבדקו לעומק.
לעומת זאת, כאשר מחלקים את העבודה לשני שלבים, מתקבלת תוצאה מדויקת יותר. קודם נוצר ניתוח נתונים מלא שאפשר לבדוק, ורק אחר כך מצגת שמבוססת על הנתונים שכבר חושבו.
במילים אחרות, קודם בונים את האנליזה, ורק אחר כך את הסיפור שמציג אותה. זו גם הדרך שבה אנליסטים עובדים בעולם האמיתי.

האתגרים שהוטמעו בנתונים

כדי לבדוק עד כמה הכלים באמת מבינים נתונים, הקובץ כלל גם כמה מצבים אנליטיים שמופיעים לעיתים קרובות בעבודה אמיתית עם נתונים. אלו לא טעויות בולטות אלא מצבים שדורשים הסתכלות קצת יותר עמוקה על הנתונים. לדוגמה מוצר עם מכירות גבוהות אך רווחיות נמוכה, שינוי מגמה בין שנים, פער בין מכירות לבין רווח או נתונים שנראים טובים במבט ראשון אך מסתירים בעיה. המטרה הייתה לראות האם כלי ה-AI מצליחים לא רק לחשב מספרים אלא גם להבין את הסיפור שמאחורי הנתונים.

רגע לפני שממשיכים

אם אתם עובדים עם נתונים באופן קבוע, יש סיכוי טוב שכבר עכשיו הייתם מזהים לפחות חלק מהדפוסים בקובץ הזה תוך פחות מדקה. אנליסטים מנוסים בדרך כלל שמים לב מהר לדברים כמו פער בין מכירות לבין רווחיות, מוצר שמוכר הרבה אך כמעט לא מייצר רווח, שינוי מגמה בין שנים או נתון שנראה טוב במבט ראשון אך מסתיר בעיה. בדיוק בגלל זה היה מעניין לראות איך כלי AI מתמודדים עם אותם נתונים והאם הם מצליחים לזהות את אותם דפוסים.

המשימה שניתנה לכלי ה-AI

כל הכלים קיבלו בדיוק את אותה הנחיה. המשימה הייתה לנתח את הנתונים ולבצע את הפעולות הבאות:

1. חיבור בין נתוני המכירות לעלויות לפי מוצר ושנה
2. חישוב הכנסות ורווח לכל מוצר
3. זיהוי המוצרים המובילים לפי מכירות ולפי רווח
4. זיהוי הסניפים המובילים
5. זיהוי הסוכן המוביל
6. ניתוח מגמות מכירה בין השנים 2023–2025
7. בדיקה האם יש מוצרים שמוכרים הרבה אך רווחיותם נמוכה
8. הצגת חמש תובנות עסקיות מרכזיות

בנוסף ביקשתי מהכלים ליצור קובץ Excel עם החישובים וכן מצגת הנהלה קצרה המסכמת את הממצאים.

רוצים לנסות לנתח את הקובץ בעצמכם?

כדי להפוך את הבדיקה למעניינת יותר, החלטתי לשתף גם את קובץ הנתונים שבו השתמשתי בניסוי. הקובץ כולל נתוני מכירות לפי שנה, סניף, סוכן, מוצר, כמות ומחיר, ובנוסף גיליון עם עלויות מוצר לפי שנה.

הקובץ נראה במבט ראשון די פשוט, אבל הוא כולל כמה מצבים אנליטיים שמופיעים לעיתים קרובות בניתוח נתונים אמיתי. לפני שתראו איך כלי ה-AI ניתחו את הנתונים, פתחו את הקובץ ובדקו בעצמכם. נסו לראות אם אתם מזהים:

• מוצר שמוכר הרבה אך רווחיותו נמוכה
• שינוי מגמה בין השנים
• פער בין מכירות לבין רווח
• נתון שנראה טוב במבט ראשון אך מסתיר בעיה

רוב האנליסטים מזהים לפחות חלק מהדפוסים האלו תוך פחות מדקה.