Γιατί ο Καθαρισμός Δεδομένων Είναι Κρίσιμος
Πριν αναλύσεις οτιδήποτε, πρέπει να βεβαιωθείς ότι τα δεδομένα είναι σωστά.Η Πραγματικότητα
Σχεδόν κανένα dataset δεν είναι έτοιμο για ανάλυση.-
Κενά (missing values)
-
Διπλότυπα (duplicates)
-
Λάθη (typos, λάθος τύποι)
-
Ασυνέπειες (π.χ.
ΑθήναvsΑΘΗΝΑ) -
Λάθος μορφές (ημερομηνίες, αριθμοί)
Κανόνας
«Garbage in, garbage out» — Αν τα δεδομένα είναι λάθος, τα συμπεράσματα θα είναι λάθος.
Και αυτό έχει συνέπειες:
-
Λάθος αποφάσεις
-
Χαμένα χρήματα
-
Λάθος στρατηγική
Άρα: Ο καθαρισμός δεν είναι χάσιμο χρόνου — είναι επένδυση.
Χρόνος
Το 60-80% του χρόνου ενός data analyst πηγαίνει στον καθαρισμό.
Φαίνεται πολύ; Είναι η πραγματικότητα.
Γιατί:
-
Τα δεδομένα έρχονται από πολλές πηγές
-
Κάθε πηγή έχει τα δικά της προβλήματα
-
Κανείς δεν τα καθαρίζει πριν σου τα δώσει
Παράδειγμα — Οι Ημερομηνίες του Superstore
Το Superstore έχει αμερικάνικες ημερομηνίες:
-
Στο αρχείο βλέπεις:
4/15/2012 -
Αυτό σημαίνει: 15 Απριλίου 2012 (Μήνας/Ημέρα/Έτος)
Το ελληνικό Excel:
-
Περιμένει:
15/4/2012(Ημέρα/Μήνας/Έτος) -
Μπερδεύεται με το
4/15/2012 -
Δείχνει:
14/4/2012— λάθος!
Τι συμβαίνει:
-
Οι ημερομηνίες είναι λάθος
-
Οι αναλύσεις είναι λάθος
-
Οι αποφάσεις είναι λάθος
Πώς διορθώνεται:
-
Μέσω Power Query
-
Λέμε στο Excel: «αυτές οι ημερομηνίες είναι σε μορφή Αγγλικών Ηνωμένων Πολιτειών»
-
Έτοιμο — δουλεύει σωστά
Το Μάθημα
Αυτό το παράδειγμα δείχνει κάτι σημαντικό:
Πριν αναλύσεις οτιδήποτε, κοίταξε τα δεδομένα σου.
Έλεγξε:
Τύπους (αριθμοί, ημερομηνίες, κείμενο)
Κενά κελιά
Διπλότυπα
Ασυνέπειες
Αν δεν το κάνεις → λάθος αποτελέσματα.
Αν το κάνεις → αξιόπιστη ανάλυση.
Τι Θα Δεις στα Επόμενα Sections ή έχεςις ήδη δει σχετικό με το καθάρισμα
| Section | Τι Κάνεις |
|---|---|
| Section 3 | Excel — Καθαρισμός Δεδομένων |
| Section 13 | Power Query — Πλήρες Καθάρισμα |
| Section 15-17 | Power BI — Καθαρισμός στο Power BI |
Όλα ξεκινούν από τον καθαρισμό.
Σύνοψη
| # | Σημείο |
|---|---|
| 1 | Ο καθαρισμός είναι το πρώτο βήμα |
| 2 | «Garbage in, garbage out» |
| 3 | 60-80% του χρόνου |
| 4 | Οι ημερομηνίες είναι παράδειγμα |
| 5 | Το Power Query λύνει το πρόβλημα |
| 6 | Χωρίς καθαρισμό → λάθος αποτελέσματα |