📖 Σημειώσεις: Καθαρισμός Δεδομένων
1. Γιατί ο καθαρισμός δεδομένων είναι κρίσιμος
Η πραγματικότητα: Σχεδόν κανένα dataset δεν είναι έτοιμο για ανάλυση. Τα δεδομένα έχουν πάντα:
-
Κενά (missing values)
-
Διπλότυπα (duplicates)
-
Λάθη (typos, λάθος τύποι)
-
Ασυνέπειες (π.χ. «Αθήνα» vs «ΑΘΗΝΑ» vs «Athens»)
💡 Κανόνας: "Garbage in, garbage out" — Αν τα δεδομένα είναι λάθος, τα συμπεράσματα θα είναι λάθος.
Χρόνος: Το 60-80% του χρόνου ενός data analyst πηγαίνει στον καθαρισμό.
2. Κοινά Προβλήματα Δεδομένων
| Πρόβλημα | Παράδειγμα | Λύση |
|---|---|---|
| Κενά (missing) | Κενό κελί στο «Sales» | Συμπλήρωση ή διαγραφή |
| Διπλότυπα | Ίδια παραγγελία 2 φορές | Remove Duplicates |
| Λάθος τύπος | «123» ως κείμενο αντί αριθμός | Text to Columns / VALUE |
| Ασυνέπεια | «Αθήνα» vs «ΑΘΗΝΑ» | Find & Replace / TRIM |
| Κενά διαστήματα | « Αθήνα » (leading/trailing spaces) | TRIM |
| Ημερομηνίες ως κείμενο | «2024-01-15» ως string | DATEVALUE / Text to Columns |
3. Εργαλεία Καθαρισμού στο Excel
Α. Remove Duplicates
Πού: Data → Remove Duplicates
Τι κάνει: Αφαιρεί γραμμές που είναι ίδιες
Προσοχή: Κράτα αντίγραφο πριν το κάνεις!
Β. Text to Columns
Πού: Data → Text to Columns
Τι κάνει: Χωρίζει ένα κελί σε πολλά (π.χ. «Αθήνα, Αττική» → 2 στήλες)
Χρήση: Καθαρισμός ημερομηνιών, ονομάτων
Γ. TRIM / CLEAN
Τύπος: =TRIM(A2) — αφαιρεί κενά διαστήματα
Τύπος: =CLEAN(A2) — αφαιρεί μη-εκτυπώσιμους χαρακτήρες
Δ. Flash Fill (Ctrl+E)
Τι κάνει: Αναγνωρίζει μοτίβα και τα εφαρμόζει αυτόματα
Παράδειγμα: Γράφεις «Γιώργος» από «Γιώργος Παπαδόπουλος» → Ctrl+E → γεμίζει όλη τη στήλη
Ε. Find & Replace (Ctrl+H)
Χρήση: Αλλαγή «ΑΘΗΝΑ» → «Αθήνα» σε όλο το φύλλο
ΣΤ. Power Query (Εισαγωγή)
Πού: Data → Get Data → From Table/Range
Τι κάνει: Αυτοματοποιεί τον καθαρισμό — αν αλλάξουν τα δεδομένα, ο καθαρισμός επαναλαμβάνεται αυτόματα
Γιατί είναι σημαντικό: Είναι ο πρόδρομος του Power BI
4. Καλές Πρακτικές
| ✅ Κάνε | ❌ Μην κάνεις |
|---|---|
| Κράτα αντίγραφο των raw data | Δουλεύεις πάνω στα raw |
| Document τον καθαρισμό | Ξεχνάς τι άλλαξες |
| Χρησιμοποιείς Power Query | Κάνεις τα ίδια βήματα κάθε φορά |
| Ελέγχεις με φίλτρα | Υποθέτεις ότι όλα είναι ok |
| Χρησιμοποιείς μονάδες μέτρησης | Ανακατεύεις € με $ |
5. Πώς να ελέγξεις αν τα δεδομένα είναι «καθαρά»
Checklist:
- Δεν υπάρχουν κενά σε κρίσιμες στήλες
- Δεν υπάρχουν διπλότυπα
- Οι ημερομηνίες είναι σε μορφή ημερομηνίας (όχι κείμενο)
- Οι αριθμοί είναι σε μορφή αριθμού (όχι κείμενο)
- Δεν υπάρχουν leading/trailing spaces
- Οι κατηγορίες είναι συνεπείς (π.χ. όλα «Αθήνα», όχι «ΑΘΗΝΑ»)
- Δεν υπάρχουν αρνητικοί αριθμοί όπου δεν πρέπει (π.χ. Sales < 0)