66 lines
3.1 KiB
Markdown
66 lines
3.1 KiB
Markdown
## 1.3 Traiter des données
|
|
|
|
**Ce que recouvre la compétence** : appliquer des traitements à des données pour les analyser et les interpréter, avec un tableur, une base de données, un programme ou un outil d'enquête. Thématiques Pix : structure des données, formules et calculs, tri et filtrage, représentation graphique, interprétation critique, formats de données.
|
|
|
|
### Progression par niveaux (résumé)
|
|
|
|
- **N1-N2** : saisir des données dans un tableau, faire une somme ou une moyenne simple, trier une colonne.
|
|
- **N3** : écrire des formules, utiliser références relatives et absolues, filtrer, produire un graphique adapté.
|
|
- **N4-N5** : croiser des données (tableaux croisés dynamiques), importer/exporter des formats comme le CSV, mener une enquête et en analyser les résultats.
|
|
- **N6+** : interroger une base de données, automatiser un traitement, détecter un biais ou une représentation trompeuse.
|
|
|
|
### Version Linux et libre
|
|
|
|
**Tableur**
|
|
|
|
- **LibreOffice Calc** : formules, `$A$1` vs `A1`, tri, filtre automatique, validation de données, tableaux croisés dynamiques, graphiques
|
|
- Gnumeric : plus léger, réputé pour la justesse de ses fonctions statistiques
|
|
- **Grist** : entre tableur et base de données, libre, utilisé par l'administration française (auto-hébergeable)
|
|
|
|
**Formats de données**
|
|
|
|
- CSV : le piège classique de l'encodage (UTF-8) et du séparateur (`;` en France à cause de la virgule décimale)
|
|
- JSON, XML, ODS ; comprendre qu'un même jeu de données peut circuler sous plusieurs formes
|
|
|
|
**Bases de données**
|
|
|
|
- **LibreOffice Base** : tables, relations, formulaires, requêtes
|
|
- **SQLite** avec DB Browser for SQLite : idéal pour découvrir le SQL (`SELECT`, `WHERE`, `GROUP BY`)
|
|
- PostgreSQL ou MariaDB pour aller plus loin
|
|
|
|
**Nettoyage de données**
|
|
|
|
- **OpenRefine** : dédoublonner, harmoniser des valeurs, corriger des incohérences
|
|
|
|
**En ligne de commande** (spécificité Linux très parlante)
|
|
|
|
- `wc`, `sort`, `uniq -c`, `cut`, `grep`, `awk` : compter et agréger un fichier texte en une ligne
|
|
- `jq` pour le JSON, csvkit ou Miller (`mlr`) pour le CSV
|
|
|
|
**Programmation et analyse**
|
|
|
|
- Python avec pandas et matplotlib, dans **JupyterLab**
|
|
- R pour les statistiques
|
|
- gnuplot pour des graphiques scriptés
|
|
|
|
**Enquêtes**
|
|
|
|
- **LimeSurvey** : questionnaires et export des résultats vers Calc ou CSV
|
|
|
|
**Données ouvertes et cartographie**
|
|
|
|
- data.gouv.fr, INSEE, OpenStreetMap comme sources réelles
|
|
- **QGIS** pour traiter des données géographiques
|
|
|
|
**Interprétation critique**
|
|
|
|
- Moyenne vs médiane, corrélation vs causalité
|
|
- Repérer un graphique trompeur : axe tronqué, échelle inadaptée, camembert surchargé
|
|
|
|
### Idées d'activités
|
|
|
|
- Télécharger un jeu de données sur data.gouv.fr, résoudre le problème d'import CSV dans Calc, puis produire un graphique
|
|
- Comparer le même calcul fait dans Calc, en SQL sur SQLite et en une ligne de shell
|
|
- Nettoyer un fichier volontairement « sale » avec OpenRefine
|
|
- Créer un questionnaire LimeSurvey dans le groupe, puis analyser les réponses avec un tableau croisé dynamique
|
|
- Corriger un graphique trompeur trouvé dans la presse
|