## 1.3 Traiter des données

**Ce que recouvre la compétence** : appliquer des traitements à des données pour les analyser et les interpréter, avec un tableur, une base de données, un programme ou un outil d'enquête. Thématiques Pix : structure des données, formules et calculs, tri et filtrage, représentation graphique, interprétation critique, formats de données.

### Progression par niveaux (résumé)

- **N1-N2** : saisir des données dans un tableau, faire une somme ou une moyenne simple, trier une colonne.
- **N3** : écrire des formules, utiliser références relatives et absolues, filtrer, produire un graphique adapté.
- **N4-N5** : croiser des données (tableaux croisés dynamiques), importer/exporter des formats comme le CSV, mener une enquête et en analyser les résultats.
- **N6+** : interroger une base de données, automatiser un traitement, détecter un biais ou une représentation trompeuse.

### Version Linux et libre

**Tableur**

- **LibreOffice Calc** : formules, `$A$1` vs `A1`, tri, filtre automatique, validation de données, tableaux croisés dynamiques, graphiques
- Gnumeric : plus léger, réputé pour la justesse de ses fonctions statistiques
- **Grist** : entre tableur et base de données, libre, utilisé par l'administration française (auto-hébergeable)

**Formats de données**

- CSV : le piège classique de l'encodage (UTF-8) et du séparateur (`;` en France à cause de la virgule décimale)
- JSON, XML, ODS ; comprendre qu'un même jeu de données peut circuler sous plusieurs formes

**Bases de données**

- **LibreOffice Base** : tables, relations, formulaires, requêtes
- **SQLite** avec DB Browser for SQLite : idéal pour découvrir le SQL (`SELECT`, `WHERE`, `GROUP BY`)
- PostgreSQL ou MariaDB pour aller plus loin

**Nettoyage de données**

- **OpenRefine** : dédoublonner, harmoniser des valeurs, corriger des incohérences

**En ligne de commande** (spécificité Linux très parlante)

- `wc`, `sort`, `uniq -c`, `cut`, `grep`, `awk` : compter et agréger un fichier texte en une ligne
- `jq` pour le JSON, csvkit ou Miller (`mlr`) pour le CSV

**Programmation et analyse**

- Python avec pandas et matplotlib, dans **JupyterLab**
- R pour les statistiques
- gnuplot pour des graphiques scriptés

**Enquêtes**

- **LimeSurvey** : questionnaires et export des résultats vers Calc ou CSV

**Données ouvertes et cartographie**

- data.gouv.fr, INSEE, OpenStreetMap comme sources réelles
- **QGIS** pour traiter des données géographiques

**Interprétation critique**

- Moyenne vs médiane, corrélation vs causalité
- Repérer un graphique trompeur : axe tronqué, échelle inadaptée, camembert surchargé

### Idées d'activités

- Télécharger un jeu de données sur data.gouv.fr, résoudre le problème d'import CSV dans Calc, puis produire un graphique
- Comparer le même calcul fait dans Calc, en SQL sur SQLite et en une ligne de shell
- Nettoyer un fichier volontairement « sale » avec OpenRefine
- Créer un questionnaire LimeSurvey dans le groupe, puis analyser les réponses avec un tableau croisé dynamique
- Corriger un graphique trompeur trouvé dans la presse