Projet INSEE -- base de données avancée

Installation

Il est vivement conseiller de faire fonctionner ce projet dans un environnement virtuel python :

1. cloner le dépôt de code suivant:

   git clone https://git.epha.se/ephase/projet_INSEE
   

2. créer l'environnement virtuel:

   cd projet_INSEE
   python -n venv .venv
   source .venv/bin/activate
   

3. intaller les prérequis:

   pip install -r requirements.txt
   

L'installation est maintenant opérationnelle. Il faut penser à activer l'environnement virtuel àa chaque nouvelle ouverture d'un terminal.

Les éléments du projet

Consolider les fichiers bruts

C'est le script csvprocess.py qui se charge de l'analyse des fichiers csv bruts et de la génération des fichiers csv consolidés.

Ce script accepte plusieurs arguments qu'il est possible de visualiser acec l'aide en ligne intégrée:

./csvprocess -help

Créer la base de donnée

C'est le script createdatabase.py qui se charge de la création de la base de données et de l'importation des fichiers csv consolidés créés par le précédent script.

Ce script nécessite un fichier de configuration avec les paramètres de connection à la base PostgreSQL. Ce fiochier prend la forme suivante:

host=<host> user=<user> password=<password>

Les valeurs sont à remplacer par les votres.

La création des éléments se fait dans un nouveau schéma,il se nomme par défaut insee maus peut être changé via le paramètre --schema-name.

Une aide en ligne est aussi disponible pour les détails des options disponibles.

./createdatabase.py --help