First commit

README.md

@@ -0,0 +1,39 @@
+Projet INSEE -- base de données avancée
+---------------------------------------
+
+## Installation
+
+Il est vivement conseiller de faire fonctionner ce projet dans un
+**environnement virtuel python** :
+
+ 1. cloner le dépôt de code suivant:
+    ```
+    git clone https://git.epha.se/ephase/projet_INSEE
+    ```
+ 2. créer l'environnement virtuel:
+    ```
+    cd projet_INSEE
+    python -n venv .venv
+    ./.venv/bin/activate
+    ```
+ 3. intaller les prérequis:
+    ```
+    pip install -r requirements.txt
+    ```
+
+L'installation est maintenant opérationnelle
+
+## Les éléments du projet
+
+## Créer la base de données
+
+C'est le script `create_db.py` qui se charge de l'analyse des fichiers `csv`
+bruts, de la génération des fichiers `csv` consolidés et de leurs importation
+dans la base de données.
+
+Ce script accepte plusieurs arguments qu'il est possible de visualiser acec
+l'aide en ligne intégrée:
+
+```sh
+./create_db.py -h
+```

create_db.py

@@ -0,0 +1,98 @@
+#!/usr/bin/env python
+import pandas as pd
+import io 
+import numpy as np
+import sys
+import os
+import logging
+import argparse as arg
+
+class CustomFormatter(logging.Formatter):
+
+    grey = "\x1b[38;20m"
+    blue = "\x1b[34;20m"
+    yellow = "\x1b[33;20m"
+    red = "\x1b[31;20m"
+    bold_red = "\x1b[31;1m"
+    reset = "\x1b[0m"
+    format = "%(levelname)s: %(message)s (%(filename)s:%(lineno)d)"
+
+    FORMATS = {
+        logging.DEBUG: blue + format + reset,
+        logging.INFO: grey + format + reset,
+        logging.WARNING: yellow + format + reset,
+        logging.ERROR: red + format + reset,
+        logging.CRITICAL: bold_red + format + reset
+    }
+
+    def format(self, record):
+        log_fmt = self.FORMATS.get(record.levelno)
+        formatter = logging.Formatter(log_fmt)
+        return formatter.format(record)
+
+
+def parse_args():
+    """
+    Parse arguments
+    """
+    parser = arg.ArgumentParser('Process csv files from INSEE')
+    parser.add_argument('--source', '-s', 
+            help='csv source directory',
+            default='csv')
+    parser.add_argument('--export', '-e', 
+            help='processeced csv directory',
+            default='exports')
+    parser.add_argument('--towns',
+            help='town raw csv file (inside source follder)',
+            default='communes2021.csv')
+    parser.add_argument('--departments',
+            help='departments raw csv file (inside source follder)',
+            default='departements2021.csv')
+    parser.add_argument('--states',
+            help='states raw csv file (inside source follder)',
+            default='region2021.csv')
+    parser.add_argument('--verbose', '-V',
+            help='Verbose output',
+            action='store_true')
+    return parser.parse_args()
+
+
+def create_states_csv(raw_file):
+    """
+    Process states raw file
+    """
+    reg_convert= lambda x: x if len(str(x)) == 2 else f'0{x}'
+    states = pd.read_csv(raw_file,
+        usecols=["REG","NCC","LIBELLE","CHEFLIEU"],
+        converters={'REG': reg_convert})
+    return states
+
+
+def create_adepartment_csv(raw_file):
+    """
+    Process department files
+    """
+    dep = pd.read_csv(raw_file)
+
+if __name__ == '__main__':
+    args = parse_args()
+    #logging.basicConfig(level=logging.DEBUG)
+    logger = logging.getLogger()
+    if args.verbose is True:
+        logger.setLevel(logging.DEBUG)
+        logger.debug('Debug mode actiuvbated')
+
+    tty_handler = logging.StreamHandler()
+
+    # create console handler with a higher log level
+    tty_handler.setFormatter(CustomFormatter())
+    logger.addHandler(tty_handler)
+    
+    logging.debug("Ceci est une test")
+    if not os.path.exists(args.source + '/' + args.states):
+        logger.critical('can\'t find source file for states')
+
+    states = create_states_csv(args.source + '/' + args.states)
+    print(states)
+
+    sys.exit()

csv/departement2021.csv

@@ -0,0 +1,102 @@
+DEP,REG,CHEFLIEU,TNCC,NCC,NCCENR,LIBELLE
+01,84,01053,5,AIN,Ain,Ain
+02,32,02408,5,AISNE,Aisne,Aisne
+03,84,03190,5,ALLIER,Allier,Allier
+04,93,04070,4,ALPES DE HAUTE PROVENCE,Alpes-de-Haute-Provence,Alpes-de-Haute-Provence
+05,93,05061,4,HAUTES ALPES,Hautes-Alpes,Hautes-Alpes
+06,93,06088,4,ALPES MARITIMES,Alpes-Maritimes,Alpes-Maritimes
+07,84,07186,5,ARDECHE,Ardèche,Ardèche
+08,44,08105,4,ARDENNES,Ardennes,Ardennes
+09,76,09122,5,ARIEGE,Ariège,Ariège
+10,44,10387,5,AUBE,Aube,Aube
+11,76,11069,5,AUDE,Aude,Aude
+12,76,12202,5,AVEYRON,Aveyron,Aveyron
+13,93,13055,4,BOUCHES DU RHONE,Bouches-du-Rhône,Bouches-du-Rhône
+14,28,14118,2,CALVADOS,Calvados,Calvados
+15,84,15014,2,CANTAL,Cantal,Cantal
+16,75,16015,3,CHARENTE,Charente,Charente
+17,75,17300,3,CHARENTE MARITIME,Charente-Maritime,Charente-Maritime
+18,24,18033,2,CHER,Cher,Cher
+19,75,19272,3,CORREZE,Corrèze,Corrèze
+21,27,21231,3,COTE D OR,Côte-d'Or,Côte-d'Or
+22,53,22278,4,COTES D ARMOR,Côtes-d'Armor,Côtes-d'Armor
+23,75,23096,3,CREUSE,Creuse,Creuse
+24,75,24322,3,DORDOGNE,Dordogne,Dordogne
+25,27,25056,2,DOUBS,Doubs,Doubs
+26,84,26362,3,DROME,Drôme,Drôme
+27,28,27229,5,EURE,Eure,Eure
+28,24,28085,1,EURE ET LOIR,Eure-et-Loir,Eure-et-Loir
+29,53,29232,2,FINISTERE,Finistère,Finistère
+2A,94,2A004,3,CORSE DU SUD,Corse-du-Sud,Corse-du-Sud
+2B,94,2B033,3,HAUTE CORSE,Haute-Corse,Haute-Corse
+30,76,30189,2,GARD,Gard,Gard
+31,76,31555,3,HAUTE GARONNE,Haute-Garonne,Haute-Garonne
+32,76,32013,2,GERS,Gers,Gers
+33,75,33063,3,GIRONDE,Gironde,Gironde
+34,76,34172,5,HERAULT,Hérault,Hérault
+35,53,35238,1,ILLE ET VILAINE,Ille-et-Vilaine,Ille-et-Vilaine
+36,24,36044,5,INDRE,Indre,Indre
+37,24,37261,1,INDRE ET LOIRE,Indre-et-Loire,Indre-et-Loire
+38,84,38185,5,ISERE,Isère,Isère
+39,27,39300,2,JURA,Jura,Jura
+40,75,40192,4,LANDES,Landes,Landes
+41,24,41018,2,LOIR ET CHER,Loir-et-Cher,Loir-et-Cher
+42,84,42218,3,LOIRE,Loire,Loire
+43,84,43157,3,HAUTE LOIRE,Haute-Loire,Haute-Loire
+44,52,44109,3,LOIRE ATLANTIQUE,Loire-Atlantique,Loire-Atlantique
+45,24,45234,2,LOIRET,Loiret,Loiret
+46,76,46042,2,LOT,Lot,Lot
+47,75,47001,2,LOT ET GARONNE,Lot-et-Garonne,Lot-et-Garonne
+48,76,48095,3,LOZERE,Lozère,Lozère
+49,52,49007,0,MAINE ET LOIRE,Maine-et-Loire,Maine-et-Loire
+50,28,50502,3,MANCHE,Manche,Manche
+51,44,51108,3,MARNE,Marne,Marne
+52,44,52121,3,HAUTE MARNE,Haute-Marne,Haute-Marne
+53,52,53130,3,MAYENNE,Mayenne,Mayenne
+54,44,54395,0,MEURTHE ET MOSELLE,Meurthe-et-Moselle,Meurthe-et-Moselle
+55,44,55029,3,MEUSE,Meuse,Meuse
+56,53,56260,2,MORBIHAN,Morbihan,Morbihan
+57,44,57463,3,MOSELLE,Moselle,Moselle
+58,27,58194,3,NIEVRE,Nièvre,Nièvre
+59,32,59350,2,NORD,Nord,Nord
+60,32,60057,5,OISE,Oise,Oise
+61,28,61001,5,ORNE,Orne,Orne
+62,32,62041,2,PAS DE CALAIS,Pas-de-Calais,Pas-de-Calais
+63,84,63113,2,PUY DE DOME,Puy-de-Dôme,Puy-de-Dôme
+64,75,64445,4,PYRENEES ATLANTIQUES,Pyrénées-Atlantiques,Pyrénées-Atlantiques
+65,76,65440,4,HAUTES PYRENEES,Hautes-Pyrénées,Hautes-Pyrénées
+66,76,66136,4,PYRENEES ORIENTALES,Pyrénées-Orientales,Pyrénées-Orientales
+67,44,67482,2,BAS RHIN,Bas-Rhin,Bas-Rhin
+68,44,68066,2,HAUT RHIN,Haut-Rhin,Haut-Rhin
+69,84,69123,2,RHONE,Rhône,Rhône
+70,27,70550,3,HAUTE SAONE,Haute-Saône,Haute-Saône
+71,27,71270,0,SAONE ET LOIRE,Saône-et-Loire,Saône-et-Loire
+72,52,72181,3,SARTHE,Sarthe,Sarthe
+73,84,73065,3,SAVOIE,Savoie,Savoie
+74,84,74010,3,HAUTE SAVOIE,Haute-Savoie,Haute-Savoie
+75,11,75056,0,PARIS,Paris,Paris
+76,28,76540,3,SEINE MARITIME,Seine-Maritime,Seine-Maritime
+77,11,77288,0,SEINE ET MARNE,Seine-et-Marne,Seine-et-Marne
+78,11,78646,4,YVELINES,Yvelines,Yvelines
+79,75,79191,4,DEUX SEVRES,Deux-Sèvres,Deux-Sèvres
+80,32,80021,3,SOMME,Somme,Somme
+81,76,81004,2,TARN,Tarn,Tarn
+82,76,82121,2,TARN ET GARONNE,Tarn-et-Garonne,Tarn-et-Garonne
+83,93,83137,2,VAR,Var,Var
+84,93,84007,2,VAUCLUSE,Vaucluse,Vaucluse
+85,52,85191,3,VENDEE,Vendée,Vendée
+86,75,86194,3,VIENNE,Vienne,Vienne
+87,75,87085,3,HAUTE VIENNE,Haute-Vienne,Haute-Vienne
+88,44,88160,4,VOSGES,Vosges,Vosges
+89,27,89024,5,YONNE,Yonne,Yonne
+90,27,90010,2,TERRITOIRE DE BELFORT,Territoire de Belfort,Territoire de Belfort
+91,11,91228,5,ESSONNE,Essonne,Essonne
+92,11,92050,4,HAUTS DE SEINE,Hauts-de-Seine,Hauts-de-Seine
+93,11,93008,3,SEINE SAINT DENIS,Seine-Saint-Denis,Seine-Saint-Denis
+94,11,94028,2,VAL DE MARNE,Val-de-Marne,Val-de-Marne
+95,11,95500,2,VAL D OISE,Val-d'Oise,Val-d'Oise
+971,01,97105,3,GUADELOUPE,Guadeloupe,Guadeloupe
+972,02,97209,3,MARTINIQUE,Martinique,Martinique
+973,03,97302,3,GUYANE,Guyane,Guyane
+974,04,97411,0,LA REUNION,La Réunion,La Réunion
+976,06,97608,0,MAYOTTE,Mayotte,Mayotte

csv/region2021.csv

@@ -0,0 +1,19 @@
+REG,CHEFLIEU,TNCC,NCC,NCCENR,LIBELLE
+01,97105,3,GUADELOUPE,Guadeloupe,Guadeloupe
+02,97209,3,MARTINIQUE,Martinique,Martinique
+03,97302,3,GUYANE,Guyane,Guyane
+04,97411,0,LA REUNION,La Réunion,La Réunion
+06,97608,0,MAYOTTE,Mayotte,Mayotte
+11,75056,1,ILE DE FRANCE,Île-de-France,Île-de-France
+24,45234,2,CENTRE VAL DE LOIRE,Centre-Val de Loire,Centre-Val de Loire
+27,21231,0,BOURGOGNE FRANCHE COMTE,Bourgogne-Franche-Comté,Bourgogne-Franche-Comté
+28,76540,0,NORMANDIE,Normandie,Normandie
+32,59350,4,HAUTS DE FRANCE,Hauts-de-France,Hauts-de-France
+44,67482,2,GRAND EST,Grand Est,Grand Est
+52,44109,4,PAYS DE LA LOIRE,Pays de la Loire,Pays de la Loire
+53,35238,0,BRETAGNE,Bretagne,Bretagne
+75,33063,3,NOUVELLE AQUITAINE,Nouvelle-Aquitaine,Nouvelle-Aquitaine
+76,31555,1,OCCITANIE,Occitanie,Occitanie
+84,69123,1,AUVERGNE RHONE ALPES,Auvergne-Rhône-Alpes,Auvergne-Rhône-Alpes
+93,13055,0,PROVENCE ALPES COTE D AZUR,Provence-Alpes-Côte d'Azur,Provence-Alpes-Côte d'Azur
+94,2A004,0,CORSE,Corse,Corse

csv_propre/cheflieuRegion.csv

@@ -0,0 +1,18 @@
+97105,01
+97209,02
+97302,03
+97411,04
+97608,06
+75056,11
+45234,24
+21231,27
+76540,28
+59350,32
+67482,44
+44109,52
+35238,53
+33063,75
+31555,76
+69123,84
+13055,93
+2A004,94

csv_propre/cheflieudepartement.csv

@@ -0,0 +1,101 @@
+01053,01
+02408,02
+03190,03
+04070,04
+05061,05
+06088,06
+07186,07
+08105,08
+09122,09
+10387,10
+11069,11
+12202,12
+13055,13
+14118,14
+15014,15
+16015,16
+17300,17
+18033,18
+19272,19
+21231,21
+22278,22
+23096,23
+24322,24
+25056,25
+26362,26
+27229,27
+28085,28
+29232,29
+2A004,2A
+2B033,2B
+30189,30
+31555,31
+32013,32
+33063,33
+34172,34
+35238,35
+36044,36
+37261,37
+38185,38
+39300,39
+40192,40
+41018,41
+42218,42
+43157,43
+44109,44
+45234,45
+46042,46
+47001,47
+48095,48
+49007,49
+50502,50
+51108,51
+52121,52
+53130,53
+54395,54
+55029,55
+56260,56
+57463,57
+58194,58
+59350,59
+60057,60
+61001,61
+62041,62
+63113,63
+64445,64
+65440,65
+66136,66
+67482,67
+68066,68
+69123,69
+70550,70
+71270,71
+72181,72
+73065,73
+74010,74
+75056,75
+76540,76
+77288,77
+78646,78
+79191,79
+80021,80
+81004,81
+82121,82
+83137,83
+84007,84
+85191,85
+86194,86
+87085,87
+88160,88
+89024,89
+90010,90
+91228,91
+92050,92
+93008,93
+94028,94
+95500,95
+97105,971
+97209,972
+97302,973
+97411,974
+97608,976

csv_propre/departement.csv

@@ -0,0 +1,101 @@
+01,AIN,Ain,84
+02,AISNE,Aisne,32
+03,ALLIER,Allier,84
+04,ALPES DE HAUTE PROVENCE,Alpes-de-Haute-Provence,93
+05,HAUTES ALPES,Hautes-Alpes,93
+06,ALPES MARITIMES,Alpes-Maritimes,93
+07,ARDECHE,Ardèche,84
+08,ARDENNES,Ardennes,44
+09,ARIEGE,Ariège,76
+10,AUBE,Aube,44
+11,AUDE,Aude,76
+12,AVEYRON,Aveyron,76
+13,BOUCHES DU RHONE,Bouches-du-Rhône,93
+14,CALVADOS,Calvados,28
+15,CANTAL,Cantal,84
+16,CHARENTE,Charente,75
+17,CHARENTE MARITIME,Charente-Maritime,75
+18,CHER,Cher,24
+19,CORREZE,Corrèze,75
+21,COTE D OR,Côte-d'Or,27
+22,COTES D ARMOR,Côtes-d'Armor,53
+23,CREUSE,Creuse,75
+24,DORDOGNE,Dordogne,75
+25,DOUBS,Doubs,27
+26,DROME,Drôme,84
+27,EURE,Eure,28
+28,EURE ET LOIR,Eure-et-Loir,24
+29,FINISTERE,Finistère,53
+2A,CORSE DU SUD,Corse-du-Sud,94
+2B,HAUTE CORSE,Haute-Corse,94
+30,GARD,Gard,76
+31,HAUTE GARONNE,Haute-Garonne,76
+32,GERS,Gers,76
+33,GIRONDE,Gironde,75
+34,HERAULT,Hérault,76
+35,ILLE ET VILAINE,Ille-et-Vilaine,53
+36,INDRE,Indre,24
+37,INDRE ET LOIRE,Indre-et-Loire,24
+38,ISERE,Isère,84
+39,JURA,Jura,27
+40,LANDES,Landes,75
+41,LOIR ET CHER,Loir-et-Cher,24
+42,LOIRE,Loire,84
+43,HAUTE LOIRE,Haute-Loire,84
+44,LOIRE ATLANTIQUE,Loire-Atlantique,52
+45,LOIRET,Loiret,24
+46,LOT,Lot,76
+47,LOT ET GARONNE,Lot-et-Garonne,75
+48,LOZERE,Lozère,76
+49,MAINE ET LOIRE,Maine-et-Loire,52
+50,MANCHE,Manche,28
+51,MARNE,Marne,44
+52,HAUTE MARNE,Haute-Marne,44
+53,MAYENNE,Mayenne,52
+54,MEURTHE ET MOSELLE,Meurthe-et-Moselle,44
+55,MEUSE,Meuse,44
+56,MORBIHAN,Morbihan,53
+57,MOSELLE,Moselle,44
+58,NIEVRE,Nièvre,27
+59,NORD,Nord,32
+60,OISE,Oise,32
+61,ORNE,Orne,28
+62,PAS DE CALAIS,Pas-de-Calais,32
+63,PUY DE DOME,Puy-de-Dôme,84
+64,PYRENEES ATLANTIQUES,Pyrénées-Atlantiques,75
+65,HAUTES PYRENEES,Hautes-Pyrénées,76
+66,PYRENEES ORIENTALES,Pyrénées-Orientales,76
+67,BAS RHIN,Bas-Rhin,44
+68,HAUT RHIN,Haut-Rhin,44
+69,RHONE,Rhône,84
+70,HAUTE SAONE,Haute-Saône,27
+71,SAONE ET LOIRE,Saône-et-Loire,27
+72,SARTHE,Sarthe,52
+73,SAVOIE,Savoie,84
+74,HAUTE SAVOIE,Haute-Savoie,84
+75,PARIS,Paris,11
+76,SEINE MARITIME,Seine-Maritime,28
+77,SEINE ET MARNE,Seine-et-Marne,11
+78,YVELINES,Yvelines,11
+79,DEUX SEVRES,Deux-Sèvres,75
+80,SOMME,Somme,32
+81,TARN,Tarn,76
+82,TARN ET GARONNE,Tarn-et-Garonne,76
+83,VAR,Var,93
+84,VAUCLUSE,Vaucluse,93
+85,VENDEE,Vendée,52
+86,VIENNE,Vienne,75
+87,HAUTE VIENNE,Haute-Vienne,75
+88,VOSGES,Vosges,44
+89,YONNE,Yonne,27
+90,TERRITOIRE DE BELFORT,Territoire de Belfort,27
+91,ESSONNE,Essonne,11
+92,HAUTS DE SEINE,Hauts-de-Seine,11
+93,SEINE SAINT DENIS,Seine-Saint-Denis,11
+94,VAL DE MARNE,Val-de-Marne,11
+95,VAL D OISE,Val-d'Oise,11
+971,GUADELOUPE,Guadeloupe,01
+972,MARTINIQUE,Martinique,02
+973,GUYANE,Guyane,03
+974,LA REUNION,La Réunion,04
+976,MAYOTTE,Mayotte,06

csv_propre/indicateur.csv

@@ -0,0 +1,7 @@
+1,population
+2,naissances
+3,deces
+4,logements
+5,logements vacants
+6,residences principales
+7,residences secondaires et logements occasionnels

csv_propre/region.csv

@@ -0,0 +1,18 @@
+01,GUADELOUPE,Guadeloupe
+02,MARTINIQUE,Martinique
+03,GUYANE,Guyane
+04,LA REUNION,La Réunion
+06,MAYOTTE,Mayotte
+11,ILE DE FRANCE,Île-de-France
+24,CENTRE VAL DE LOIRE,Centre-Val de Loire
+27,BOURGOGNE FRANCHE COMTE,Bourgogne-Franche-Comté
+28,NORMANDIE,Normandie
+32,HAUTS DE FRANCE,Hauts-de-France
+44,GRAND EST,Grand Est
+52,PAYS DE LA LOIRE,Pays de la Loire
+53,BRETAGNE,Bretagne
+75,NOUVELLE AQUITAINE,Nouvelle-Aquitaine
+76,OCCITANIE,Occitanie
+84,AUVERGNE RHONE ALPES,Auvergne-Rhône-Alpes
+93,PROVENCE ALPES COTE D AZUR,Provence-Alpes-Côte d'Azur
+94,CORSE,Corse

requiremment.txt

@@ -0,0 +1,4 @@
+pandas
+numpy
+psycopg2-binary
+requests