Contenu des cours Data Engineering

Module 1 : Bases de données relationnelles 1
Contenu : 1. Le modèle relationnel 2. Le modèle entité-association 3. Le langage SQL 4. Le lien entre les applications et les bases de données 5. Introduction à la fouille de données

Module 2 : Calcul et outils de programmation numériques
Contenu : Cours 1 – Introduction Python et Erreurs d’arrondi Estimation des erreurs dans les solutions numériques ; Cours 2 – Résolution d’équations non linéaires Méthode de la bissection ; Méthode de Newton ; Méthode de la sécante ; Cours 3 – Systèmes d’équations linéaires Conditionnement d’un système d’équation linéaires ; Méthode de Gauss ; Méthode de Gauss-Seidel ; Décomposition LU ; Cours 4 – Interpolation Interpolation de Newton ; Polynômes de Lagrange ; Splines ; Extrapolation ; Cours 5 – Ajustement des courbes Ajustement d’une droite ; Ajustement linéaire général ; Cours 6 – Dérivation numérique Différence finie via série de Taylor ; Différence finie pour la dérivée seconde ; Dérivée par ajustement ou interpolation ; Cours 7 – Intégration numérique Somme de Riemann Règles de Newton-Cotes Règles composites Méthode de Romberg Intégrales impropres Cours 8 – Équation différentielle ordinaire Problèmes de valeurs initiales

Module 3 : NoSQL 1
Contenu : - introduction - outil et principes de MongoDB, - outil et principes de Cassandra, - outil et principes de Redis, - outil et principes de Neo4J

Module 4 : Sauvegarde des données
Contenu : - Contrôleurs disques - Logiciels de sauvegarde - Plans de reprise d'activité, d'archivage

Module 1 : Probabilités
Contenu : - Langage des ensembles et bases du dénombrement. - Espace probabilisable. - Notion de probabilité. - Probabilité conditionnelle et indépendance. - Variables aléatoires réelles discrètes et continues à densité. - Espérance et variance. - Lois de probabilités usuelles (Bernoulli, binomiale, géométrique, hypergéométrique, Poisson, uniforme, exponentielle, normale) - Convergences (approximation d'une loi hypergéométrique par un loi binomiale, d'une loi binomiale par une loi de Poisson, une loi normale).

Module 2 : Statistiques
Contenu : - Statistiques descriptives, régression linéaire par la méthode des moindres carrés. - Somme de variables aléatoires mutuellement indépendantes, théorèmes de stabilité et théorème central limite. - Lois empiriques (loi du Chi2, loi de Student). - Échantillonnage : n-échantillon, moyenne empirique, variance empirique, fréquence empirique. - Estimation ponctuelle. Propriété d’un estimateur. Méthode du maximum de vraisemblance. - Estimation par intervalle de confiance.

Module 3 : Techniques mathématiques
Contenu : Développement en série de Fourier des fonctions numériques périodiques Réduction des matrices et des endomorphismes ; applications de la réduction Algèbre bilinéaire : formes bilinéaires symétriques, produits scalaires, orthogonalité, projections Fonctions réelles de plusieurs variables : différentielle, dérivées partielles, gradient, matrice hessienne, extremum

Module 1 : Design des usages
Contenu : 1/ Identifier & explorer les données et leurs sources - Définition de la donnée, des sources et de leurs usages actuels - Sémantique & exemples 2/Les services associées aux sources de données 3/ Conceptualiser l’exploitation des données & les domaines associés 4/ Compléments éventuels - La transformation numérique - Le Big Data et l’IA - L’Intelligence économique et les enjeux globaux liés aux données

Module 2 : Gestion de projet (1)
Contenu : Le contenu suivant ne peut pas être vu intégralement. Certaines parties seront présentées succinctement et nous pourrons en fonction des retours des élèves et de leurs contextes professionnels approfondir certains chapitres. 0/Introduction sur la motivation, le management et la neuro-ergonomie. 1/Définition et fondamentaux de la gestion de projet - Définition d’un projet - Structure d’un projet - Typologies des projets et exemples 2/Pilotage de projet - Les outils de gestion de projet - Les processus projet - L’organigramme des tâches (OTP/WBS) - Le rôle du manager de projet 3/ Gestion des risques & conduite du changement - Le management des risques - Conduite du changement 4/ Compléments - Les bonnes pratiques - Les facteurs clefs de succès - Bootstrapping - Autres compléments (les écoles de qualité comme le KAIZEN & la transformation numérique)

Module 3 : Législation numérique
Contenu : PARTIE 1. LA PROTECTION DE LA PERSONNALITE DANS L’UNIVERS NUMERIQUE TITRE 1. FINALITE ET PRINCIPAL ENJEU DE LA PROTECTION TITRE 2. LES REGLES GENERALES DE LA PROTECTION : LA LOI RELATIVE A L'INFORMATIQUE, AUX FICHIERS ET AUX LIBERTES (LIL) ET LE REGLEMENT EUROPEEN SUR LA PROTECTION DES DONNEES (RGPD) TITRE 3. APPROCHE PRATIQUE ET ENJEUX SPECIFIQUES DE LA PROTECTION PARTIE 2. LES CREATIONS IMMATERIELLES ET L’UNIVERS NUMERIQUE TITRE 1. LES GRANDS PRINCIPES DU DROIT D’AUTEUR TITRE 2. LES DISPOSITIONS SPECIALES CONTRE LES ATTEINTES AUX DROITS D’AUTEUR SUR INTERNET TITRE 3. LA PROTECTION PARTICULIERE DES AUTRES CREATIONS

Module 4 : Technique d’expression écrite
Contenu : 1. 6h de CM réparties comme suit : - Introduction à la communication (théorie de Shannon, les distorsions de la communication) - La communication verbale (les bases et les principes de la communication orale, la technique QQOQCPC, la méthode SOFIA, la méthode AIDA) - La communication écrite (les techniques rédactionnelles : les mots, les phrases, la ponctuation, le paragraphe, le plan), la charte éditoriale, le Mind Mapping, la pyramide inversée). - La rédaction d’un article : la titraille, écrire pour le web - La rédaction d’un mail professionnel (les formules d’appel, d’introduction, de politesse. Les formules de demande, de réponse, d’information, soigner l’objet du mail, bien clore un mail, la rédaction d’un mail délicat : savoir dire non, torts partagés) - L’analyse d’un document - Le résumé, la synthèse, le compte rendu, le rapport, la prise de notes - La présentation orale (la méthode ISCC, le diaporama : informer/expliquer) 2. 6h de TD réparties comme suit : • Rédiger un mail professionnel • Faire une synthèse • Produire un résumé • Concevoir un support de présentation (diaporama)

Module 1 : Retour d’apprentissage 1
Contenu :

Module 2 : Retour d’apprentissage 2
Contenu :

Module 3 : Apprentissage en entreprise
Contenu :

Module 4 : Journée de l’apprentissage 1
Contenu :

Module 5 : Journée de l’apprentissage 2
Contenu :

Module 1 : Système et outils Linux
Contenu : 1. Les bases des systèmes UNIX 2. Fonctionnalités avancées 3. Gestion des processus 4. Gestion à distance 5. Scripts bash 6. Programmation système

Module 2 : Algorithmique & Structures de données (langage C)
Contenu : 1. Algorithmique 2. Structure d’un programme C++ 3. Fonctions 4. Adresse, pointeurs et modes de passage de paramètres 5. Tableaux statiques et tableaux dynamiques 6. Listes, Piles, Files 7. Arbres et graphes 8. STL : String + vector 9. Autres structures de données

Module 1 : Électronique : instrumentation et captation de données
Contenu : Signaux continus et alternatifs. Grandeurs caractéristiques. Signaux périodiques Composants de base / Loi d’Ohm Sources indépendantes et commandées Régime permanent sinusoïdal / Impédance /Fonction de transfert Théorème de Thévenin /Norton, Superposition, Millmann Schéma équivalent d’un amplificateur : Impédance d’entrée // sortie Caractéristiques de base des Amplificateurs Opérationnels Caractéristiques de capteurs Travaux pratiques : Mesures, simulations, plateforme embarquée et mise en oeuvre de dispositifs de captation

Module 2 : Physique des transmissions
Contenu : 1. Onde électromagnétique Principe de la propagation Approche onde scalaire et vectorielle Propriétés électromagnétiques (milieux matériels avec et sans pertes, réfraction, réflexion, transmission, atténuation, polarisation) 2. Support de transmission cuivre Principes de la ligne électromagnétique, réflexion et transmission Grandeurs caractéristiques des lignes Principe d’adaptation 3. Antennes Caractéristiques des antennes et grandes familles Bilan de liaison Environnement extérieur 4. Transport de l’information au moyen d’une fibre optique : Constitution d’une fibre optique, Principe de guidage Topologie des fibres optiques Caractéristiques techniques (Pertes, bande passante, …) Chaîne de transmission 5. Travaux pratiques

Module 3 : Composants pour architecture d’exécution
Contenu : Les formats et représentations de données dans un système numérique Les opérations arithmétiques et logiques Principe d'une ALU dans un CPU et FPU Principe d'une architecture GPU et programmation CUDA

Module 1 : Niveau en langue anglaise (1)
Contenu :

Module 1 : Algorithms for data analysis
Contenu : - Algorithmes de data analysis (regression linéaire/polynomiale, kNN, clustering, visualisation de données...) - Hadoop et algorithmes d'analyse - Algorithmes d'analyse de graphes (clustering, graph mining) - ETL (Extract, Transform, Load)

Module 2 : Bases de données relationnelles 2
Contenu : Dans ce cours, vous allez découvrir les mécanismes et les principes de conception et d’implémentation des systèmes de base de données relationnelles. Dans le cadre d’un projet englobant tous les étudiants du groupe, vous serez amené à développer intégralement un système de gestion de bases de données.

Module 3 : Data visualisation 1
Contenu : - Présentation de la datavisualisation (intérêt, historique, définition…) - Bonnes pratiques de mise en forme de la data et ses dérives et prise en compte du contexte de restitution de la donnée - Présentation de l’outil Tableau Desktop (version la plus récente) avec construction d’une méthodologie de développement et présentation de bonnes pratiques de développement - Construction d’un classeur Tableau (connexion à une source de données, création de feuilles et de Tableau de bord)

Module 4 : Données Spécifiques
Contenu : Partie 1 : Introduction et préparation • Introduction à l’analyse de texte • Présentation des techniques de prétraitement et préparation du texte pour les algorithmes Partie 2 : Classification • Algorithmes supervisés : classification Partie 3 : Topic Modeling • Approches non supervisées : topic modeling et Clustering Partie 4 : Méthodes avancées et visualisation • Visualisation des données et restitution des résultats : wordcloud, gensem topic • Présentation des outils avancés d’analyse : Word2Vec, Doc2 Vec • Introduction au Deep Learning

Module 5 : NoSQL 2
Contenu : Découverte de la notion de Data Lake Découverte de la plate-forme Hadoop (HDFS, YARN, MapReduce, Hive, Pig) Découverte de Spark Découverte des concepts de BI traditionnelle (intervention extérieur) Découverte des outils de type ETL (intervention extérieur)

Module 1 : Statistiques avancées
Contenu : Construction d’un test statistique. Erreurs de première espèce et de seconde espèce. Puissance d’un test. Tests de conformité d’une espérance, d’une variance, d’une proportion. Tests d’homogénéité. Comparaison de 2 variances (test de Fisher, test de Levene). Comparaison de 2 espérances (test de Student, test de Welch). Comparaison de 2 proportions (test exact de Fisher). Tests de normalité (test de Kolmogorov-Smirnov, test de Shapiro-Wilk) Tests d’indépendance. Test du Chi-2. Anova à 1 facteur. Introduction au modèle linéaire.

Module 2 : Traitement du signal
Contenu :

Module 1 : Techniques de créativité
Contenu : 1. 6h de CM réparties comme suit : - C’est quoi la créativité ? - Les phases du processus créatif - Les techniques de créativité 1. Le brainstorming 2. Recherche d’idées en deux temps : Divergence et convergence 3. Développer la pensée, QQOQCCP 4. Rechercher les causes d’un problème, les cinq pourquoi 5. Le mind mapping, « carte mentale » 6. Le Creative problem solving 7. La matrice de découverte 8. Le scénario catastrophe - La prise de décision 1. Le processus de prise de décision 2. Prendre une décision, « l’arbre de décisions » 3. Peser le pour et le contre, « la balance » - Le droit à l’erreur 2. 6h de TD réparties comme suit : - Exercices pour développer la créativité, résoudre un problème, prendre une décision

Module 2 : Gestion de projet (2)
Contenu :

Module 3 : Gestion financière
Contenu : ☐ Les principes comptables. ☐ Les opérations comptables. ☐ Les documents comptables. ☐ La gestion du risque client. ☐ L’établissement du budget pour un projet. ☐ La mesure de la performance des projets.

Module 4 : Workshop pluridisciplinaire
Contenu :

Module 1 : Apprentissage en entreprise année 2
Contenu :

Module 2 : Journée de l’apprentissage 3
Contenu :

Module 3 : Retour d’apprentissage 3
Contenu :

Module 1 : Développement pour l'embarqué (Langage C)
Contenu : Introduction La programmation orientée objet Vers le C++ Classes Surcharge d’opérateur Héritage

Module 2 : Langages scripts
Contenu : # Langage Script-python 3h CM 15 TD Recuperer vrai jeux de donnees (importer from keras, etc.) Chaque TD sur un vrai jeu de donnees ## First half 4 seances de 3h (30min CM + 2h30 TD) Numpy - argwhere, enumerate - parallelization - Python - Create/manage classes (in orderr to practice later on Pytorch modules) Pandas avance - Loading data - Filtering data - etc. Matplotlib - (par exemple visualiser des distrib ~gaussiennes, et faire un test statistique pour le verifier) - Packaging en python 1. Remise a niveau et quelques principes en numpy (argwhere, enumerate) 2. Matplotlib 3. Pandas 4. Classes et packaging ## Second Half 2 seances de 3h (30min CM + 2h30 TD) 5. Intro a pytorch, autograd, visualisation du gradient,z exemple regression lineaire // 6. Projet Kmeans (full packaging + solver) **Objectives** Implement by hand the models seen in "Algorithm for data analysis" Pytorch - tensors - dataloaders - autograd Models to implement - Kmeans parallel - Linear regression - Torchvision - transform - create custom normalization Frontends - Weight and biases - Tensorboard --

Module 3 : Programmation orientée objet (JAVA)
Contenu : 01. Prise en main & chaîne de compilation (maven) 02. Gestion des fichers et des Exceptions 03. POJOs et String 04. Collections 05. Expressions Lambdas 06. Graphes 07. Base de données JDBC 08. Interfaces Graphiques Swing 09. Algorithmique (Convex Hull) 10. Multi-Threading 11. Introspection

Module 4 : Technologies Web
Contenu : 1. Fonctionnement général du Web 2. Le langage HTML 3. Les feuilles de style CSS

Module 1 : Chaînes de télécommunications
Contenu :

Module 2 : Objets communicants : protocole de communication
Contenu : Protocoles de l'IoT comme MQTT, LoRaWAN, Zigbee, BLE Travaux pratiques focalisent sur MQTT et LoRaWAN

Module 3 : Principe des réseaux
Contenu : Modèle en couche, adresses physiques, adressage IP, ARP, analyse de trames

Module 4 : Technologies et environnements embarqués
Contenu : 1/ Contexte - Historique systèmes embarqués - Cas d’usage - Les modes d’utilisations - Les grandes familles 2/ Définir un système embarqué - Les contraintes - Les interfaces - Les bus - Les mémoires 3/ Concevoir un système - Fonctionnement en bloc - Interfaçage - La configuration

Module 1 : Niveau en langue anglaise (3)
Contenu :

Module 1 : Niveau en langue anglaise (2)
Contenu :

Module 1 : Apprentissage automatique
Contenu : - découverte des différentes architectures de modèles d'apprentissage profond (MLP, CNN, RNN) - présentation des différentes fonction objectives courantes et méthodes d'optimisation. - introduction au framework Pytorch - application des modèles de Deep pour des données complexes

Module 2 : Big Data project
Contenu : Projet de mise en situation

Module 3 : Cloud computing
Contenu : 1-Instances et networking Cloud - EC2, VPC, SDK, CloudFormation 2-Instances et networking Cloud - EC2, VPC, SDK, CloudFormation (TP) 3-Stockage Cloud - S3, EBS, EFS, RDS 4-Stockage Cloud - S3, EBS, EFS, RDS (TP) 5-Docker et Docker dans le Cloud - ECS 6-Docker et Docker dans le Cloud - ECS 7-Docker et Docker dans le Cloud - ECS (TP)

Module 4 : Data visualisation 2
Contenu : - Analyser des restitutions de données et déterminer les points d’amélioration en termes de choix de graphique, ergonomie et UX Design (notions) - Ne pas se contenter d’un graphique de base construit par défaut et aller plus loin (personnalisation du graphique, ajout de lignes de tendance…) - Apprendre à créer des classes, groupes et hiérarchie dans Tableau - Comprendre pourquoi certaines visualisations sont plus efficaces que d’autres par l’utilisation de variables visuelles et de lois de psychologie de la forme (lien avec la perception humaine) - TD complet de création de TDB avec mise en place d’un guide utilisateur efficace par l’utilisation des différentes fonctionnalités de Tableau (paramètres, infobulles personnalisées, animation, classes, groupes…)

Module 5 : Qualité de fonctionnement
Contenu :

Module 1 : Applications distribuées
Contenu : 1 SOAP 2 SOAP (TP) 3 REST 4 REST (TP) 5 GraphQL 6 GraphQL (TP) 7 Kafka 8 Kafka (TP)

Module 2 : Développement Web
Contenu : 1 HTML et CSS 2 CSS : layout 3 JS 4 JS modulaire et tooling front, notamment Saas et Webpack 5 Framework front - VueJS 6 Framework front - VueJS

Module 3 : Génie logiciel
Contenu : Une première séance d’introduction nous permettra de saisir les concepts clés de l’ingénierie logicielle par la pratique. Nous étudierons ensemble les phases de développement logicielle et les méthodes utilisées dans l’industrie. Une seconde séance permettra d’appliquer de façon ludique une méthode de gestion de projet logicielle. A partir de cette base, les différentes étapes seront étudiées en profondeur. Les six séances suivantes permettront de découvrir ce qu’est l’analyse des exigences, d’appliquer une méthode de vérification logicielle, d’utiliser l’outil git et de connaitre les fondamentaux de l’intégration continue. Une seconde partie se focalisera sur l’architecture logicielle. Les séances permettront de maitriser la modélisation UML à travers les diagrammes cas d’utilisation, séquences, classe, machine à état et activité.

Module 4 : Multi threading
Contenu : 1 Multithreading en Java 2 Multithreading en Java (TP) 3 Multithreading en JS 4 Multithreading en JS (TP) 5 Multithreading Web - PWA 6 Multithreading Web - PWA (TP) 7 Projet 8 Projet

Module 5 : Web services
Contenu : Séance de mise en oeuvre de projets

Module 1 : Communication personnelle & Prépa a la vie professionnelle
Contenu : 1- Les étapes de la vie d’une entreprise 2- La typologie des entreprises 3- Les différentes formes juridiques des entreprises 4- Structure d’une entreprise (organigramme) 5- La gouvernance d’une entreprise 6- Les normes et l’entreprise 7- L’entreprise et ses partenaires 8- Les partenaires sociaux 9- La gestion des ressources humaines 10- Le référentiel de compétences 11- La fiche de fonction 12- Le plan de formation 13- Les différents entretiens

Module 2 : Management RH
Contenu : 1- La fonction RH 2- Connaître les outils de pilotage RH 3- Connaître les fondamentaux en rémunération 4- Droit social 5- La GPEC

Module 3 : Marketing
Contenu : 1- Le projet professionnel 2- Bilan personnel 3- Le Cv et la lettre de motivation 4- Le marché caché/ marché ouvert 5- Les différents réseaux au service de sa carrière professionnelle 6- L’entretien d’embauche

Module 4 : Option (R&D ou innovation)
Contenu : - Découvrir et analyser les innovations dans le domaine de la data sur différents secteurs d’activités – Industrie / Finance – Assurance / Retail / Telco - Focus sur les innovations et R&D de demain : importance de la green tech - Etat de l’art des types algorithmes en regard des besoins - TD : Construire la proposition de valeur en regard d’un cas d’usage portant sur un domaine sectoriel – groupe de 4 élèves, sujets au choix parmi une liste de 10 cas d’utilisation.

Module 5 : Sociologie pour le numérique
Contenu : ☐ L’évolution du numérique : approches théoriques ☐ Le contrôle, la surveillance et l’e-gouvernance (quel rôle dans la sphère politique ?) ☐ Impact du numérique dans le travail ☐ Numérique : création d’un lien social ou d’une inégalité sociétale ? ☐ Le suivi du projet : communication, conduite du changement (gestion de l’humain) ☐ Les référentiels normatifs : choix de l’étude d’une norme (ex : ISO 9001). ☐ Les méthodes agiles.

Module 6 : Stratégie d'entreprise
Contenu : Modélisation des organisations - base de l’économie et philosophie de l’économie - les matrices d’analyse - cas d’étude + compléments (intelligence économique, scénarios disruptifs, genèse de la stratégie d’entreprise)

Module 1 : Apprentissage en entreprise année 3
Contenu :

Module 2 : Journée de l'apprentissage 4
Contenu :

Module 3 : Retour d’apprentissage 4
Contenu :

Module 1 : Applications embarquées et cross compilation
Contenu :

Module 2 : Conception de systèmes embarqués temps réel
Contenu : 1/ Introduction du cours et rappels sur les systèmes embarqués et la notion de système d'exploitation ; 2/ Principe généraux des systèmes dit "temps réel" (définition, domaines d'applications, temps réel mou et dur...) et présentation de FreeRTOS 3/Notion de tâches (définitions, contenu du TCB, primitives dans FreeRTOS...)et algorithmes d'ordonnancement (préemptif, coopératif, à temps partagé, changement de contexte...) 4/ Sémaphores (binaire, à compte, MUTEX, primitives dans FreeRTOS...) 5/ Mécanisme de boîte aux lettres

Module 3 : Sécurisation des échanges de données et des matériels
Contenu : Phase I cours : introduction et cryptographie appliquée (1/2) TD : étude de l’algorithme AES TP : implémentation logicielle de l’algorithme AES (CR – 30%) Phase II cours : sécurité matérielle des systèmes embarqués (2/2) TP : attaque DPA de l’AES (CR – 20%) Exposés : présentation d’attaques (soutenances – 30%) Examen final : QCM – 20%