Browsing Tag

Data Science

Dossier

Google Cloud Platform – La solution d’hébergement pour votre site WordPress

OVH, Infomaniak, Hostinger, IONOS, o2switch, SiteGround, … Il existe des dizaines de solutions d’hébergement pour votre site internet. Mais avez-vous pensé à GCP ?

Cette infrastructure cloud ultra robuste vous offre des services d’hébergement de pointe pour répondre aux besoins croissants de votre entreprise. Découvrez comment installer votre site WordPress sur Google Cloud Platform.

Qu’est-ce que Google Cloud Platform ?

Avant de rentrer dans les détails de l’installation d’un site WordPress sur Google Cloud Platform, un point de rappel s’impose.

Qu’est-ce que GCP ? Et pourquoi choisir cette solution d’hébergement ?

Google Cloud Platform est une solution d’hébergement cloud à faible coût et hautement disponible.

Grâce au cloud computing, GCP vous permet de stocker et de diffuser vos contenus via des serveurs distants ; garantissant ainsi une rapidité de chargement exceptionnelle.

Grâce à ses fonctionnalités de mise à l’échelle automatique, votre site reste disponible à tout moment, quel que soit le volume de trafic entrant.

Enfin, grâce à l’environnement sécurisé de Google, vos données bénéficient d’une protection maximale.

Si vous souhaitez profiter de tous ces avantages, il est temps d’installer votre site WordPress sur GCP.

Approfondir sur le cloud computing

Comment héberger son site WordPress sur Google Cloud Platform ?

Pour profiter de tous les avantages Google Cloud Platform sur votre site web, vous devez d’abord créer un compte GPC. Sachez que vous bénéficiez d’un crédit de 300 $ pour tester les produits Google.

Une fois que votre compte est créé, plusieurs solutions d’hébergement sont disponibles. Tout dépendra de la taille de votre site.

WordPress sur Compute Engine

Cet hébergement Google Cloud Platform est recommandé pour tous les propriétaires de site WordPress ayant un trafic faible à moyen. Par exemple, le blog ou le e-commerce d’un solopreneur ou d’une TPE.

Avec Google Compute engine, vous pouvez déployer votre site en seulement quelques clics. Voici les étapes à suivre :

Créez une machine virtuelle : elle servira de serveur pour votre site web. GCP vous propose plusieurs types de machines (en termes de mémoire, processeur, … ), vous permettant ainsi de choisir celle qui correspond aux besoins de votre site internet.
Installez WordPress : une fois la machine virtuelle configurée, vous pouvez installer WordPress. Pour cela, le plus simple est d’utiliser un package prêt à l’emploi comme Bitnami.
Configurer les paramètres réseau : comme les adresses IP ou encore les règles de pare-feu.

Bien qu’il soit réservé aux petits sites, ce déploiement vous offre une grande flexibilité et un contrôle total sur votre infrastructure d’hébergement. Vous pouvez par exemple activer la scalabilité automatique, profiter des services Google Cloud CDN (Content Delivery Network), utiliser les outils de surveillance pour suivre les performances de votre site, etc.

Apprendre à héberger un site WordPress sur GCP

WordPress sur App Engine

Google App Engine (GAE) est une plateforme d’hébergement sans gestion de serveur. Contrairement aux solutions classiques, où vous devez gérer l’infrastructure, l’installation, la configuration et la maintenance des serveurs, App Engine vous libère de ces contraintes. Cette solution automatise tous ces processus (paramétrage, mise à jour, correctif, … ), vous permettant ainsi de vous concentrer sur votre site web.

Outre l’absence de gestion de serveur, cette option de Google Cloud Platform présente aussi d’autres bénéfices pour votre site WordPress. Notamment une scalabilité automatique, une sécurité et une disponibilité intégrées.

Ce qui en fait la solution idéale pour les sites ayant un trafic variable avec des pics importants.

WordPress avec Google Kubernetes

Google Kubernetes Engine (GKE) permet d’héberger WordPress en utilisant des conteneurs. Autrement dit, vous pouvez déployer et gérer votre site internet dans un environnement distribué, automatisé et hautement performant.

Comme il s’agit de l’option la plus avancée et la plus complexe, elle est principalement réservée aux grandes entreprises et celles ayant un fort potentiel de croissance. Dans tous les cas, elles doivent faire appel à une équipe de développeurs expérimentés pour déployer leur site WordPress avec cette option de Google Cloud Platform.

Mais en contrepartie, elles en retirent une multitude de bénéfices :

Scalabilité automatique et gestion des ressources : si votre site WordPress connaît une hausse soudaine du trafic, GKE ajuste instantanément les ressources allouées, vous évitant les temps de latence ou les pannes.
Isolation et sécurité renforcées : chaque composant de votre site WordPress (serveur web, base de données, etc.) peut être isolé dans des conteneurs distincts. Cette indépendance des conteneurs garantit une meilleure sécurité et une meilleure résilience.
Déploiements simplifiés et automatisés : vous pouvez déployer de nouvelles versions ou fonctionnalités sans temps d’arrêt.
Optimisation des coûts et gestion des microservices : vous n’utilisez que les ressources nécessaires à tout moment.

S’inscire à notre formation GCP

Et pour aller plus loin dans l’utilisation de Google Cloud Platform, rejoignez DataScientest.

12 novembre 2024 by adriano

Dossier

Salaire d’un Data Engineer : Combien gagne un ingénieur Data ?

Le métier de data engineer est en plein essor, et les salaires sont à la hausse. En 2023, les data engineers en France gagnent en moyenne 60 000 € brut par an. Cependant, le salaire peut varier en fonction de différents facteurs, tels que le niveau d’expérience, les compétences, la localisation et le type d’entreprise.

Données salariales

Selon une étude de Glassdoor, le salaire médian des data engineers en France est de 55 000 € brut par an. Le salaire minimum est de 45 000 € brut par an, et le salaire maximum est de 75 000 € brut par an.

Les data engineers avec moins de 3 ans d’expérience gagnent en moyenne 45 000 € brut par an. Les data engineers avec 3 à 5 ans d’expérience gagnent en moyenne 50 000 € brut par an. Les data engineers avec plus de 5 ans d’expérience gagnent en moyenne 60 000 € brut par an.

Les data engineers travaillant dans les grandes entreprises technologiques ont tendance à gagner plus que ceux travaillant dans les petites entreprises. Les data engineers travaillant dans les industries de la finance ou de la santé ont également tendance à gagner plus que ceux travaillant dans d’autres industries.

Devenir Data Engineer

Facteurs influençant le salaire

En plus du niveau d’expérience et de l’industrie, d’autres facteurs peuvent influencer le salaire des data engineers, tels que :

Les compétences et les qualifications : Les data engineers avec des compétences et des qualifications spécifiques, telles que la connaissance de certaines technologies ou la maîtrise de certaines méthodologies, peuvent gagner plus.
La localisation : Les data engineers travaillant dans les grandes villes ont tendance à gagner plus que ceux travaillant dans les petites villes.
Le type d’entreprise : Les data engineers travaillant dans les grandes entreprises technologiques ont tendance à gagner plus que ceux travaillant dans les petites entreprises.

Conseils pour négocier un bon salaire

Voici quelques conseils pour négocier un bon salaire en tant que data engineer :

Faites vos recherches : Avant de négocier, il est important de faire vos recherches sur les salaires moyens de la profession. Vous pouvez utiliser des sources telles que Glassdoor ou Indeed pour obtenir des informations sur les salaires dans votre région et votre industrie.
Connaissez vos compétences : Il est également important de connaître vos propres compétences et qualifications. Vous pouvez utiliser vos expériences passées pour justifier votre demande de salaire.
Soyez confiant : Lors de la négociation, il est important d’être confiant et de défendre votre valeur. Il ne faut pas avoir peur de demander ce que l’on veut.
Soyez prêt à partir : Si vous n’êtes pas satisfait du salaire proposé, soyez prêt à partir. Cela montre à l’employeur que vous êtes sérieux dans vos demandes.

Conclusion

Le salaire des data engineers est en plein essor, et les perspectives d’emploi sont excellentes. En suivant les conseils ci-dessus, vous pouvez négocier un bon salaire et réussir dans votre carrière de data engineer.

S’inscrire à une formation Data Engineer

2 février 2024 by adriano

Conseils

Plan de Reprise d’Activité (PRA) : un guide essentiel pour la continuité des entreprises

Un Plan de Reprise d’Activité (PRA) est essentiel dans une entreprise moderne pour assurer la continuité des opérations en cas de cyberattaque ou autre situation de crise. Découvrez tout ce que vous devez savoir sur cette pratique, et le rôle clé de l’analyse de données.

Face aux nombreux risques de cybersécurité et autres incidents imprévisibles, il n’est pas toujours simple d’assurer la continuité des activités pour une entreprise.

Or, une interruption prolongée des opérations peut avoir des conséquences financières désastreuses, mettre en péril la confiance des clients et nuire à la réputation d’une organisation.

Afin d’éviter une telle catastrophe, il est essentiel de mettre en place un dispositif dénommé PRA : Plan de Reprise d’Activité.

Qu’est-ce qu’un PRA ?

Il s’agit d’un ensemble de procédures et de stratégies, visant à minimiser les perturbations et à rétablir rapidement les opérations après un événement imprévu.

L’objectif principal est d’assurer la continuité des activités les plus critiques, mais aussi de protéger les actifs de l’entreprise et donc de réduire les pertes financières.

Souvent confondu à tort avec le Plan de Continuité des Activités (PCA), le PRA est pourtant un concept bien distinct.

Alors que le PCA vise à garantir la continuité des opérations dans des conditions de fonctionnement dégradées, le PRA se concentre spécifiquement sur la reprise après un événement perturbateur majeur.

Maîtriser le PRA

Les étapes et composants du PRA

Pour être efficace, un PRA doit réunir plusieurs composants clés. La première étape est l’analyse et l’évaluation des risques potentiels auxquels l’entreprise est exposée.

Ceci implique d’identifier les menaces internes et externes, d’évaluer leurs impacts potentiels sur les opérations, et de prioriser les actions à entreprendre.

Après avoir cerné ces risques, la marche à suivre consiste à identifier les processus clés nécessitant d’être rétablis en priorité.

Il peut s’agir par exemple des activités telles que la production, la gestion des stocks ou encore la communication avec les clients. Tout dépend du secteur de l’entreprise et de son fonctionnement.

Pour chacun de ces processus critiques, des stratégies de reprise doivent être élaborées. On peut notamment mettre en place des sites de secours, sécuriser les sauvegardes des données ou élaborer des plans de rechange pour les principaux fournisseurs.

Pendant cette période de reprise, une communication efficace avec les parties prenantes internes et externes est cruciale. De fait, un plan de communication détaillé doit être établi pour informer les employés, les clients, les partenaires commerciaux, les autorités et les médias sur la situation et les mesures prises.

Afin de s’assurer que tout le personnel soit bien préparé à réagir, des formations et des opérations de sensibilisation sont indispensables. Des équipes de gestion de crise doivent aussi être désignées et préparées pour prendre les décisions appropriées en cas d’incident.

Enfin, l’efficacité du PRA doit être régulièrement vérifiée. Ceci passe notamment par des exercices de simulation et des tests pratiques visant à évaluer sa fiabilité et à identifier les éventuelles lacunes à corriger.

Quels sont les avantages pour l’entreprise ?

En ayant un plan de reprise clair et exécuté à la lettre, les entreprises minimisent les temps d’arrêt et les pertes liées aux incidents. La reprise rapide des opérations limite les effets négatifs sur les revenus et la productivité.

C’est aussi un moyen de maintenir la confiance des clients, partenaires et investisseurs. L’entreprise reste capable de fournir produits et services de manière cohérente, même après un événement perturbateur.

Pour les entreprises de secteurs soumises à des réglementations et normes de conformité, un PRA aide à s’assurer que ces obligations légales soient respectées. Ceci peut éviter de lourdes sanctions et des litiges potentiels.

Enfin, une réaction rapide et efficace en situation d’urgence renforce la réputation et l’image de marque d’une organisation. Elle démontre qu’elle est digne de confiance et résistante face aux aléas.

Apprendre à élaborer un PRA

Le PRA à l’ère numérique

Avec la numérisation croissante des activités commerciales et l’essor des technologies modernes, les PRA ont évolué pour s’adapter aux défis spécifiques de cette nouvelle ère.

Désormais, la sauvegarde des données régulière et sécurisée des données est essentielle. Des procédures de sauvegarde automatisées doivent être mises en place, ainsi que des politiques de gestion et des mécanismes de récupération pour assurer l’intégrité et la disponibilité de la data en cas de sinistre.

Un PRA doit aussi inclure des mesures de sécurité pour prévenir, détecter et contre les cyberattaques. Les outils tels que les pare-feu, les logiciels de détection des intrusions ou les solutions de cryptage permettent de se protéger contre cette menace majeure.

Les technologies de cloud peuvent aussi aider à renforcer les PRA. Il est notamment possible d’utiliser des services de reprise dans le cloud pour stocker les données et les systèmes critiques. Ceci permet une reprise rapide et accroît la résilience.

L’importance de l’analyse de données

Le PRA est essentiel pour protéger les données sensibles utilisées dans les projets de Data Science. Les pratiques comme le cryptage et les sauvegardes backups font partie intégrante d’une stratégie efficace.

De l’autre côté, les techniques d’analyse de données avancées sont aussi au cœur du PRA. Elles permettent d’identifier les risques potentiels, d’évaluer l’impact des incidents sur les opérations, et d’optimiser les stratégies de reprise.

Le Machine Learning et l’IA peuvent aussi être exploités pour automatiser une partie du processus de reprise, ou pour détecter les anomalies encore plus rapidement.

Conclusion : le PRA, un dispositif de sécurité basé sur l’analyse de données

Face aux enjeux du numérique, une entreprise moderne ne peut plus se permettre de risquer une interruption d’activité.

Afin d’éviter les conséquences catastrophiques d’une fuite de données ou d’une cyberattaque, un PRA est désormais indispensable.

L’analyse de données est une composante essentielle de cette approche stratégique, car elle permet d’identifier les principales menaces et les processus les plus importants.

Afin d’apprendre à maîtriser cette discipline, vous pouvez choisir les formations DataScientest. Nos différents programmes permettent d’acquérir toutes les compétences requises pour devenir Data Scientist, Data Analyst ou Data Engineer.

Vous découvrirez le langage Python, très utilisé pour l’analyse de données, mais aussi les bases de données et les techniques de Machine Learning.

Nos cursus vous ouvrent les portes d’un domaine professionnel tourné vers l’avenir, et se complètent intégralement à distance. En fin de parcours, vous pourrez recevoir une certification délivrée par Mines ParisTech PSL Executive Éducation ou par nos partenaires cloud AWS et Microsoft Azure. Découvrez vite DataScientest !

Commencer une formation

Vous savez tout sur le PRA. Pour plus d’informations sur le même sujet, découvrez notre dossier sur le métier d’administrateur de sécurité informatique et notre guide sur l’analyse de données.

5 novembre 2023 by adriano

Formations

Formation cloud : pourquoi et comment devenir expert AWS ou Azure ?

Faut-il suivre une formation cloud pour propulser votre carrière vers de nouveaux horizons ? L’informatique en nuage s’impose en entreprise, et sa maîtrise devient essentielle pour les professionnels. Découvrez pourquoi et comment acquérir cette expertise !

Afin de profiter de ses nombreux avantages, de plus en plus d’entreprises migrent vers le cloud computing.

Cette technologie apporte des bénéfices considérables en termes de coût, d’évolutivité, d’accessibilité, de sécurité, d’innovation et permet même de réduire son empreinte carbone.

Toutefois, pour en tirer pleinement profit, des compétences techniques sont indispensables. Pour cette raison, suivre une formation cloud permet d’acquérir une expertise très recherchée.

Pourquoi suivre une formation cloud ?

Au cours de la dernière décennie, le cloud a transformé le fonctionnement des entreprises. Même les métiers non techniques migrent vers cette technologie.

De nombreuses entreprises ont remplacé leur infrastructure informatique locale traditionnelle par le cloud computing, et le marché mondial est passé de 24 à 156 milliards de dollars entre 2010 et 2020.

À l’heure actuelle, selon O’Reilley, plus de 90% des organisations utilisent le cloud computing. Et cette tendance va se poursuivre à l’avenir.

Par conséquent, les experts peuvent très facilement trouver un emploi aussi bien dans les petites entreprises qu’au sein des plus larges organisations.

Et les salaires proposés sont attractifs. D’après le BLS des États-Unis, la rémunération annuelle moyenne pour un architecte réseau travaillant sur le cloud atteint par exemple 120 000 dollars.

En France, d’après Talent.com, le salaire annuel moyen pour un administrateur cloud avoisine 40 000 euros.

De manière générale, face à l’adoption massive du cloud en entreprise, une formation est désormais essentielle pour tous les professionnels de l’informatique. Ceci inclut les experts en cybersécurité, en développement de logiciels, en l’ingénierie de données ou même en machine learning.

Commencer une formation cloud

Les différents types de formations cloud

Il existe une large variété de formations cloud. Certaines s’adressent aux utilisateurs finaux, à savoir les professionnels qui utilisent les applications et services cloud.

Ceci inclut les logiciels de traitement de texte, les plateformes de stockage de données ou même les services de vidéoconférence comme Zoom et Microsoft Teams.

L’usage de ces solutions ne requiert pas d’expertise technique majeure, mais nécessite tout de même une compréhension fondamentale du cloud afin de les exploiter de manière optimale.

Face à la grande diversité des services, une large variété de professionnels peuvent être amenés à utiliser le cloud. Par exemple, les Data Engineers habitués à des logiciels on-premise doivent apprendre à manier les solutions en nuage.

Il existe aujourd’hui des services cloud pour la bureautique, la gestion de relation client, les RH, la comptabilité, la collaboration, le marketing ou encore le e-commerce. Et les catalogues des fournisseurs sont en constante expansion.

De même, les solutions verticales sont des applications spécifiques à un secteur d’activité visant à répondre à leurs besoins. En guise d’exemple, on peut citer un logiciel de gestion de dossier médical électronique en SaaS pour le secteur de la santé.

D’autres formations sont conçues pour les professionnels de l’informatique. Il s’agit notamment des administrateurs réseau, des ingénieurs système ou des architectes cloud.

Ce type de cursus leur permet d’acquérir des compétences pour la migration vers le cloud, la gestion des services, la conception d’architectures ou encore la cybersécurité.

En outre, les formations pour développeurs sont dédiées aux personnes souhaitant concevoir et construire des applications et des services cloud.

Elles permettent notamment d’acquérir des compétences en automatisation de processus et en intégration des services cloud.

Quelles compétences acquérir par une formation cloud ?

Une bonne formation cloud doit tout d’abord permettre de comprendre les bases du cloud computing, de découvrir les différentes catégories de services et les principales plateformes existantes.

Le programme doit couvrir les concepts tels que la gestion des identités et la gouvernance, la configuration du réseau virtuel, la gestion du stockage, le déploiement des ressources informatiques ou encore le monitoring.

Elle doit aussi conférer la capacité de diagnostiquer et de résoudre rapidement les problèmes de sécurité, de performance ou de disponibilité affectant les services cloud.

Enfin, les professionnels du cloud doivent être en mesure de travailler en équipe et de communiquer efficacement. Un cursus de qualité doit donc aborder ces notions.

Débuter une formation cloud

Les certifications cloud

Tous les principaux fournisseurs de cloud proposent des certifications permettant de valider la maîtrise de leurs plateformes, ou de services destinés à des métiers spécifiques.

Par exemple, AWS Solutions Architect démontre la capacité à déployer, gérer et utiliser les différents services Amazon Web Services.

Chez Microsoft, la certification AZ-900 Azure Fundamentals requiert une connaissance des principaux services et du fonctionnement de la plateforme. De même, AZ-104 Azure Administrator indique une expertise en implémentation, gestion et surveillance d’un environnement Azure.

Les utilisateurs de Google Cloud peuvent opter pour la certification Google Associate Cloud Engineer, tandis qu’IBM propose le titre Certified Technical Advocate pour sa plateforme.

Hormis les fournisseurs, plusieurs organisations délivrent des certifications hautement reconnues. On peut citer pour exemple le Certificate of Cloud Security Knowledge (CCSK) de la Cloud Security Alliance, focalisé sur la sécurité du cloud.

Parmi les certifications destinées à des spécialistes de l’informatique, Microsoft Azure DP-203 s’adresse par exemple aux Data Engineers. Elle confirme l’aptitude à l’ingénierie des données sur le cloud, à l’aide de services tels que Spark, Azure Synapse SQL ou Azure Data Factory.

Pour obtenir ces certifications, il est toutefois nécessaire de réussir un examen. Suivre une formation cloud peut donc aider à se préparer, afin d’atteindre le succès dès la première tentative.

Comment suivre une formation cloud ?

Il existe de nombreux cours, tutoriels, vidéos et autres simulateurs sur le web permettant d’apprendre les bases du cloud computing afin de pouvoir travailler avec cette technologie.

Par exemple, les MOOC (Massive Open Online Courses) sont des ressources populaires offertes gratuitement par les universités et d’autres organisations pour permettre à tout un chacun de s’initier à son rythme.

Les fournisseurs de services cloud tels que AWS, Microsoft Azure et Google Cloud Platform proposent également une documentation complète en ligne et des guides de formations pour apprendre à manier leurs plateformes respectives.

Toutefois, le meilleur moyen de la maîtriser est de suivre une formation complète. En choisissant DataScientest, vous pourrez compléter un cursus à distance afin d’acquérir une certification professionnelle AWS, Microsoft Azure ou Google Cloud.

Nos formations s’effectuent intégralement en ligne, et permettent d’assimiler toutes les compétences requises pour réussir l’examen de certification souhaité. Le passage de l’épreuve est compris dans le programme.

S’inscrire à une formation cloud

Conclusion : une formation cloud pour l’informatique de demain

Au fil des années à venir, le cloud computing va continuer à se démocratiser en entreprise. Cette technologie sera bientôt la principale approche de l’informatique.

Par conséquent, suivre une formation cloud permet d’acquérir une qualification tournée vers l’avenir. Les professionnels de AWS, Microsoft Azure et Google Cloud seront de plus en plus recherchés.

En choisissant DataScientest, vous mettez toutes les chances de votre côté pour obtenir une certification Microsoft Azure ou AWS.

Ce précieux titre vous permettra de démontrer votre maîtrise du cloud, et de vous distinguer des autres candidats auprès des employeurs.

Notre organisme détient les statuts officiels de Microsoft Learning Partner et AWS Training Partner, et nos formations sont éligibles au CPF pour le financement. Découvrez DataScientest !

Vous savez tout sur les formations cloud. Pour plus d’informations sur le même sujet, découvrez notre dossier complet sur le Cloud Computing et notre dossier sur les certifications cloud.

30 octobre 2023 by adriano

Formations

Direct Query sur Power BI : Avantages, configuration et alternatives

Direct Query est une méthode permettant une connexion directe à une source de données avec Power BI. Découvrez tout ce que vous devez savoir : présentation, fonctionnement, avantages et inconvénients…

L’outil de business intelligence Power BI de Microsoft permet aux entreprises d’analyser et de visualiser des données de manière interactive. Il s’agit d’une plateforme complète, offrant de nombreuses fonctionnalités pour transformer les données brutes en informations exploitables pour la prise de décision stratégique.

Parmi ces différentes fonctionnalités, Direct Query permet de se connecter directement à une source de données externe. Par la suite, il est possible de travailler en temps réel avec les données sans avoir besoin de les copier comme c’est le cas avec la méthode classique d’importation.

À travers ce dossier, vous allez découvrir tout le fonctionnement de Direct Query et pourquoi cette méthode s’avère très utile dans certaines situations…

Qu’est-ce que Direct Query ?

À l’aide de Direct Query, les utilisateurs de Power BI peuvent se connecter directement à une source de données externes. Il peut s’agir d’une base de données, d’un fichier Excel, ou encore d’un service en ligne.

Dès que la connexion est établie, la requête est effectuée sur les données à la source et en temps réel. Les résultats sont ensuite affichés dans les visualisations de Power BI.

Afin de communiquer avec la source de données, Direct Query utilise un langage de requête comme SQL. Grâce à l’exécution en temps réel, les données sont toujours à jour et les résultats sont instantanés.

Apprendre à maîtriser Direct Query

Avantages et inconvénients

La possibilité d’accéder aux données en temps réel est l’un des principaux avantages offerts par Direct Query sur Power BI. Ceci permet une analyse des données plus précise, et plus efficace.

Par ailleurs, Direct Query évite le stockage redondant des données puisqu’il n’est pas nécessaire de les copier. Ainsi, les coûts de stockage peuvent être largement réduits.

Autre point fort : Direct Query peut exploiter des sources de données volumineuses sans avoir à les importer dans Power Query. Les utilisateurs n’ont donc guère à se soucier des limitations imposées par le stockage local.

Enfin, cette fonctionnalité permet d’optimiser les performances des rapports. Les données n’étant pas stockées localement, la taille du fichier est réduite et les temps de chargement s’en trouvent améliorés. Les problèmes de ralentissement sont également atténués.

Néanmoins, Direct Query comporte aussi des inconvénients et n’est donc pas toujours le choix idéal. Cette méthode de connexion directe impose une dépendance à une source de données en ligne, pouvant poser problème en cas de problème de connexion. Les temps de réponse peuvent augmenter.

Par ailleurs, les capacités de traitement de données sont limitées. La configuration de l’outil peut aussi s’avérer complexe…

Comment configurer Direct Query ?

La configuration de Direct Query s’effectue en plusieurs étapes. En premier lieu, il est nécessaire de se connecter à la source de données externes puis de créer un rapport dans Power BI.

On configure ensuite Direct Query afin d’utiliser les données en temps réel. Enfin, les visualisations et les filtres doivent être définis dans le rapport afin d’afficher les données.

Notons que la configuration de Direct Query peut varier en fonction de la source de données externe. C’est ce qui peut rendre la tâche potentiellement compliquée.

Par exemple, pour vous connecter à une base de données SQL Server, vous devrez sélectionner « Direct Query » comme méthode de connexion dans Power BI Desktop puis spécifier les informations de connexion à la base de données.

Précisons aussi que les fonctionnalités de transformation de données ne sont pas disponibles avec Direct Query. Par conséquent, toutes les transformations doivent être effectuées dans la source externe avant d’utiliser les données dans Power BI.

Enfin, certains types de données ne sont pas pris en charge par Direct Query. C’est notamment le cas des données semi-structurées.

Apprendre à utiliser Power BI

Direct Query vs Import : quelle est la meilleure méthode de connexion aux sources de données sur Power BI ?

Les deux principales méthodes de connexion à une source de données dans Power BI sont Direct Query et l’importation de données.

Cette dernière consiste à extraire les données de la source, afin de les stocker localement sur Power BI. C’est une alternative à la connexion directe offerte par Power BI.

En réalité, l’importation est la méthode la plus couramment utilisée. Après avoir extrait les données de la source, on les transforme en fonction des besoins avant de les stocker sur la plateforme.

Cette méthode est utile pour les sources de données volumineuses ou instables. Les données sont stockées localement, et les rapports peuvent donc être consultés indépendamment de la disponibilité de la source.

En revanche, ce stockage local peut consommer beaucoup d’espace sur le disque dur. Le volume d’importation est d’ailleurs limité à 1Go. De plus, les données peuvent rapidement devenir obsolètes si la source change fréquemment.

Conclusion : Direct Query, une alternative à l’importation de données sur Power BI

En conclusion, Direct Query est une fonctionnalité utile et puissante et Power BI permettant de travailler avec des données en temps réel et sans stockage redondant.

Toutefois, dans certains cas, il peut être préférable d’opter pour l’importation des données. Il est donc important de bien comprendre les avantages et inconvénients de chacune de ces méthodes.

Afin d’apprendre à maîtriser Power BI et ses nombreuses fonctionnalités comme Direct Query, vous pouvez choisir DataScientest.

Notre formation dédiée à Power BI se décline en trois formats : débutant, avancé ou maîtrise complète. La durée totale du programme est de 38 heures réparties sur 5 jours.

La partie destinée aux débutants permet d’apprendre à manier Direct Query et la connexion aux sources de données, le langage DAX et les bases de la dataviz.

Par la suite, au cours de la partie dédiée aux utilisateurs avancés, vous découvrirez le langage de formule M, ou encore des notions comme les DataFlows et l’actualisation incrémentielle.

À l’issue du cursus, vous serez capable de collecter, d’organiser, d’analyser les données avec Power BI et de créer des tableaux de bord interactifs. En tant que Microsoft Learning Partner officiel, DataScientest vous prépare aussi au passage de la certification Microsoft Power BI Data Analyst Associate.

Notre formation est également enregistrée au RNCP France Compétences, et notre organisme reconnu par l’État est éligible au Compte Personnel de Formation pour le financement. Découvrez DataScientest !

Découvrir la formation Power BI

Vous savez tout sur Direct Query dans Power BI. Pour plus d’informations sur le même sujet, découvrez notre dossier complet sur Power BI et notre dossier sur le langage DAX.

9 octobre 2023 by adriano

Formations

La formation de Digital Analyst – Guide complet

Que ce soit pour gagner en visibilité ou pour convertir des prospects en clients, la majorité des entreprises doit développer sa présence sur le web. Mais pour atteindre les objectifs fixés (en termes de notoriété ou de conversion), encore faut-il mettre en place les bonnes actions. Et pour savoir ce qui est le plus pertinent, il convient d’utiliser et d’exploiter toutes les données à disposition. C’est justement le rôle du digital analyst. Alors quel est ce nouveau métier ? Quelles sont ses missions ? Quelles sont les compétences indispensables ? Et surtout, quelle formation pour devenir digital analyst ? Nous répondons à toutes vos questions.

Qu’est-ce qu’un digital analyst ?

Également appelé web analyst ou chef de projet tracking, le digital analyst exploite toutes les données issues du web et des réseaux sociaux pour améliorer les performances de l’entreprise en ligne. Concrètement, l’analyse des données doit permettre d’optimiser l’expérience utilisateur sur un site web, comprendre les sources de trafic et plus globalement le retour sur investissement de toutes les actions entreprises via le site (SEA, SEO, landing pages…). Ce faisant, les organisations améliorent leur avantage concurrentiel.

À ce titre, le métier de chef de projet tracking est particulièrement prisé par les entreprises de tout secteur d’activité. Mais pour exercer cette profession, mieux vaut suivre une formation de digital analyst.

Quelles sont les missions d’un digital analyst ?

Pour améliorer les performances d’une entreprise sur le web grâce aux données, le digital analyst doit mettre en place les actions suivantes :

Implémenter des outils de collecte de données : le web analyst doit récupérer un maximum d’informations sur le comportement des utilisateurs d’un site internet. À la fois pour mieux connaître sa cible (âge, secteur géographique, sexe…), mais aussi pour mieux comprendre ses habitudes (panier moyen, temps de visite, période de navigation, abandon de panier…). En effet, les actions de l’internaute sont des ressources précieuses pour l’entreprise. Et ce, tout au long du parcours client.
Analyser les données : les informations ainsi collectées permettent au digital analyst de déduire des tendances et d’identifier le client cible.
Représenter les données : si le chef de projet tracking peut comprendre facilement les milliers de lignes issus d’un fichier Excel, ce n’est pas forcément le cas des décisionnaires. Pour faciliter la compréhension par tous, cet expert data doit représenter les données à travers des outils de visualisation (notamment des graphiques, des tableaux de bord, des courbes…).
Faire des recommandations : en fonction de son analyse, il peut suggérer des actions pour améliorer l’expérience utilisateur, la stratégie digitale et la conversion globale du site web.
Animer des formations : cette mission n’est pas automatique. Mais force est de constater que l’analyse d’un site web et du comportement des utilisateurs concerne plusieurs départements de l’organisation. Par seulement les experts data. Ainsi, le digital analyst peut former les équipes marketing, commerciales, produit, …. L’idée est alors de les sensibiliser à l’importance des données pour prendre de meilleures décisions.

Pour remplir ces missions avec efficacité, nous vous conseillons de suivre une formation de digital analyst.

Maîtriser le rôle de digital analyst

Pourquoi suivre une formation digital analyst ?

Entre le monde des données et du marketing, le digital analyst doit posséder de multiples compétences techniques. À savoir :

Le marketing digital ;
Les langages informatiques (HTML, CSS…) ;
Les outils d’analyse web (Google Analytics, Omniture, Webtrends…) ;
La programmation web ;
Les outils CRM.

Pour acquérir ces différentes hard skills, il est préférable de suivre une formation digital analyst.

Au-delà de ces compétences techniques, le web analyst doit aussi disposer de plusieurs qualités personnelles. Par exemple, la curiosité pour continuer à se former sur les dernières tendances en marketing digital et les nouvelles technologies, ou encore un sens du relationnel pour former les équipes et apporter des recommandations.

Bon à savoir : la maîtrise de l’anglais est un plus pour devenir digital analyst.

Quelle formation pour être digital analyst ?

Que ce soit pour acquérir une connaissance des langages informatiques, des spécificités du marketing digital ou pour mettre en place des outils de collecte de données, il est primordial de se former. Mais à l’heure actuelle, il n’existe pas encore de formation spécifique pour devenir digital analyst. Cela dit, il est possible d’exercer ce métier après un bac+3 ou bac + 5 en marketing digital, mathématique statistique, communication et multimédias (en école de commerce ou à l’université).

Et bien sûr, vous pouvez également suivre une formation de data analyst.

Rejoignez DataScientest pour devenir digital analyst

Si le digital analyst doit maîtriser le marketing, c’est avant tout un expert des données. Il doit déduire des insights afin d’aider les équipes à prendre de meilleures décisions. Mais pour maîtriser l’analyse de données, mieux vaut suivre une formation spécifique. C’est justement ce que nous vous proposons chez DataScientest. Grâce à nos formations data analyst (ou même data scientist, vous apprendrez à maîtriser les outils et la méthode de travail pour devenir digital analyst.

Devenir digital analyst

18 septembre 2023 by adriano

Définitions

Validation croisée ou « cross validation » : Qu’est ce que c’est ?

Il existe plusieurs outils statistiques destinés à évaluer les performances des différents modèles d’apprentissage automatique. Le cross validation, aussi appelé « validation croisée », en fait partie. Fondée sur une technique d’échantillonnage, la validation croisée est utilisée en Machine Learning pour évaluer des modèles d’apprentissage-machine.

Qu’est-ce que la validation croisée ? Quelles sont les différentes techniques de validation ? Pourquoi utiliser un jeu de données équilibrées ? Comment devenir un professionnel en validation croisée ? Les réponses à ces questions dans cet article.

Qu’est-ce que la validation croisée ?

La validation croisée : une technique d’échantillonnage

Très souvent utilisée en apprentissage automatique, la validation croisée est une technique d’évaluation permettant d’estimer la fiabilité d’un modèle d’apprentissage automatique. Plus explicitement, il s’agit d’une technique de rééchantillonnage. Elle repose sur un principe simple : utiliser un ensemble de données pour ensuite les diviser en deux catégories. Ce sont :

les données d’entraînement utilisées pour entraîner le modèle,
les données test utilisées pour la prédiction.

Pourquoi une validation croisée est-elle indispensable ?

Une Machine Learning fait appel à plusieurs modèles d’apprentissage automatique. C’est en partant de ces modèles que la validation croisée estime la fiabilité d’un modèle. Chaque modèle d’apprentissage est fondé sur des sous-ensembles de données d’entrée.
Via une technique d’échantillonnage, la validation croisée atteste si une hypothèse est valide ou non. Elle facilite donc le choix d’un algorithme adapté pour réaliser une tâche définie. On a également recours à la validation pour détecter un surajustement. En se basant sur un échantillon de prétendument issu de la même population d’échantillons d’apprentissage, la validation croisée :

ne modélise pas les données de la même manière,
démontre l’échec de la généralisation d’une tendance.

Une validation croisée permet d’estimer la fiabilité et la précision du modèle. À partir du moment où le modèle fonctionne sur les données de test, cela signifie qu’il n’a pas réajusté les données d’entraînement. Autrement dit, il peut tout à fait être utilisé pour la prédiction.

Se former au cross validation

Quelles sont les différentes techniques de validation croisée ?

On dénote plusieurs techniques de validation croisée. Les principales sont :

le train-test split,
la méthode k-folds.

Le train-test split

Le principe de base du train-test split est de décomposer l’ensemble des données de manière aléatoire. Une partie servira à entraîner le modèle de Machine Learning. L’autre partie, quant à elle, permet de réaliser le test de validation. En règle générale, 70 à 80 % des données seront destinés à l’entraînement. Le reste, c’est-à-dire les 20 à 30 %, seront exploités pour le cross validation.
Cette technique s’avère fiable et très efficace. Toutefois, les données disponibles sont limitées. Puisque certaines données n’ont pas été utilisées pour l’entraînement, les informations peuvent donc être manquantes. Ce qui risque de biaiser hautement les résultats. Par contre, la technique du train-test split convient parfaitement à partir du moment où il y a une distribution égale entre les deux échantillons.

La méthode k-folds

Très facile à appréhender et très populaire, la méthode k-folds est l’une des méthodes les plus utilisées par les professionnels. Elle consiste à diviser l’échantillon original en échantillons ou en blocs. De cette façon, l’ensemble des données apparaitra aussi bien dans l’ensemble des données d’entraînements que dans l’ensemble des données test.
Un paramétrage unique dénommé « K » est inséré dans la procédure. Idéalement, K devrait avoir une valeur ni trop basse ni trop haute : entre 5 et 10 selon l’envergure du dataset. Par la suite, il convient d’ajuster le modèle en utilisant des folds K-1 (moins 1). On répétera ce processus jusqu’à ce que tous les K-folds servent au sein de l’ensemble d’entraînement.
La moyenne des scores enregistrés représente la métrique de performance du modèle. À noter que la méthode k-folds peut s’effectuer manuellement ou à l’aide des fonctions cross_val_score et cross_val_predict. Ces dernières se trouvent dans la bibliothèque Python Scikit Learn.

Maîtriser les techniques de validation croisée

Pourquoi utiliser un jeu de données équilibrées ?

En présence d’un jeu de données déséquilibrées, il devient plus difficile de réaliser une cross validation. D’une manière plus concise, une base de données est déséquilibrée quand le nombre d’observations par classe n’est pas le même d’une classe à une autre. Résultat : les algorithmes se trouvent biaisés.
Pour renflouer leur fonction de perte, les algorithmes optimisent les métriques. Ils auront tendance à générer un classifieur trivial regroupant chaque exemple dans la classe majoritaire. Par conséquent, le modèle obtenu ne sera que le reflet de la surreprésentation de la classe majoritaire. Pour y remédier, bon nombre de professionnels ont recours à la validation croisée stratifiée ou « stratified cross validation ».
Cette méthode a pour but principal de s’assurer que la répartition des classes soit la même au niveau de tous les ensembles de validation et d’apprentissage à utiliser. Face à un jeu de données déséquilibrées, générer des échantillons synthétiques constitue une excellente alternative.

27 mars 2023 by Mickael Komendyak

Formations

Power BI API : Tutoriel complet sur cette fonctionnalité

Les APIs permettent de connecter Power BI à des sources de données externes. Découvrez tout ce que vous devez savoir sur ces interfaces, et comment maîtriser la plateforme de Microsoft.

Il existe plusieurs façons d’assembler les données pour les rapports Power BI. Outre les fichiers Excel et les bases de données sur site ou sur le cloud, les APIs sont de plus en plus utilisées.
De nombreuses organisations fournissent des données par le biais d’APIs, dont les agences gouvernementales, les entreprises de médias, les fournisseurs de services logiciels ou même les ONG.
Ces outils peuvent aussi être utilisés en interne par les entreprises souhaitant intégrer des données entre de multiples systèmes. C’est l’un des cas d’usage les plus courants de Power BI et autres plateformes de reporting.
Même si la source de données principale d’un rapport est généralement interne, comme une Data Warehouse, il est possible d’enrichir les données existantes grâce à une API.
Il peut s’agir par exemple de données économiques et démographiques de la Banque Mondiale, des données des réseaux sociaux, des taux d’échange actuels ou même d’informations sur Wikipedia. Il existe de nombreuses APIs permettant d’obtenir de telles données.

Qu’est-ce que Power BI ?

Power BI est la plateforme de Business Intelligence de Microsoft. Cet outil self-service permet à tous les employés d’une entreprise d’analyser et de visualiser les données.
Il s’agit d’une suite logicielle regroupant plusieurs composants pour la collecte, l’analyse et la visualisation de données, le reporting et la création de tableaux de bord.
Les avantages de Power BI sont une interface intuitive, une accessibilité sur PC, mobile et cloud, et une connectivité avec de nombreux logiciels et sources de données.

Qu’est-ce qu’une API ?

Le terme API est l’acronyme de « Application Programming Interface ». Il existe une large diversité d’APIs dans le domaine de l’informatique.
Différentes technologies permettent de délivrer les APIs, comme REST et SOAP. Chacun a ses propres mécanismes et capacités, et peut retourner les données dans différents formats comme JSON ou XML.
Heureusement, chaque API s’accompagne d’une documentation détaillant son fonctionnement. Elle indique notamment les définitions, les valeurs de requêtes autorisées, les limitations, des exemples d’usage et les formats de données.
Les APIs gratuites et publiques ne requièrent aucune authentification, mais les APIs privées et commerciales peuvent exiger une clé ou un mot de passe.
Les APIs de données web comme celle de Wikipedia permettent d’effectuer une requête en entrant une simple adresse URL dans un navigateur web.

Qu’est-ce qu’une API REST ?

Une API REST est un style d’architecture logicielle conçue pour guider le développement et le design de l’architecture du World Wide Web. Elle définit un ensemble de contraintes pour la façon dont l’architecture système doit se comporter.
Les APIs REST offrent une façon flexible et légère d’intégrer les applications. Elles permettent d’effectuer des recherches en envoyant des requêtes à un service, et renvoient des résultats en provenance de celui-ci.
Les éléments composant l’API Rest sont les headers indiquant le mode d’authentification et les types de contenu, la méthode d’appel telle que POST et GET, le endpoint sous forme d’URL et les données textuelles au format JSON.
Pour accéder à la REST API de Power BI, il est nécessaire de demander au préalable un token avec lequel vous pourrez appeler l’API et exécuter les fonctions.

À quoi sert la REST API de Power BI ?

La REST API de Power PI délivre des endpoints de service pour l’intégration, l’administration, la gouvernance ou les ressources utilisateurs. Elle permet d’organiser le contenu Power BI, d’exécuter des opérations administratives ou encore d’intégrer du contenu en provenance de Power BI.

Maîtriser la REST API de Power BI

Son avantage est de permettre de construire des applications personnalisées délivrant les données sur un tableau de bord Power BI à l’aide d’un accès programmatique aux composants du tableau de bord : datasets, tableaux, lignes…
Elle permet de créer, d’obtenir ou de modifier des ensembles de données, des tableaux, des couloirs, des groupes, ou encore des tableaux de bord. Voici comment procéder pour établir une connexion entre Power BI et une source de données via la REST API.
La première étape est d’enregistrer une application à partir du Portail Développeur de Power BI. Vous devez ensuite conférer à l’utilisateur l’autorisation d’accéder à l’application, et générer un token d’accès à l’aide de la méthode POST.
Par la suite, vous pouvez utiliser la REST API de Power BI pour assembler les données dont vous avez besoin. Il peut s’agir par exemple d’une liste de rapports ou d’ensembles de données en provenance de votre espace de travail personnel.

Qu’est-ce que la DAX REST API de Power BI ?

Depuis le mois d’août 2021, la nouvelle API REST de Power BI permet d’effectuer des requêtes de datasets en utilisant le langage DAX. Cette API REST DAX évite les dépendances aux librairies client Analysis Services, et ne requiert pas de connexion aux endpoints XMLA.
Il est possible dans presque n’importe quel environnement de développement moderne et sur n’importe quelle plateforme dont les applications no-code Power Apps, les langages basés JavaScript ou le langage Python. Toute technologie permettant l’authentification avec Azure Active Directory et la construction d’une requête web est compatible.

Qu’est-ce que la Client API de Power BI ?

L’API Client de Power BI est une librairie client side permettant de contrôler programmatiquement le contenu intégré Power BI en utilisant JavaScript ou TypeScript.
Cette API permet la communication entre les éléments de Power BI tels que les rapports et les tableaux de bord, et le code d’application. Ainsi, vous pouvez concevoir une expérience utilisateur selon votre propre design.

Comment connecter Power BI à une API ?

La connexion entre Power BI est une API nécessite d’utiliser un connecteur de source de données web. On entre ensuite le endpoint de l’API et ses paramètres en guise d’URL.
Après avoir fourni les détails d’authentification requis par l’API, il ne reste qu’à formater les résultats de la requête dans un format de tableau pouvant être intégré au modèle Power BI.
Par défaut, Power BI essayera automatiquement de convertir les résultats JSON vers un format de tableau. Le format XML requiert un peu plus d’efforts, et les étapes spécifiques peuvent varier.

Comment apprendre à manier Power BI ?

Une connexion API apporte de nombreux avantages pour le reporting sur Power BI. Elle peut notamment permettre d’enrichir les données grâce à des sources externes, ou fournir une façon plus flexible de connecter ses données au cloud. Il existe de nombreuses APIs disponibles gratuitement sur le web.
Toutefois, pour maîtriser Power BI et toutes ses fonctionnalités, vous pouvez choisir DataScientest. Nous proposons une formation Power BI permettant à un débutant d’acquérir la maîtrise complète de l’outil en seulement cinq jours.
Notre cursus s’effectue intégralement à distance, via internet. En tant que Microsoft Learning Partner, DataScientest vous permet d’obtenir la certification PL-300 Power BI Data Analyst Associate à la fin du parcours.
Pour le financement, notre organisme est reconnu par l’Etat est éligible au Compte Personnel de Formation. N’attendez plus, et découvrez DataScientest !

Découvrir la formation Power BI

Vous savez tout sur Power BI et les APIs. Pour plus d’informations sur le même sujet, découvrez notre dossier complet sur Power BI et notre dossier sur la Business Intelligence.

2 mars 2023 by adriano

Définitions

Beautiful Soup : tout savoir sur la bibliothèque Python de Data Scraping

Le web est une véritable mine de données informatiques. Ces données peuvent être exploitées, analysées pour une infinité de cas d’usage et d’applications. On peut les utiliser pour nourrir des systèmes de Machine Learning, d’intelligence artificielle, ou tout simplement pour mettre en lumière des tendances et des phénomènes.

S’il est possible de collecter ces données manuellement afin de constituer de vastes datasets, cette tâche représente un travail de titan. Afin de l’automatiser, on utilise le Web Scraping.

Qu’est-ce que le Web Scraping ?

Le Web Scraping est un processus qui consiste à assembler des informations en provenance d’internet, à l’aide de divers outils et frameworks. Cette définition est très large, et même le fait de copier / coller les paroles d’une chanson peut être considéré comme une forme de Web Scraping.

Toutefois, le terme de Web Scraping désigne généralement un processus impliquant l’automatisation. Les volumes massifs de données sont collectés automatiquement, afin de constituer de vastes datasets.

Certains sites web s’opposent à la collecte de leurs données par des scrapers automatiques. En règle générale, le scraping à des fins éducatives est plus toléré que pour un usage commercial. Il est important de consulter les conditions d’utilisation d’un site avant d’initier un projet.

À quoi sert le Web Scraping ?

Le Web Scraping permet d’agréger des informations plus rapidement qu’avec une collecte manuelle. Il n’est plus nécessaire de passer de longues heures à cliquer, à dérouler l’écran ou à rechercher les données.

Cette méthode se révèle particulièrement utile pour amasser de très larges volumes de données en provenance de sites web régulièrement mis à jour avec du nouveau contenu. Le scraping manuel est une tâche chronophage et rébarbative.

À l’échelle individuelle, le Web Scraping peut se révéler utile pour automatiser certaines tâches. Par exemple, un demandeur d’emploi peut utiliser Python pour automatiser ses recherches d’offres. Quelques lignes de code permettent d’enregistrer automatiquement les nouvelles annonces publiées sur des plateformes comme Indeed ou Monster, afin de ne plus avoir à visiter ces sites web quotidiennement.

Le Web Scraping peut aussi être utilisé pour surveiller des changements de prix, comparer des prix, ou surveiller la concurrence en collectant des sites web en provenance de leurs sites web. Les possibilités sont nombreuses et diverses.

Toutefois, cette méthode se révèle surtout pertinente pour les projets Big Data nécessitant d’immenses volumes de données. Par exemple, l’entreprise ClearView AI a utilisé le Web Scraping sur les réseaux sociaux afin de constituer une immense base de données de photos de profils pour son logiciel de reconnaissance faciale.

Le Web Scraping est presque aussi vieux qu’internet. Alors que le World Wide Web fut lancé en 1989, le World Wide Web Wanderer a été créé quatre ans plus tard. Il s’agit du premier robot web créé par Matthew Gray du MIT. Son objectif était de mesurer la taille du WWW.

Les défis du Web Scraping

Depuis sa création, internet a beaucoup évolué. On y trouve une large variété de types et formats de données, et le web scraping comporte donc plusieurs difficultés.

Le premier défi à relever est celui de la variété. Chaque site web est différent et unique, et nécessite donc un traitement spécifique pour l’extraction d’informations pertinentes.

En outre, les sites web évoluent constamment. Un script de Web Scraping peut donc fonctionner parfaitement la première fois, mais se heurter ensuite à des dysfonctionnements en cas de mise à jour.

Dès que la structure d’un site change, le scraper peut ne plus être capable de naviguer la ” sitemap ” correctement ou de trouver des informations pertinentes. Heureusement, la plupart des changements apportés aux sites web sont minimes et incrémentaux, et un scraper peut donc être mis à jour avec de simples ajustements.

Néanmoins, face à la nature dynamique d’internet, les scrapers nécessitent généralement une maintenance constante. Il est possible d’utiliser l’intégration continue pour lancer périodiquement des tests de scraping et s’assurer que les scripts fonctionnent correctement.

Les APIs en guise d’alternative au Web Scraping

Certains sites web proposent des APIs (interface de programmation d’application) permettant d’accéder à leurs données de manière prédéfinie. Ces interfaces permettent d’accéder aux données directement en utilisant des formats comme JSON et XML, plutôt que de s’en remettre au parsing de HTML.

L’utilisation d’une API est en général un processus plus stable que l’agrégation de données via le Web Scraping. Pour cause, les développeurs créent des APIs conçues pour être consommées par des programmes plutôt que par des yeux humains.

La présentation front-end d’une site web peut souvent changer, mais un tel changement dans le design d’un site web n’affecte pas la structure de son API. Cette structure est généralement plutôt permanente, ce qui en fait une source plus fiable de données.

Néanmoins, les APIs aussi peuvent changer. Les défis liés à la variété et à la durabilité s’appliquent donc aussi bien aux APIs qu’aux sites web. Il est également plus difficile d’inspecter la structure d’une API par soi-même si la documentation fournie n’est pas suffisamment complète.

Qu’est-ce que Beautiful Soup ?

Beautiful Soup est une bibliothèque Python utilisée pour le Web Scraping. Elle permet d’extraire des données en provenance de fichiers XML ou HTML. Cette bibliothèque crée un arbre de parsing à partir du code source de la page, pouvant être utilisé pour extraire les données de manière hiérarchique et lisible.

À l’origine, Beautiful Soup fut introduite en mai 2006 par Leonard Richardson qui continue à contribuer au projet. En outre, le projet est soutenu par Tidelift et son outil de maintenance open-source proposé par abonnement payant.

En plus de ses hautes performances, Beautiful Soup apporte plusieurs avantages. Cet outil permet de parcourir les pages de la même manière qu’un navigateur, et enjolive le code source.

Comment apprendre à utiliser Beautiful Soup et Python ?

Afin d’apprendre à utiliser Beautiful Soup, vous pouvez choisir DataScientest. Leur formation Data Analyst commence avec un module dédié à la programmation en Python, et comporte un module dédié à l’extraction de données textes et au Web Scraping.

Les autres modules de ce cursus couvrent la Dataviz, le Machine Learning, les bases de données Big Data et la Business Intelligence. À l’issue du programme, vous aurez toutes les compétences requises pour exercer le métier de Data Analyst.

Toutes nos formations adoptent une approche Blended Learning combinant coaching individuel sur notre plateforme en ligne et Masterclass. Le programme peut être complété en Formation Continue ou en mode BootCamp intensif.

À la fin du cursus, vous recevrez un certificat délivré par l’Université Paris la Sorbonne dans le cadre de notre partenariat. Parmi les alumnis, 80% ont trouvé un emploi immédiatement après la formation.

Nos programmes sont éligibles au Compte Personnel de Formation pour le financement. N’attendez plus et découvrez la formation Data Analyst de DataScientest !

Vous savez tout sur Beautiful Soup. Découvrez notre dossier complet sur le langage Python, et notre dossier sur le métier de Data Analyst.

24 juin 2022 by adriano

Comment apprendre?

Tutoriel API Flask : Comment programmer une API avec Python ?

Bonjour à tous et bienvenue dans ce Tutoriel sur Flask. Dans la suite de cet article, vous allez apprendre à mettre en place une API sous Python à l’aide de cet outil de plus en plus utilisé.

Qu’est-ce qu’une API ? Quand est-ce utile ?

Nous allons commencer ce tutoriel sur Flask en parlant des APIs. Les API (application programming interface / interface de programmation d’application) sont des interfaces. Elles vous permettent de déclencher des fonctionnalités d’un projet. Vous pouvez vous imaginer un panneau de commandes. Et Flask est un outil qui permet de construire des API avec python.

Si vous disposez de code qui vous sert à réaliser des tâches, peu importe lesquelles, vous pourriez vouloir le rendre disponible, permettre à des utilisateurs d’envoyer des requêtes à votre service. Et c’est dans ce contexte que mettre en place une API vous intéressera.

Exemple :

Pour donner l’exemple d’une situation dans laquelle vous auriez besoin d’une API : imaginez que vous veniez de développer une fonctionnalité permettant, à partir d’une image, d’obtenir une valeur numérique.

On a la fonction « fonction1 » qui prend en paramètre un objet de type bytes (une image) qui sera traité et qui fournira en sortie une variable de type string.

Dire que vous aimeriez mettre en place une interface pour qu’un utilisateur distant puisse lui envoyer une requête, que cet utilisateur puisse dire à votre programme « s’il te plait, exécute le code sur l’image que je te fournit et renvoie moi le résultat » c’est comme dire que vous aimeriez mettre en place une API.

Les types de requêtes

En travaillant sur la mise en place d’API, on a remarqué que les requêtes qu’on voulait implémenter se catégorisent très souvent parmi ces quatre :

Créer un élément
Modifier un élément
Supprimer un élément
Récupérer une liste d’éléments

Nous allons donc voir dans ce tutoriel sur flask comment implémenter des requêtes de type : get (récupérer), post (envoyer), put (modifier), delete (supprimer).

Il existe d’autres types de requêtes, vous n’en aurez surement pas besoin mais vous pourrez les trouver ici.

Adresse et routes

Vous allez run votre service sur une machine, que ce soit la vôtre ou celle que vous louez dans un datacenter.

Elle aura une adresse IP. Notez que l’adresse 127.0.0.1 signifie « moi-même ». Si vous envoyez une requête à cette adresse, c’est vers votre PC que vous vous dirigez.

Votre ordinateur ou le serveur sur lequel vous voulez faire fonctionner le service sont des machines et elles ont des « ports » sur lesquels les services peuvent communiquer.

Votre API, ce sera un programme qui sera en écoute sur un port de la machine sur laquelle il est installé.

Si vous lancez votre API sur le port 1234 de votre machine, vous pourrez lui envoyer des requêtes en précisant l’url 127.0.0.1:1234

Une dernière chose : mettons que j’ai deux fonctionnalités : fonction1 et fonction2 qui sont toutes deux des requêtes de type get. Comment mon utilisateur pourra m’indiquer celle qu’il veut utiliser en ne fournissant que l’adresse 127.0.0.1:1234 ?

On pourrait imaginer que pour déclencher la fonction1, il puisse s’adresser à 127.0.0.1:1234/ici et que pour déclencher la fonction2, il puisse s’adresser à 127.0.0.1:1234/la. Eh bien c’est comme ça que cela fonctionne et on appelle /ici et /la des « routes ».

Notez que « / », est la route par défaut. Si vous envoyez une requête à 127.0.0.1:1234, on considèrera que vous vous adressez à 127.0.0.1:1234/

Prise en main de flask et implémentation de routes

La base

Le module Flask de python permet d’implémenter des API : pip install Flask.

Voici le snippet dont ces images sont extraites. Il est accessible via ce github repository.

Dans le répertoire où se situe le main.py, vous pouvez lancer la commande « python main.py ».

On aura alors un programme python en écoute sur le port 5000 (voir main.py ligne 14).

Il accepte des requêtes de type get à la route exemple_route (voir main.py ligne 11 et ligne 5 ainsi que routes/exemple_route.py ligne 4).

Les paramètres

Pour que les choses deviennent plus intéressantes, on accepte des paramètres. Voici le même snippet avec quelques lignes supplémentaires (exemple_route_/exemple_route.py : lignes 4; 5; 6; 10 et 11).

Tester son API

Pour tester vos routes, je vous propose dans ce tutoriel sur flask, d’utiliser postman ou la bibliothèque requests de Python :

Une API CRUD (Create Read Update Delete)

Vous pouvez consulter ce github repository qui permet de faire les quatre types de requêtes (get, post, put, delete) et qui présente deux routes : exemple_route et exemple_route_all.

Les requêtes acceptées sont :

exemple_route get : prend « user » en paramètre et renvoie son mot de passe s’il existe
exemple_route post : prend « user » et « password » en paramètres et ajoute une valeur à notre liste d’utilisateurs
exemple_route put : prend « user » et « password » en paramètres et modifie le mot de passe de l’utilisateur user s’il existe
exemple_route delete : prend « user » en paramètre et supprimer l’utilisateur s’il existe
exemple_route_all get : ne prend pas de paramètre et renvoie la liste des utilisateurs et leur mot de passe

En inspectant le code, on se rend compte qu’il existe une variable « données » (exemple_route/exemple_route.py ligne 14). Elle sera récupérée dans les méthodes implémentées à la suite grâce à la ligne de commande « global données « .

Pour vous permettre de créer une API, je vous suggère :

de disposer des bibliothèques : Flask, flask_cors, flask_restful
de partir d’un clone du repository Small_flask_api
d’y ajouter des fichiers dans le dossier routes pour contenir vos classes et la définition de leurs paramètres en vous inspirant du repository Exemple_API_1
d’ajouter les imports de classes dans le main.py et de déclarer leur associations

Je vous fournis un programme disponible sur ce repository. La fonction approximation_lagrange du fichier utils.py prend une liste de points en paramètres et renvoie une liste de coefficients d’un polynôme d’interpolation. La fonction écrire_polynome du fichier operations.py prend cette valeur dernièrement retournée pour rendre la syntaxe de l’écriture du polynôme interprétable par un éditeur LaTeX.

Je vous propose d’implémenter une API qui permette d’opérer sur une liste de points : récupérer, ajouter, supprimer. Elle permet également de récupérer l’expression d’un polynôme passant par les points de contrôle.

Vous trouverez une solution ici.

La documentation Flask

Pour continuer d’apprendre et acquérir des compétences après ce tutoriel sur flask, il vous faudra expérimenter au travers de projets, personnels et/ou professionnels. Vous aurez surement besoin de consulter la documentation flask et les forums d’entraide en cas de besoin, notamment Stack Overflow.

Envoyer un fichier ou une image

Envoyer une image en réponse est fréquemment demandé, ainsi je vous explique comment faire.

Importer send_file de la bibliothèque flask et l’appeler au retour d’une route en spécifiant le chemin pour situer le fichier. Vous pouvez consulter ce repository illustrant le renvoie d’images.

Se former sur Flask

Datascientest propose la formation au métier de data engineer qui permet non seulement d’apprendre à construire des API avec Flask, mais aussi d’utiliser FastApi et de, par la suite, conteneuriser les services API. La conteneurisation est un procédé utilisé pour isoler ses services, simplifier leur scalabilité et leur déploiement cross-platform.

Découvrir la formation Data Engineer

6 avril 2022 by Mickael Komendyak

Older Posts