Evaluation 2024-2025.

Principe et objectif pédagogique

Le principe est celui de la co-évaluation et le but est que le temps que vous consacrez à l'évaluation soit un temps où vous continuez à découvrir des choses nouvelles et à approfondir votre maîtrise en ML.
Le fichier que je vous enverrai très rapidement vous indique, pour chaque étudiant.e, un sujet à traiter. Le but de l'exercice est de rédiger un notebook présentant le sujet, comme si vous le présentiez à vos pairs (étudiant SDD, collègue de travail, client compétent sur le sujet, etc.). On n'apprend jamais aussi bien que quand on explique, c'est donc l'occasion de bien maîtriser un sujet de plus et de monter en compétence collectivement en portant un regard critique sur nos productions respectives.

Point de départ

Chaque sujet est associé à une ou deux références en ligne. Ce sont des points de départ, pas des contenus à résumer ! Il est normal que vous lisiez des documents complémentaires, que vous construisiez votre compréhension, que vous fassiez des choix de ce que vous présentez ou non dans votre notebook (voire dans certains cas, que vous fassiez le choix de traiter spécifiquement un aspect du sujet et pas un autre - dans ce cas là, parlez m'en svp).

Consignes et critères d'évaluation

Votre notebook doit être didactique, agréable à lire, avoir un bon équilibre entre aspects formels et pratiques. Il doit être jouable en environ une heure. Selon les sujets, vous aurez plus ou moins à faire d'efforts pour illustrer le sujet en pratique ou à rendre la théorie accessible. La langue de rédaction est le français ou l'anglais, selon votre préférence (et la qualité de la langue contribue à des notebooks agréables à lire, donc à la note).
Votre notebook doit être rigoureux : ce n'est pas de la vulgarisation scientifique, vous vous devez d'être précis et rigoureux. Ca ne vous oblige pas à rédiger systématiquement des preuves mathématiques mais ça nécessite de formuler et de discuter des idées et résultats de façon précise et argumentée.
Votre notebook doit également être utile et réutilisable, comporter des éléments (dessins, code, texte) qui permettront au lecteur d'être rapidement fonctionnel sur le sujet.
Votre notebook doit être documenté : les aspects non-abordés ou les extensions peuvent pointer vers des ressources en ligne ou des éléments bibliographiques, les idées avancées doivent être soutenues par des références. Vous pouvez joindre des annexes.
Important : votre notebook doit être anonyme ! Rien ne doit permettre de vous identifier (nom, pseudo github, url, dessin, ou autre).
La deadline de rendu des notebooks est le 9 février à 23h59.

Evaluation

Le 10 février, nous avons une demi-journée où nous jouerons les notebooks. Le but sera d'évaluer chaque notebook, en binôme, pendant la première heure, d'avoir le temps de rédiger une évaluation (que vous pourrez éventuellement corriger plus tard), de prendre une pause, puis de recommencer avec un second notebook. De cette façon, tous les notebooks auront reçu une évaluation.
On répétera cette opération pour deux autres notebooks, à la maison. Ce qui donnera une seconde évaluation à chaque notebook.
Les binômes d'évaluateurs seront différents pour chaque notebook. Jouer et noter les notebooks en binôme est important car cela vous permet d'en discuter au fil du notebook. Les évaluations seront constituées de notes numériques et d'éléments textuels où le binôme évaluateur devra résumer sa compréhension du notebook et argumenter sur les points forts et les points faibles. C'est l'occasion de faire un retour constructif et anonyme à l'auteur du notebook, sous la forme d'une évaluation argumentée et objective.
A l'issue de cette séance, chaque notebook aura donc reçu 2 évaluations (descernées par un binôme chacune) et vous aurez chacun.e découvert 5 nouveaux sujets (en comptant celui que vous aurez rédigé).
Vous pourrez modifier vos évaluations jusqu'au vendredi 14 février.
Notez que tous les notebooks seront accessibles sous forme anonyme à tous les évaluateurs. Donc si vous êtes très intéressé.e par un sujet particulier, vous pourrez en consulter le notebook et même contribuer une évaluation supplémentaire.
A la fin, je compilerai toutes les évaluations et notes pour en tirer une évaluation unifiée.

Rendu

La soumission anonyme des notebooks et leur évaluation (anonyme aussi) se feront sur https://openreview.net/group?id=supaerodatascience.github.io/SupaeroSDD/2025/Workshop.
Openreview est la plate-forme de reviewing (d'évaluation par les pairs) utilisée par certaines des plus grandes conférences et journaux en machine learning (par exemple, ICLR, NeurIPS, ou TMLR utilisent openreview). C'est donc l'occasion de vous y créer un compte dès maintenant et d'expérimenter et de participer à un processus de review complet.
Je vous demande dès maintenant 1) de vous y créer un compte, puis 2) de créer une soumission avec le titre de votre notebook (sans y joindre le notebook que vous n'avez pas encore rédigé). Cela va me permettre d'affecter les reviewers sans attendre la dernière minute. Vous pourrez par la suite modifier votre soumission autant que vous le souhaiterez jusqu'à la deadline.
La deadline (ferme) de soumission est le dimanche 11/02 à minuit.
Précision 1 : Dans le champ de soumission, "author" c'est vous (pas les auteurs des sources sur lesquelles vous vous appuyez). Mettez votre nom, il sera caché aux reviewers (c'est fait pour).
Précision 2 : L'abstract est celui que vous rédigez. C'est une résumé de votre notebook (pas des sources que vous avez utilisées).
Précision 3 : Il vous est demandé de soumettre un fichier zip. Cela vous permet de mettre des documents annexe à votre notebook (bibliographie, correction d'exercices, modèle pré-entraîné, etc.).

Workshop SDD et posters

Une grande nouveauté de cette année est de donner une suite à cet exercice.
Autour du parcours SDD, il y a plein d'anciens (le parcours fêtera ses 10 ans l'an prochain), de vacataires, de chercheurs, d'ingénieurs, qui connaissent la formation, y contribuent ou interagissent avec nous plus ou moins directement. Pour la première fois, nous allons tenter d'organiser un workshop SDD pour réunir cette communauté (vous compris). Ce workshop se tiendra la journée du 14 mars, pour clore l'année, et le programme est en construction. Mais ce programme inclura un temps autour du travail des notebooks.
Le lien avec les notebooks est que chaque auteur aura comme tâche de reprendre son sujet, et d'exploiter les retours anonymes des évaluateurs pour l'améliorer, le corriger et en faire un poster, que nous imprimerons (au format A0 ou A1, à préciser). La deadline de rendu de ces posters sera le 6 mars, pour empiéter le moins possible sur les cours in-depth qui commencent le 5, tout en vous laissant de la flexibilité pour préparer les évaluations de PIE et en nous laissant le temps de faire toutes les impressions de posters pour le 14.
Un créneau de 2h pendant le workshop sera dédié à cette session poster où chacun pourra aller voir les posters présentés par leurs auteurs, discuter et échanger librement (et si j'y arrive on fournira café et viennoiseries). Je demanderai à certains externes de venir évaluer les posters, ce qui viendra moduler la note établie le 14 février.

Votre CV

Ces notebooks et ces posters font partie de votre portfolio. Mettez-les sur votre github, mentionnez-les en entretien, valorisez-les quand vous candidatez quelque part. C'est un exercice très chouette à faire pendant l'année, très original (assez unique en fait), et c'est un travail complètement valorisable dans votre CV !

Recommandations de travail

La rédaction d'un notebook prend du temps, mais c'est aussi une des meilleures manières d'apprendre en profondeur. Voici un petit timing type que je vous recommande, lissé sur 6 à 7 fois 3h de travail.
Séance 1 : recherche de sources et lecture efficace. Chaque notebook dispose d'une indication bibliographique, à vous de la lire efficacement et de chercher des sources complémentaires pour mieux comprendre ou apporter un éclairage différent.
Séance 2 : lecture approfondie et expérience pratique du sujet (code, exploration personnelle de la théorie). Cette séance demandera peut-être à être doublée.
Séance 3 : décision sur la trame du notebook et ébauche de rédaction.
Séance 4 : rédaction.
Séance 5 : rédaction.
Séance 6 : relecture et corrections.
Pour nous assurer que vous aurez du temps et suite à mon absence de novembre et décembre, nous avons réaménagé l'emploi du temps, décalé l'évaluation (qui était initialement prévue le 28/01) et sécurisé des demi-journées dans votre emploi du temps afin que vous ayez du temps pour préparer vos notebooks. Ainsi, l'après-midi du 20/01 et la journée complète du 28/01 sont des créneaux libérés pour que vous travailliez sur les notebooks. Ces trois demi-journées ne sont pas suffisantes pour bien écrire un notebook : il faut, en plus, du travail sur votre temps à la maison !

Résumé du calendrier

17/01 : consignes et affectation sujets
20/01 : demi-journée libérée
28/01 : journée complète libérée
09/02 : deadline de rendu des notebooks sur openreview
10/02 : demi-journée d'évaluation des notebooks
14/02 : deadline pour rendre les évaluations des notebooks
06/03 : deadline pour rendre les posters
14/03 : workshop SDD