Recap #1 Ce que j'ai lu sur le Deep Learning cette semaine (ChatGPT, Magic Methods en Python, l'approche data-centric..)

Namaste 🙏

Voici un récap de ma semaine de lecture d’articles :

‘Predicting The FIFA World Cup 2022 With a Simple Model using Python’

Sur les prédictions pour le mondial de foot. Dans cet article, le gus a utilisé la loi de Poisson mais c’est pas ce qui m’intéresse.

Ce projet me rappelle ce que j’ai lu dans le livre Big Data Foot :

L’économiste israélien Daniel Kahneman, auteur de Système 1/ Système 2, et d’autres ont découverts 188 formes différentes de biais cognitifs. Tous ont la même origine : la tendance du cerveau à commettre des erreurs quand il est amené à réfléchir trop vite, et non de manière calme et analytique. Les jugements hâtifs sont souvent erronés parce qu’on surestime notre capacité à prendre la bonne décision dans un laps de temps très court.

Les chiffres peuvent facilement conduire à plus de biais cognitifs. La tentation de choisir des statistiques qui confirment les a priori que l’on a sur un joueur est forte, tout comme d’écarter les stats susceptibles de le discréditer.

---

7 Super Cheat Sheets You Need To Ace Machine Learning Interview

Mon article préféré de la semaine !!!

Regardez moi ce petit recap des principaux algos en Machine Learning.

Idem pour Scikit-learn avec ce recap (Loading data, Splitting the dataset into train and test sets, Preprocessing data, Performing supervised machine learning tasks, Performing unsupervised machine learning tasks, Model fitting, Prediction, Evaluation, Cross validation, Model tuning).

Parfait quand on débute comme moi :D

Source

---

‘Say Goodbye to Loops in Python, and Welcome Vectorization!’

Sur l’importance de la vectorization.

Rien de neuf sous le soleil. Je peux résumer l’article à ‘The np.dot implements Vectorized matrix multiplication in the backend. It is 165x faster as compared to loops in python.’

Concrètement ce que ça donne :

import numpy as np
m = np.random.rand(1, 5)
x = np.random.rand(5000000, 5)

np.dot(x,m.T) 

Pour la peine, j’ai cherché à creuser les tableaux et calculs de vecteurs. Voilà ce que j’en ai retenu.

---

ChatGPT is taking over the internet. But do you know how it actually works? It's so clever.

Il explique que son fonctionnement est des plus simples :

• Payer des gens pour parler de sorte à avoir un model qui génère des phrases humaines

• Utiliser des gens pour classer les phrases générées. Ce second model accorde un score (ils parlent de reward, c’est marrant pour un algo).

• En fonction du score l’algo procède à des modifications pour gagner en pertinence dans la réponse

• Répéter ce processus des millions de fois.

C’est amusant parce que dit comme ça, ça ne semble pas extraordinaire.

---

The power of the data-centric approach

L’auteur de cet article explique que sa vision de la façon d'aborder les problèmes a changé. En fait, plutôt que de se concentrer sur le model (comme il l’a toujours fait), il accorde beaucoup plus d’importance aux données.

Grosso modo, on a beau chercher à optimiser le model, si les données sont merdiques, vous perdez votre temps. Des données merdiques sont des données incohérentes, avec de nombreuses valeurs NULL, par exemple.

Son conseil est donc de faire une bonne analyse exploratoire des données (EDA).

Ne sachant pas trop différencier la bonne d’une mauvaise exploration de données, je me suis ajouté sur ma liste des sujets à creuser. Bonne raison de s’abonner ;)

---

Python Magic Methods You Might Not Have Heard About

Grosso modo j’y ai découvert plusieurs méthodes/attributs magiques :

• __call__ qui permet de personnaliser le comportement d’une instance d’une classe.

class NoInstances(type): 
   def __call__(cls, *args, **kwargs): 
       raise TypeError("Can't create instance of this class") 

This can be useful if you have a class that only have static methods and therefore there’s no good reason to create instances of said class.

• __new__ Instead of calling Document(...) we invoke which creates a bare instance without invoking __init__.

Document.__new__(Document)

• __all__ can be used to define which variables and function get exported from a module.

__all__ = ["func", "some_var"]

Il évoque aussi __file__, __debug__

Joyeux noël ;)