{ "url": "https://11d.im/yo/20230112215341/", "published": "Thu Jan 12 2023 22:53:41 GMT+0100 (Central European Standard Time)", "updated": "Tue Oct 08 2024 00:09:56 GMT+0200 (Central European Summer Time)", "author": { "name": "tk", "url": "https://11d.im" }, "content": "
\n

Alors pourquoi construire une machine pour faire de la data science\n? Et qu'est-ce que j'ai appris au passage ?

\n

Les cartes graphiques pr\u00e9vues pour jouer \u00e0 des jeux vid\u00e9o sont aussi utilisables pour faire du machine learning ou du mining.\nCette derni\u00e8re raison explique un prix ridicule sur les mod\u00e8les haut de gamme depuis un certain temps.\nAvec la crise r\u00e9cente de la bulle crypto, les prix sont revenus \u00e0 des prix moins d\u00e9mentiels.

\n

Sp\u00e9cifiquement sur le march\u00e9 de l'occasion, avec un peu de patience, il est possible de trouver des NVIDIA RTX 3080 TI FE \u00e0 650e et des NVIDIA RTX 3090 FE \u00e0 750e.\nCes mod\u00e8les ont respectivement 12 giga de RAM et 24 giga de RAM.\nPour faire des inf\u00e9rences avec la version \u00e0 1,3\u00a0milliard de param\u00e8tres de GPT-3 de NVIDIA, il est recommand\u00e9 d'avoir au moins 10 giga de RAM.\nJouable et dans les clous donc.

\n

J'avais h\u00e9sit\u00e9 \u00e0 ne faire que l'acquisition d'une carte graphique, on dit aussi GPU, pour l'utiliser en externe, eGPU, mais mon ordi n'avait m\u00eame pas de port thunderbolt.

\n

Ce que j'avais largement sous-estim\u00e9, c'est assez b\u00eatement le disque dur.\nJ'avais auparavant un disque dur de 256 go et je pensais qu'1 to allait \u00eatre l'opulence.\nN'importe quel mod\u00e8le pr\u00e9entra\u00een\u00e9 se compte en centaines de go.\nLa version maximaliste de BLOOM, l'alternative Open Science de GPT, d\u00e9passe le to.

\n

Personnellement, faire du deep learning n'est pas vraiment une priorit\u00e9 et il me semble que l'\u00e9tat de l'art en inf\u00e9rence causale n'est pas encore aussi gourmand.

\n

J'ai bien envie d'essayer trois choses.

\n

Polars est une alternative \u00e0 Pandas qui s'inspire de son langage.\nCe dernier est par d\u00e9faut mono-thread.\nPour r\u00e9sumer il va faire ses calculs une ligne \u00e0 la fois.\nPolars au contraire cherche \u00e0 exploiter au maximum le nombre de threads du processeur.\nCela ne va pas lin\u00e9airement plus vite, mais le gain de performance est quand m\u00eame plus que notable.

\n

Alternativement, cuDF permet de cuisiner les donn\u00e9es \u00e0 la mani\u00e8re de pandas, mais en utilisant le GPU.

\n

Dans un autre registre, BlazingSQL permet de faire du traitement de donn\u00e9es avec un langage SQL en utilisant \u00e9galement le GPU.\nLe projet a l'air un peu mort donc c'est plus par curiosit\u00e9 qu'autre chose.

\n

Il y a sans doute \u00e9galement pas mal de choses \u00e0 essayer en visualisation, en cartographie et en analyse g\u00e9ospatiale.

\n

Bon voil\u00e0, j'ai une belle cuisine avec des ustensiles qui brillent.\nIl n'y a plus qu'\u00e0.

\n
", "content-plain": "Alors pourquoi construire une machine pour faire de la data science ? Et qu'est-ce que j'ai appris au passage ?\n\nLes cartes graphiques pr\u00e9vues pour jouer \u00e0 des jeux vid\u00e9o sont aussi utilisables pour faire du machine learning ou du mining. Cette derni\u00e8re raison explique un prix ridicule sur les mod\u00e8les haut de gamme depuis un certain temps. Avec la crise r\u00e9cente de la bulle crypto, les prix sont revenus \u00e0 des prix moins d\u00e9mentiels.\n\nSp\u00e9cifiquement sur le march\u00e9 de l'occasion, avec un peu de patience, il est possible de trouver des NVIDIA RTX 3080 TI FE \u00e0 650e et des NVIDIA RTX 3090 FE \u00e0 750e. Ces mod\u00e8les ont respectivement 12 giga de RAM et 24 giga de RAM. Pour faire des inf\u00e9rences avec la version \u00e0 1,3\u00a0milliard de param\u00e8tres de GPT-3 de NVIDIA, il est recommand\u00e9 d'avoir au moins 10 giga de RAM. Jouable et dans les clous donc.\n\nJ'avais h\u00e9sit\u00e9 \u00e0 ne faire que l'acquisition d'une carte graphique, on dit aussi GPU, pour l'utiliser en externe, eGPU, mais mon ordi n'avait m\u00eame pas de port thunderbolt.\n\nCe que j'avais largement sous-estim\u00e9, c'est assez b\u00eatement le disque dur. J'avais auparavant un disque dur de 256 go et je pensais qu'1 to allait \u00eatre l'opulence. N'importe quel mod\u00e8le pr\u00e9entra\u00een\u00e9 se compte en centaines de go. La version maximaliste de BLOOM, l'alternative Open Science de GPT, d\u00e9passe le to.\n\nPersonnellement, faire du deep learning n'est pas vraiment une priorit\u00e9 et il me semble que l'\u00e9tat de l'art en inf\u00e9rence causale n'est pas encore aussi gourmand.\n\nJ'ai bien envie d'essayer trois choses.\n\nPolars est une alternative \u00e0 Pandas qui s'inspire de son langage. Ce dernier est par d\u00e9faut mono-thread. Pour r\u00e9sumer il va faire ses calculs une ligne \u00e0 la fois. Polars au contraire cherche \u00e0 exploiter au maximum le nombre de threads du processeur. Cela ne va pas lin\u00e9airement plus vite, mais le gain de performance est quand m\u00eame plus que notable.\n\nAlternativement, cuDF permet de cuisiner les donn\u00e9es \u00e0 la mani\u00e8re de pandas, mais en utilisant le GPU.\n\nDans un autre registre, BlazingSQL permet de faire du traitement de donn\u00e9es avec un langage SQL en utilisant \u00e9galement le GPU. Le projet a l'air un peu mort donc c'est plus par curiosit\u00e9 qu'autre chose.\n\nIl y a sans doute \u00e9galement pas mal de choses \u00e0 essayer en visualisation, en cartographie et en analyse g\u00e9ospatiale.\n\nBon voil\u00e0, j'ai une belle cuisine avec des ustensiles qui brillent. Il n'y a plus qu'\u00e0.", "syndication": [], "type": "entry", "name": "bricoler chez soi en machine learning" }