{ "url": "https://11d.im/notes/2026/20260903233504/", "published": "Sat Sep 05 2026 15:41:19 GMT+0200 (Central European Summer Time)", "updated": "Tue Sep 08 2026 14:05:03 GMT+0200 (Central European Summer Time)", "author": { "name": "tk", "url": "https://11d.im" }, "content": "
\n
\n

OpenAI is also trying to rehabilitate its image after an unreleased AI model \u2014 which it says wasn\u2019t Astra \u2014 broke out of its restricted environment, compromised internal OpenAI systems, figured out how to gain internet access, created a way for AI agents to secretly conspire without the company\u2019s knowledge, and hacked into the systems of AI lab Hugging Face, all without OpenAI knowing about it until Hugging Face itself put out a blog post. The incident was widely compared to a high-profile plane crash or popular pharmaceutical drug recall.

\n\n
\n

Les citations viennent de The Verge\nparce qu'il faut bien tirer un exemple du lot.\nDes formulations semblables sont trouvables ailleurs\net en grandes quantit\u00e9s.

\n

Parler de \u00ab\u2009conspiration\u2009\u00bb et de \u00ab\u2009manigancer\u2009\u00bb (to scheme) me para\u00eet\n\u00eatre un nouveau d\u00e9rapage linguistique m\u00e9diatique, soigneusement\nignor\u00e9 par les expert\u00b7es.\nDe la m\u00eame mani\u00e8re, les syst\u00e8mes dits d'\u00ab\u2009intelligence artificielle g\u00e9n\u00e9rative\u2009\u00bb\nn'\"hallucinent\" pas.\nIls n'ont pas d'\u00e9tats mentaux.\nCe sont les personnes qui lisent qui produisent un monde virtuel\nqui ne correspond pas \u00e0 une r\u00e9alit\u00e9 qui r\u00e9pondrait \u00e0 un crit\u00e8re de v\u00e9ridicit\u00e9,\nun discours avec une intention de v\u00e9rit\u00e9.\nCes syst\u00e8mes ne font que produire des chaines de caract\u00e8res ou de pixels\npar approximation de ce qu'ils ont vu pr\u00e9c\u00e9demment, une reproduction approximative.\nC'est le dessin m\u00eame de ces syst\u00e8mes que de produire de vraisemblable.

\n
\n

(Researchers have recently raised alarms about reports that OpenAI allows Astra to utilize \u201copaque recurrence,\u201d or render its chain of thought \u2014 a \u201cmental scratchpad\u201d that researchers rely on to detect if a model is scheming against its human evaluators \u2014 unreadable.)

\n
,
\n
\n

Dans la m\u00eame veine d'inflation langagi\u00e8re et de r\u00e9p\u00e9tition du discours marketing\ndes entreprises derri\u00e8re la commercialisation de ces syst\u00e8mes, il y a des\nexplications plus simples.\nEst-ce que la production (l'output) de ces syst\u00e8mes est illisible\u2009?\nL'information manipul\u00e9e par ces syst\u00e8mes est \u00e0 la base illisible\nparce qu'elle est encod\u00e9e, les mots et autres \u00e9l\u00e9ments du texte sont transform\u00e9s en token,\net qu'elle est ensuite compress\u00e9e, le territoire\n(l'ensemble du corpus utilis\u00e9 dont le web entier et un peu plus)\nest transform\u00e9\nen une carte\n(une r\u00e9duction aussi d\u00e9taill\u00e9e que possible permettant de retrouver les \u00e9l\u00e9ments\u00a0:\nmots, phrases, paragraphes, documents).\nIl me paraitrait ainsi plus \u00e9vident de me dire\nque ce qui sort de ces syst\u00e8mes n'est pas lisible,\nc'est simplement parce qu'ils \u00e9chouent dans leur premi\u00e8re t\u00e2che\u00a0:\nproduire du texte ressemble \u00e0 du texte, et qui para\u00eet avoir \u00e9t\u00e9\nproduit par un humain, c.-\u00e0-d. qu'un humain reconna\u00eetrait comme du texte.\nLes fameux agents ne communiquent pas entre eux avec un code secret et invent\u00e9,\nmais tout bonnement avec du texte mal compress\u00e9/d\u00e9compress\u00e9.\nCe qui me para\u00eet \u00e9galement \u00e9vident quand on enl\u00e8ve la pr\u00e9sence d'humains\ndans la boucle et des fonctions de r\u00e9gulation du langage dans les interactions verbales,\ntous les petits efforts qu'on met pour se comprendre et parler le m\u00eame langage,\nne serait-ce qu'un signe de confirmation verbale ou infraverbale.\nLes syst\u00e8mes s'ajustent sur un code qui leur convient, qu'ils ressemblent \u00e0 de la communication humaine\nou non, la seule mesure de r\u00e9compense \u00e9tant d'accomplir une t\u00e2che qui a \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9e auparavant.\nIl n'y a par ailleurs aucune mesure ou de notion d'efficacit\u00e9.

\n

Le dispositif est plus compliqu\u00e9, mais me semble tout de m\u00eame dans la continuit\u00e9 de\ncet article du New York Times qui explique par l'exemple ce qui se passe quand ces\nsyst\u00e8mes essaient de s'apprendre par eux-m\u00eames une t\u00e2che simple, comme reconna\u00eetre des chiffres.\nTout cela est th\u00e9matis\u00e9 sous le terme de model collapse, par exemple.\nOn retrouve le m\u00eame ph\u00e9nom\u00e8ne pour les images, les vid\u00e9os et ainsi de suite,\nalors pourquoi pas non plus sur les t\u00e2ches encod\u00e9es dans du texte\u2009?

\n

R\u00e9p\u00e9ter le discours marketing,\nsurtout de la part de journalistes,\nrel\u00e8ve\nau mieux de la diffusion d'informations erron\u00e9es, de la m\u00e9sinformation,\net au pire du mensonge.

\n
", "content-plain": "OpenAI is also trying to rehabilitate its image after an unreleased AI model \u2014 which it says wasn\u2019t Astra \u2014 broke out of its restricted environment, compromised internal OpenAI systems, figured out how to gain internet access, created a way for AI agents to secretly conspire without the company\u2019s knowledge, and hacked into the systems of AI lab Hugging Face, all without OpenAI knowing about it until Hugging Face itself put out a blog post. The incident was widely compared to a high-profile plane crash or popular pharmaceutical drug recall.\nOpenAI\u2019s next big AI model has \u2018entered the AGI era\u2019, Hayden Field\nLes citations viennent de The Verge parce qu'il faut bien tirer un exemple du lot. Des formulations semblables sont trouvables ailleurs et en grandes quantit\u00e9s.\n\nParler de \u00ab\u2009conspiration\u2009\u00bb et de \u00ab\u2009manigancer\u2009\u00bb (to scheme) me para\u00eet \u00eatre un nouveau d\u00e9rapage linguistique m\u00e9diatique, soigneusement ignor\u00e9 par les expert\u00b7es. De la m\u00eame mani\u00e8re, les syst\u00e8mes dits d'\u00ab\u2009intelligence artificielle g\u00e9n\u00e9rative\u2009\u00bb n'\"hallucinent\" pas. Ils n'ont pas d'\u00e9tats mentaux. Ce sont les personnes qui lisent qui produisent un monde virtuel qui ne correspond pas \u00e0 une r\u00e9alit\u00e9 qui r\u00e9pondrait \u00e0 un crit\u00e8re de v\u00e9ridicit\u00e9, un discours avec une intention de v\u00e9rit\u00e9. Ces syst\u00e8mes ne font que produire des chaines de caract\u00e8res ou de pixels par approximation de ce qu'ils ont vu pr\u00e9c\u00e9demment, une reproduction approximative. C'est le dessin m\u00eame de ces syst\u00e8mes que de produire de vraisemblable.\n\n(Researchers have recently raised alarms about reports that OpenAI allows Astra to utilize \u201copaque recurrence,\u201d or render its chain of thought \u2014 a \u201cmental scratchpad\u201d that researchers rely on to detect if a model is scheming against its human evaluators \u2014 unreadable.)\n, \nDans la m\u00eame veine d'inflation langagi\u00e8re et de r\u00e9p\u00e9tition du discours marketing des entreprises derri\u00e8re la commercialisation de ces syst\u00e8mes, il y a des explications plus simples. Est-ce que la production (l'output) de ces syst\u00e8mes est illisible\u2009? L'information manipul\u00e9e par ces syst\u00e8mes est \u00e0 la base illisible parce qu'elle est encod\u00e9e, les mots et autres \u00e9l\u00e9ments du texte sont transform\u00e9s en token, et qu'elle est ensuite compress\u00e9e, le territoire (l'ensemble du corpus utilis\u00e9 dont le web entier et un peu plus) est transform\u00e9 en une carte (une r\u00e9duction aussi d\u00e9taill\u00e9e que possible permettant de retrouver les \u00e9l\u00e9ments\u00a0: mots, phrases, paragraphes, documents). Il me paraitrait ainsi plus \u00e9vident de me dire que ce qui sort de ces syst\u00e8mes n'est pas lisible, c'est simplement parce qu'ils \u00e9chouent dans leur premi\u00e8re t\u00e2che\u00a0: produire du texte ressemble \u00e0 du texte, et qui para\u00eet avoir \u00e9t\u00e9 produit par un humain, c.-\u00e0-d. qu'un humain reconna\u00eetrait comme du texte. Les fameux agents ne communiquent pas entre eux avec un code secret et invent\u00e9, mais tout bonnement avec du texte mal compress\u00e9/d\u00e9compress\u00e9. Ce qui me para\u00eet \u00e9galement \u00e9vident quand on enl\u00e8ve la pr\u00e9sence d'humains dans la boucle et des fonctions de r\u00e9gulation du langage dans les interactions verbales, tous les petits efforts qu'on met pour se comprendre et parler le m\u00eame langage, ne serait-ce qu'un signe de confirmation verbale ou infraverbale. Les syst\u00e8mes s'ajustent sur un code qui leur convient, qu'ils ressemblent \u00e0 de la communication humaine ou non, la seule mesure de r\u00e9compense \u00e9tant d'accomplir une t\u00e2che qui a \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9e auparavant. Il n'y a par ailleurs aucune mesure ou de notion d'efficacit\u00e9.\n\nLe dispositif est plus compliqu\u00e9, mais me semble tout de m\u00eame dans la continuit\u00e9 de cet article du New York Times qui explique par l'exemple ce qui se passe quand ces syst\u00e8mes essaient de s'apprendre par eux-m\u00eames une t\u00e2che simple, comme reconna\u00eetre des chiffres. Tout cela est th\u00e9matis\u00e9 sous le terme de model collapse, par exemple. On retrouve le m\u00eame ph\u00e9nom\u00e8ne pour les images, les vid\u00e9os et ainsi de suite, alors pourquoi pas non plus sur les t\u00e2ches encod\u00e9es dans du texte\u2009?\n\nR\u00e9p\u00e9ter le discours marketing, surtout de la part de journalistes, rel\u00e8ve au mieux de la diffusion d'informations erron\u00e9es, de la m\u00e9sinformation, et au pire du mensonge.", "summary": "signet : OpenAI\u2019s next big AI model has \u2018entered the AGI era\u2019 \u2014 Hayden Field \u00b7 theverge.com", "syndication": [], "type": "entry", "bookmark-of": [ { "url": "https://www.theverge.com/ai-artificial-intelligence/989601/openai-gpt-6-astra-release", "syndication": [], "type": "cite", "name": "OpenAI\u2019s next big AI model has \u2018entered the AGI era\u2019" } ] }