Peu avant leur important événement WWDC, Apple a publié un nouveau document de recherche fascinant qui examine de près la manière dont les principaux modèles d’IA actuels gèrent les problèmes complexes. La conclusion majeure? Même les chatbots IA les plus avancés pourraient ne pas « raisonner » de la manière dont nous l’imaginons, surtout face à des tâches qu’ils n’ont jamais rencontrées auparavant.
Contenu
Cette étude suggère qu’au lieu de véritablement résoudre les problèmes étape par étape comme un humain, l’IA actuelle s’appuie souvent sur la reconnaissance de modèles et d’étapes issus de ses vastes données d’entraînement. Il s’agit davantage d’une mémorisation surpuissante que d’une véritable pensée flexible. C’est une découverte surprenante qui remet en question certaines hypothèses sur les progrès de l’IA sur la voie de l’intelligence vraiment générale.
Ce qu’Apple a testé et pourquoi
Les chercheurs d’Apple voulaient pousser les modèles d’IA au-delà des simples réponses aux questions ou des tâches qu’ils ont probablement rencontrées des millions de fois pendant l’entraînement (comme les calculs de base ou la rédaction d’essais). Ils soupçonnaient que si l’IA peut sembler brillante pour ces tâches familières, elle pourrait avoir du mal avec des défis entièrement nouveaux, basés sur la logique.
Pour tester cela, ils n’ont pas utilisé de problèmes mathématiques typiques. Au lieu de cela, ils se sont tournés vers des énigmes logiques classiques. Pensez à des casse-têtes comme la Tour de Hanoï (déplacer des disques entre des piquets avec des règles), le Saut de dames (sauter par-dessus des dames pour les retirer), le Passage de rivière (faire traverser des objets/personnes une rivière avec des contraintes) et le Monde des blocs (empiler des blocs dans un ordre spécifique). Ces tâches nécessitent de la planification, de l’anticipation et une adaptation aux états changeants – des choses que nous associons au raisonnement.
Illustrations d'énigmes logiques classiques utilisées dans l'étude Apple sur l'IA, incluant la Tour de Hanoï, le Passage de rivière et l'empilage de blocs.
Apple a testé une gamme de modèles d’IA populaires, y compris des modèles bien connus comme des versions de ChatGPT et Claude, dont certains sont spécifiquement commercialisés comme ayant de plus fortes capacités de « raisonnement ». Ils ont fait varier la difficulté des énigmes pour voir comment les IA se comportaient sous pression.
Les résultats surprenants : quand l’IA atteint ses limites
L’étude a révélé que les modèles d’IA s’en sortaient raisonnablement bien sur les versions faciles et moyennes de ces énigmes. Ce n’est pas très surprenant – ils peuvent reconnaître des modèles simples et des étapes de résolution de problèmes courantes qu’ils ont apprises.
Cependant, les choses ont radicalement changé lorsque les énigmes sont devenues vraiment difficiles ou nouvelles. Au lieu d’essayer de résoudre le problème ou de trouver une nouvelle stratégie, les modèles d’IA ont souvent tout simplement… abandonné. Leurs performances n’ont pas diminué progressivement ; elles ont chuté.
Pensez-y ainsi : Si vous montriez à un humain une version légèrement plus difficile d’une énigme qu’il connaît, il passerait probablement plus de temps à réfléchir, essayant peut-être différentes approches. L’IA, selon les tests d’Apple, arrêtait souvent de produire des étapes utiles ou donnait des réponses incorrectes qui montraient une incompréhension totale des règles de l’énigme à des niveaux de complexité plus élevés.
Cet effondrement de la précision suggère qu’ils ne raisonnent pas véritablement le problème à partir des premiers principes. Ils appliquaient probablement des modèles de solutions mémorisés à partir de leurs données d’entraînement. Lorsque l’énigme s’écartait trop de tout ce qu’ils avaient vu, ils étaient perdus.
Graphique comparatif montrant les niveaux de précision de différents modèles d'IA (LLM et LRM) sur des tâches d'énigmes faciles, moyennes et difficiles. La précision chute brusquement à mesure que la difficulté augmente.
Cela implique que les performances impressionnantes de l’IA actuelle proviennent souvent de la reconnaissance de modèles et du rappel de solutions issues de son vaste entraînement plutôt que d’un raisonnement flexible et adaptable, surtout pour les défis inconnus.
Ce que cela signifie pour vous (et l’avenir de l’IA)
Alors, cela signifie-t-il que votre chatbot IA préféré est inutile ? Pas du tout ! Il reste incroyablement puissant pour les tâches pour lesquelles il a été entraîné – écrire des courriels, résumer des articles, répondre à des questions, aider à coder, et bien plus encore. Pour de nombreuses utilisations quotidiennes, cette « reconnaissance de modèles boostée » fonctionne à merveille.
Cependant, cette étude met en évidence d’importantes limitations. Elle nous apprend que lorsque vous demandez à une IA de résoudre un problème véritablement nouveau, de créer quelque chose d’entièrement inédit basé sur des contraintes complexes, ou de naviguer dans une situation qui ne ressemble à rien de ses données d’entraînement, elle pourrait échouer de manière inattendue.
Le moment de cette étude est également intéressant. Elle arrive juste avant la grande conférence des développeurs d’Apple (WWDC 2025), où ils devraient parler davantage de leurs projets en matière d’IA, potentiellement sous le nom d' »Apple Intelligence ». Bien qu’Apple recherche activement l’IA avancée, ils sont actuellement en retard par rapport à certains concurrents comme OpenAI et Google en ce qui concerne le déploiement des modèles les plus pointus disponibles publiquement.
Certains pourraient voir cette étude comme Apple soulignant les défauts des capacités actuelles de l’IA juste au moment où ils entrent plus significativement sur le ring. D’un autre côté, comprendre ces limitations est crucial pour construire une IA meilleure à l’avenir. Les chercheurs d’Apple espèrent que des études comme celle-ci pousseront le domaine vers le développement de modèles qui peuvent véritablement raisonner et s’adapter.
En fin de compte, la recherche d’Apple est un rappel précieux que si l’IA est incroyablement avancée, ce n’est pas encore l’Intelligence Artificielle Générale (AGI) – le type d’IA qui peut penser, apprendre et s’adapter comme un humain à travers un large éventail de tâches, y compris celles qu’elle n’a jamais rencontrées auparavant. Nous sommes toujours sur ce chemin, et comprendre les angles morts de l’IA actuelle, comme l' »illusion de pensée » que cette étude met en évidence, est une étape clé.