La première question que pose l’intelligence artificielle est celle de son intelligence. L’IA renvoie à la question fondamentale de la définition de l’intelligence. Le chercheur français en IA Yann Le Cun estime que le cœur de l’intelligence serait la faculté de prédire. Dans ce cas, l’IA serait très intelligente. En effet, les bases de la programmation des premiers systèmes experts supposent de maîtriser parfaitement un problème et d’avoir une vue précise de toutes les solutions. Mais on peut aussi estimer que l’intelligence serait la faculté de comprendre, si bien que l’IA serait alors très peu intelligente.
Par ailleurs, l’IA suscite beaucoup d’espoirs et d’enthousiasme. Certains imaginent que pourraient exister des machines véritablement plus intelligentes que les humains. De telles machines seraient alors capables de créer d’autres machines encore plus perfectionnées et ainsi de suite. Se produirait une réaction en chaîne de développement de l’intelligence, pendant que l’intelligence humaine stagnerait. Dès lors, la machine ultra intelligente serait la dernière invention de l’homme. Ensuite, il ne lui resterait plus qu’à profiter des progrès constants de la robotique et de l’informatique.
On parle de « singularité » pour désigner le moment où les robots deviendraient supérieurs aux humains. Ce concept est central pour les transhumanistes, qui s'interrogent sur les dangers et les espoirs d’un tel scénario, certains allant jusqu’à envisager l’émergence d’un « dieu » numérique appelé à prendre le contrôle du destin de l’humanité, ou à fusionner avec elle. Pour les transhumanistes, la fusion des hommes et des robots serait l’avenir. L’intelligence non-biologique, beaucoup plus puissante, permettrait l’avènement de cyborgs remplaçant les humains.
Par ailleurs, les progrès de l’intelligence artificielle provoquent des craintes, y compris dans le milieu high-tech. Ces craintes sont d’ailleurs souvent largement surestimées. Des auteurs de science-fiction, mais aussi des scientifiques, imaginent une future perte de contrôle des humains sur le processus technique. L’astrophysicien Stephen Hawking, par exemple, estimait que les machines pourraient devenir un jour plus intelligentes que les humains et en venir à prendre le pouvoir et les dominer, voire se substituer à eux, de la même façon que les humains ont exterminé certaines espèces animales.
Plus pragmatiquement, certaines estimations voient dans l’IA la cause d’un chômage de masse : 50 % des travailleurs pourraient perdre leurs emplois, remplacés par des robots ou autres systèmes informatiques. Cela pourrait même poser, à terme, la question de l’utilité de l'espèce humaine.
En matière juridique, le Parlement européen a posé la question de la création d’une personnalité juridique des robots, permettant de les rendre plus autonomes. En cas de dommage causé à un tiers par une intelligence artificielle, celle-ci pourrait réparer ce dommage. Il serait envisageable de conférer une personnalité électronique à tout robot prenant des décisions autonomes ou interagissant de manière indépendante avec des tiers, au même titre qu’une personne morale et physique.
Un autre problème est l’énorme quantité de ressources rares, de serveurs et d’énergie consommée par l’informatique sous-jacente à l’IA.
