Les réseaux neuronaux sont construits sur un paradigme biologique, celui du neurone formel (comme les algorithmes génétiques le sont sur la sélection naturelle). Fin des années 1950, des neurologues ont constitué un modèle simplifié de neurone biologique communément appelé « neurone formel » où ils expliquent que des réseaux de neurones formels simples peuvent théoriquement réaliser des fonctions logiques, arithmétiques et symboliques complexes. Le neurone formel est conçu comme un automate doté d'une fonction de transfert qui transforme ses entrées en sortie selon des règles précises. Les neurones sont associés en réseaux dont la topologie des connexions est variable (réseaux proactifs, récurrents, etc.). L’efficacité de la transmission des signaux d'un neurone à l'autre peut varier, on parle de « poids synaptique » qui peuvent être modulés par des règles d'apprentissage.
Une fonction des réseaux de neurones formels, à l’instar du modèle vivant, est d'opérer rapidement des classifications et d'apprendre à les améliorer. À l’opposé des méthodes traditionnelles de résolution informatique, on ne doit pas construire un programme pas à pas en fonction de la compréhension de celui-ci. Les paramètres importants de ce modèle sont les coefficients synaptiques et le seuil de chaque neurone, et la façon de les ajuster. Ce sont eux qui déterminent l'évolution du réseau en fonction de ses informations d'entrée. Il faut choisir un mécanisme permettant de les calculer et de les faire converger si possible vers une valeur assurant une classification aussi proche que possible de l'optimale. C’est ce qu'on nomme la phase d’apprentissage du réseau.
Mais ce n’est qu’en 1949 que les travaux sur l’apprentissage ont apporté un début de réponse sur la méthode qui permet d’adapter les coefficients synaptiques au travers d’une règle simple qui permet de modifier la valeur des coefficients synaptiques en fonction de l’activité des unités qu’ils relient. Cette règle aujourd’hui connue sous le nom de « règle de Hebb » est presque partout présente dans les modèles actuels, même les plus sophistiqués. C’est à partir des réflexions sur cette méthode qu’en 1957, le modèle du Perceptron montra le bout de son nez. C’est le premier système artificiel capable d’apprendre par expérience, y compris lorsque son instructeur commet quelques erreurs (ce en quoi il diffère nettement d’un système d’apprentissage logique formel).
Mais en 1969, un ouvrage de Marvin Lee Minsky et Seymour Papert met en exergue quelques limitations théoriques du Perceptron, et plus généralement des classifieurs linéaires, notamment l’impossibilité de traiter des problèmes non linéaires ou de connexité, ce qui porta un coup grave à la communauté scientifique gravitant autour des réseaux de neurones. La recherche sur les réseaux de neurones perdit une grande partie de ses financements publics pendant plus d’une dizaine d’années. Ce n’est qu’en 1982 qu’un physicien reconnu (John Joseph Hopfield) donna un nouveau souffle au neuronal en publiant un article introduisant un nouveau modèle de réseau de neurones (complètement récurrent). Le neuronal redevint un sujet d’étude acceptable, bien que son modèle souffrît des principales limitations des modèles des années 1960, notamment l’impossibilité de traiter les problèmes non-linéaires. À la même date, les approches algorithmiques de l’intelligence artificielle furent l’objet de désillusion, leurs applications ne répondant pas aux attentes. Cette désillusion motiva une réorientation des recherches en intelligence artificielle vers les réseaux de neurones. La recherche fut relancée et l’industrie reprit quelque intérêt au neuronal.
En 1986, une révolution survient alors dans le domaine des réseaux de neurones artificiels. Une nouvelle génération de réseaux de neurones, capables de traiter avec succès des phénomènes non-linéaires apparait : le perceptron multicouche qui repose sur la rétropropagation du gradient de l’erreur dans des systèmes à plusieurs couches. Les réseaux de neurones ont par la suite connu un essor considérable, et ont fait partie des premiers systèmes à bénéficier de l’éclairage de la théorie de la « régularisation statistique ».