Les statistiques n’ont pas de raison d’être sans un domaine d’application, leur pratique varie selon celui-ci. Émile Durkheim fonde son étude du suicide sur l’analyse des variations de taux de suicide dans diverses populations et Maurice Halbwachs s’interroge sur la régularité du rapport entre les naissances de garçons et de filles... Les chercheurs en attendent scientificité et objectivité.
Le mot statistiques, au pluriel, est apparu au XVIIIe siècle pour désigner des quantités numériques : des tables ou états, issus de techniques de dénombrement et décrivant les ressources économiques (impôts...), la situation démographique (conscription...), d’un pays.
La Statistique est une sous-discipline des Mathématiques qui s’est développée depuis la fin du XIXe siècle notamment à la suite des travaux de l’école anglaise (K. Pearson, W. Gosset (Student), R. Fisher, J. Neyman...). Une statistique est une quantité définie par rapport à un modèle (i.e. une statistique de test) permettant d’inférer sur son comportement dans une situation expérimentale donnée.
Le terme statistique désigne à la fois :
- l'ensemble des données numériques concernant une catégorie de faits (sens très ancien). Le mot a d'abord été introduit pour caractériser les études méthodiques des faits sociaux avec des procédés numériques destinés à renseigner les gouvernants (recensements, dénombrements, inventaires...). Il s'agit de l'expression dans sa signification la plus usuelle : « la statistique du chômage en 1990 », « la statistique des investissements japonais en France »...
- l'ensemble des méthodes mathématiques permettant : a) de résumer quantitativement l'information recueillie sur un ensemble d'éléments au moyen d'une investigation exhaustive. C'est la statistique descriptive ; b) de généraliser à de grands ensembles d'éléments les conclusions issues des résultats obtenus avec des ensembles beaucoup plus restreints appelés échantillons. C'est la statistique inférentielle ou probabiliste.
Il est donc possible de classer les méthodes statistiques classiques en deux groupes : celui des méthodes descriptives, celui des méthodes inférentielles.