Différentes définitions sont utilisées pour caractériser les espèces actuelles et fossiles. Chacune possède un domaine d'application limité.
Les critères biologiques
Ce groupe de critères, bien que le plus connu, n’est pas applicable à l’ensemble du monde vivant.
L'espèce est identifiée comme un groupe de populations naturelles potentiellement ou réellement interféconds, qui sont reproductivement isolés d’autres groupes semblables (Mayr 1942). Mayr y a plus tard ajouté la notion de niche écologique commune.
Ce critère est l'un de ceux retenus au programme, avec quelques modifications : la définition parle d’ensemble d’individus, et y a été ajouté un critère de ressemblance, pour tenir compte des cas où les tests d’hybridation seraient totalement impossibles.
Mais il existe un certain nombre de limites à l’application de ce critère aux organismes vivants. Certaines de ces limites sont d’ordre pratique : la faisabilité de croisements en conditions de laboratoire n’indique pas forcément l’existence de flux géniques dans la nature, où les mécanismes d’isolement peuvent s’être mis en place (sélection contre les hybrides, par exemple, ou différences dans les comportements lors de la reproduction). Réciproquement, l’échec de croisements en laboratoire peut être dû à des conditions inadéquates, même si des croisements se font en milieu naturel.
D’autres limites sont dues aux organismes eux-même. Si ce concept fonctionne bien chez certains groupes à reproduction sexuée tels la majorité des vertébrés et des insectes, il existe de nombreux groupes où la biologie des organismes la rend nettement moins utile. Dans certains groupes, où il n’y a pas d’échanges de matériels génétique entre les individus (organismes à reproduction clonale), chaque individu, selon la définition, représenterait une espèce. Dans d’autres groupes, il y a au contraire des échanges de matériel génétique entre des entités très distinctes, et interfécondité plus ou moins complète, ce qui conduirait à regrouper des organismes très divers (cela concerne un grand nombre de plantes à fleurs, de bactéries…)
Le critère morphologique
Cependant, les critères biologiques de l’espèce, s’ils sont applicables pour certains organismes, ne sont que rarement employés pour l’identification et la taxinomie, pour des raisons pratiques. Dans la plupart des cas, il est impossible d’appliquer le critère précédent du fait de difficultés de manipulation (limites pratiques) : reproduction complexe ou non maîtrisée, quantité de croisements à tester irréaliste, impossibilité de faire les croisements (fossiles).
Ces difficultés ont conduit à la formulation d’un critère morphologique, délimitant une espèce comme un groupe d’individus partageant des caractères diagnostiques propres (« une ressemblance », programme de Terminale) à l’exclusion d'autres groupes semblables. Ce critère peut rencontrer des problèmes lorsque les différences entre deux groupes pourtant isolés sont indétectables (espèces jumelles) ou qu'il y a de très fortes différences entre les individus d'une même espèce (fort dimorphisme sexuel, par exemple).
Le critère phylogénétique
Il s'agit cette fois de tester directement si des échanges génétiques ont lieu ou pas entre différents lignées (si les flux généalogiques sont interrompus ou pas), par l’étude de plusieurs marqueurs moléculaires. Cependant, il faut retenir que l’absence de transfert de matériel génétique n’indique pas que celui-ci est devenu impossible physiologiquement, mais simplement qu’il n’a pas lieu dans les conditions actuelles (barrière physique ou comportementale, par exemple), ou que l’on n’a pas échantillonné suffisamment les populations concernées pour en découvrir les croisements.
Le cas des bactéries
De très nombreuses bactéries sont capables d’échanger de l’information génétique avec des groupes de bactéries très éloignées, voire de récupérer de l’ADN libre dans le milieu. L’espèce bactérienne est généralement identifiée comme une population de cellules aux caractéristiques similaires (Tortora et al. 1995), mais il existe également des définitions plutôt du type espèce phylogénétique. Peuvent être employées comme caractéristiques des propriétés comme des réactions biochimiques, la composition chimique, les structures cellulaires, ou des caractéristiques génétiques ou immunologiques... Ce critère se rapproche du critère morphologique.