Un retrait de permis de conduire n’est pas une notion juridique. L’idée est de priver le conducteur du droit de conduire à titre définitif ou seulement pour une durée limitée.

Ainsi, juridiquement, la notion de retrait du permis de conduire s’analyse soit en une rétention, soit en une suspension, soit en une annulation du permis de conduire.

Dans le langage courant, le retrait fait le plus souvent référence à la rétention administrative du permis de conduire. La rétention est le fait pour les forces de l’ordre d’exiger la remise immédiate par le conducteur de son permis de conduire. Les autorités remettent au conducteur un avis de rétention sur lequel est indiquée l’adresse du service auprès duquel le conducteur pourra récupérer son permis de conduire.

La rétention n’est possible que pour certaines infractions :
- le conducteur est en état d’ivresse (ivresse manifeste ou avec un taux de supérieur ou égal à 0.80g par litre de sang ou 0.40mg par litre d'air expiré),
- lorsqu'il refuse de se soumettre à un contrôle d'alcoolémie,
- lorsqu’il est sous l’emprise de stupéfiants ou refuse de se soumettre à un contrôle des stupéfiants,
- lors d’un excès de vitesse supérieur ou égal à 40km/h de la vitesse maximale autorisée,
- la conduite en tenant un téléphone lorsqu'elle s'accompagne de l'une ou plusieurs des infractions suivantes : positionnement du véhicule sur la chaussée, usage du clignotant, non-respect des distances de sécurité, franchissement des lignes continues, non-respect des feux tricolores, non respect des limitations de vitesse, règles de dépassement, refus de priorité aux autres véhicules et aux piétons,
- refus d'obtempérer,
- certaines infractions routières ayant entraîné la mort d'une personne.

La rétention administrative du permis de conduire ne peut excéder une durée maximale de 72 heures (120 heures si le délit concerne l'alcool ou les stupéfiants). Le préfet est alors informé de la mesure et dispose de ce même délai pour décider d’une éventuelle suspension du permis de conduire dont la durée maximale ne peut être supérieure à 6 mois, sauf si une personne est décédée ou dans l'incapacité de travailler, si l'infraction est une conduite sous l'empire d'un état alcoolique ou en cas de délit de fuite. À défaut, le permis est restitué au conducteur.

Le juge pénal peut être saisi parallèlement à l’infraction commise par le conducteur. Dans ce cas, la décision du juge pénal rendra caduque la mesure prise par le préfet (la décision judiciaire prévaut à la décision administrative). Si le juge pénal n’a pas rendu sa décision dans le délai, le permis devra être restitué au conducteur.

Le conducteur qui souhaite contester une décision de rétention ou de suspension du permis de conduire doit saisir le tribunal administratif. Il faut noter que les délais de procédure devant les tribunaux sont longs. Il peut donc être judicieux pour le conducteur de faire parallèlement un référé suspension. Il s’agit d’une procédure d’urgence dont la finalité est de suspendre les effets d’une décision administrative ; il va permettre au conducteur, si le référé est accordé, de récupérer son permis de conduire le temps de la procédure.

Il ne faut pas confondre retrait de permis et annulation de permis. L’annulation est une sanction judiciaire prononcée par un juge. Le permis est alors retiré de façon définitive. Cette peine est assortie systématiquement d’une interdiction de se présenter à un examen de conduite pendant une durée de 3 ans minimum. Le conducteur peut effectuer un recours contre la décision d'annulation devant la cour d’appel dans un délai de 10 jours à compter du jugement ou de sa signification le cas échéant.

Attention : l’annulation peut également intervenir sur décision de l’autorité administrative lorsqu’il apparaît que le solde de points du permis de conduire est nul. Dans ce cas, un recours sera possible devant le tribunal administratif.

Le fait de refuser de remettre son permis de conduire aux autorités après la notification de rétention est passible d’une peine maximale de 2 ans d’emprisonnement et de 4500€ d’amende.