Cet article, fondé principalement sur une enquête de terrain mené dans deux Maisons départementales des personnes handicapées (MDPH), interroge la notion de handicap via la reconnaissance de la qualité de travailleur handicapé (RQTH). La confrontation d’observations et d’entretiens avec les professionnels chargés d’étudier les dossiers et d’entretiens menés avec des demandeurs aboutit à mettre en lumière des décalages importants dans les manières de percevoir les enjeux et la notion de handicap elle-même. Ainsi, les professionnels cherchent à consolider et à protéger le champ du handicap en surveillant particulièrement deux frontières qui séparent l’aptitude amoindrie au travail de ses marges : l’inaptitude d’une part, l’aptitude normale d’autre part. Les candidats au statut de travailleur handicapé, eux, ne sont paradoxalement pas forcément dans une recherche de reconnaissance d’un handicap. Les raisons de leurs démarches varient en fonction de leur position par rapport à l’emploi et dans leur parcours de vie. L’article analyse les effets sociaux de ces décalages, qui dépendent du milieu social mais aussi du contexte local. Pris dans la tension entre droit au travail et droit au non-travail, le champ du handicap se révèle un bon angle d’attaque pour saisir plus largement les transformations contemporaines de la question sociale.