Lorsque vous avez découvert Photoshop il y a quelques années, comme tout le monde, vous vous êtes précipités sur les outils brutaux que sont la gomme, le lasso, la baguette magique... Vous avez buriné des images durant de longues nuits, zoomant à 1200 % plus souvent qu’à votre tour, et probablement avez-vous été payés en retour de quelques applaudissements modérés. Ces bidouilles usantes vous ont coûté tellement de crampes au poignet que vous avez enfin décidé de rationaliser votre approche de la retouche d’image. Quand l’objet à capturer refuse de se laisser envelopper par un tracé — cf. « Détourage par tracé » — ou par un filtre d’extraction, il n’y a plus à tortiller : vous devez faire alliance avec les masques, les couches alpha et, peut-être même, les brosses personnalisées.

Le concept de masque (en correspondance directe avec celui de couche alpha) est la bête noire des photoshopistes débutants. Il n’est pourtant pas si difficile à comprendre. Un masque (ou une couche) reflète ce que l’on garde ou ce que l’on rejette d’une image. Moins virtuel qu’une sélection, il la projette comme une silhouette en niveaux de gris. Dès lors, au lieu de travailler vos sélections au corps avec des outils limités et incommodes, vous disposez de tout l’arsenal de Photoshop.

Comment s’opère la transcription d’une sélection en nuances de gris ? En décrétant que le noir représente le rejet absolu (zone non sélectionnée, dite alors masquée) tandis que le blanc indique la sélection pure. Le masque étant par nature attaché à un calque, il traduit en fait les degrés de transparence de ce dernier, pixel par pixel : noir pour la transparence totale (opacité 0 %), blanc pour l’opacité 100 % et toutes nuances intermédiaires à disposition.

Pour bien comprendre le système, ouvrez une image quelconque dans Photoshop, dupliquez-la sur un calque de travail indépendant (Ctrl J) et blanchissez le calque de fond. Sélectionnez votre calque de travail et cliquez sur le bouton « Ajouter un masque de fusion » comme indiqué sur la figure 1 :

Vous voyez alors apparaître, à côté de la vignette du calque, celle du masque de fusion, blanc par défaut, donc laissant l’image intacte (opaque). Cliquez maintenant sur la vignette du masque. Bien que l’interface ne soit pas très explicite à ce sujet, toutes les manettes sont désormais en niveaux de gris. En dessinant sur l’image, vous dessinez en vérité sur son masque. Chaque coup de peinture ou effet quelconque se traduit alors en terme de transparence ou d’opacité. Vérifiez cela en collant un simple dégradé du blanc au noir :

Le blanc qui se découvre progressivement dans le coin inférieur gauche de l’image résultante est celui du calque de fond, car le calque de travail est devenu graduellement transparent, selon les stipulations du masque de fusion.

La vignette du masque n’offre ici qu’une vue grossière de l’opération. Pour visualiser et retoucher le masque en prise directe, sélectionnez la palette Couches. Notez qu’une vignette « Calque Masque » s’est ajoutée à celles des couches RVB. Activez-la et désactivez les autres. Le masque apparaît alors sous les traits d’une couche alpha. C’est ainsi que le dégradé créé plus haut pourra faire l’objet des sévices habituels (peinture, distorsions, bruitage, etc.).

Restons-en là pour la théorie et attaquons-nous à la technique de détourage proprement dit.

Vu de loin, le détourage par masque n’est qu’un perfectionnement du détourage par gomme que pratiquent les grands débutants. Au lieu de raboter frontalement et irrévocablement des zones de l’image, nous peignons sur le masque de fusion en utilisant un jeu de brosses appropriées au contour cible. Les avantages de cette technique sont nombreux : utilisation directe des pinceaux personnalisés, opérations indéfinement réversibles et affinables (ce qu’on a masqué en noir peut toujours être restauré par du blanc), contrôle minutieux des zones d’atténuation relative grâce aux nuances de gris et, surtout, possibilité de corrections globales du masque a posteriori, grâce aux effets de flou gaussien, traitement des contours, bruitage, etc.

Cette immense liberté d’action ne signifie pas pour autant qu’on puisse se dispenser d’une solide planification des tâches. En amont, l’étape cruciale consiste à analyser les contours du sujet et à leur approprier un pinceau de forme et d’échelle équivalentes, tout en s’équipant de bons raccourcis pour le moduler (taille, dureté) selon les caprices de l’image.

À titre d’exemple, nous allons détourer le tigre de la figure 1 — dont la capture par tracé serait invivable eu égard au système pileux de l’animal. Observez (v. figure 3 ci-dessous) la turbulence quasi fractale des zones frontières entre le sujet et le paysage que l’on désire masquer ! Toute l’astuce du détourage par masque est de constituer une enveloppe de texture équivalente, sans pour autant tenter l’impossible délimitation de chaque poil du fauve ! Notre perception de ce type de contour ne réside pas dans le détail mais dans l’intensité du désordre.

Pour feindre cette turbulence, nous choisissons un pinceau de forme bruitée, par exemple un granit, dont nous testons le rendu à l’échelle du contour à créer. S’il vous paraît trop dur ou trop dense, ouvrez la palette Formes (F5) et ajustez les options de formes prédéfinies, notamment sous la rubrique « forme double ». Les possibilités de preset sont légion et dépendent de votre projet, mais il n’est généralement pas souhaitable de créer des virages d’opacité à ce stade puisque vous pourrez les distiller plus tard (lors d’un refaçonnage global du masque).

Pour l’instant, ne vous inquiétez pas du peu de réalisme de cette forme. Assurez-vous simplement qu’elle contient une quantité de bruit similaire à celle qui apparaît aux limites de l’objet à détourer. Si ce dernier présente, selon les zones, des écarts importants de rugosité, réglez votre forme à taille moyenne et prévoyez de la moduler durant le détourage via des raccourcis-clavier : dans Édition › Raccourcis clavier, rubrique « Outils », attribuez des touches directes aux opérations suivantes : diminuer / augmenter l’épaisseur de la forme ; diminuer / augmenter la dureté de la forme. Ce faisant, vous gagnerez un temps appréciable chaque fois que le détourage nécessitera un changement d’échelle ou une découpe moins abrupte (diminution de la dureté du pinceau).

Retenez au passage le raccourci permettant d’échanger couleur de forme et couleur de fond (touche X par défaut), c’est-à-dire le noir (masquage) et le blanc (démasquage).

Une fois votre pinceau soigneusement ébouriffé, amenez l’image-cible sur un calque autonome, greffez-lui un masque de fusion (v. plus haut, fig. 1 et 2) et activez la vignette dudit masque pour commencer le travail. Vérifiez que l’outil pinceau est sélectionné (touche B), avec le noir pour couleur de premier plan et le blanc en fond.

Dessinez alors le contour de votre modèle, sans vous soucier des détails ni même de la qualité apparente du détourage. Faites seulement en sorte que la silhouette générale soit fidèlement enveloppée, avec si besoin un petit renfort de minutie dans les recoins délicats. On « rattrape » aisément les faux plis par un démasquage (X) associé le cas échéant à une réduction de pinceau pour fignoler.

Quand le modèle se présente sur un fond clair — cas le plus simple — on peut obtenir d’emblée un détourage quasi parfait en adoucissant la brosse, ce qui ménage une transition progressive vers les zones masquées sans créer d’effet indésirable (la clarté du fond rend son masquage moins violent). Cependant, si votre objectif est de transporter l’objet au milieu d’une scène plus sombre, la luminosité résiduelle du contour risque de vous parasiter. C’est pourquoi on recommande d’opérer le détourage au-dessus d’un calque de fond de même luminosité que le décor finalement désiré : on anticipe mieux les problèmes.

Quoi qu’il en soit, l’opération est plus laborieuse lorsque le modèle à extraire se mixe subtilement avec son environnement, qu’il soit clair ou obscur, car la découpe casse de façon forcément artificielle la continuité de l’image d’origine. Dans ce cas, masquez franchement le fond lors du détourage et restez confiants dans les raffinements futurs... La figure 5 montre de quoi nous allons nous contenter à cette étape :

Pour le moment, seul le contour du modèle est oblitéré. Nous devons étendre le masque au reste de l’image. On pourrait bien sûr le badigeonner gaiement, mais il semble aussi rapide, puisque le périmètre est bien balisé, de switcher un instant sur la couche alpha et de sélectionner la zone extérieure grâce à la baguette magique. Afin de garantir une couverture complète, étendons cette sélection de quelques pixels (cela dépend de l’épaisseur et de la dureté du pinceau de détourage) avant de noircir la surface :

De retour sur le calque de travail, nous retrouvons notre tigre sur un fond blanc uniforme, mais le contour laisse à désirer. La première mesure qui s’impose est de le déchirer plus sévèrement (Filtre › Esquisse › Contour déchiré...). N’oubliez pas de cliquer sur la vignette du masque avant d’appliquer ce filtre :

Le résultat n’est pas encore gratifiant mais on voit bien que le bruit limitrophe s’approche de la texture voulue. Bien entendu, nous entrons là dans la spécificité du modèle, votre projet pourrait réclamer des soins radicalement différents, tels qu’un adoucissement du contour brut (flou gaussien sur le masque) ou un renforcement de netteté (filtre « Plus net » ou réglage de niveaux). Vous pouvez aussi appliquer localement ces corrections, au moyen des outils « Goutte d’eau » ou « Netteté ». En fait, à partir du moment où vous avez compris la logique du masquage, il ne vous reste qu’à traduire en termes de correction en niveaux de gris toutes les questions posées par le détourage. Votre champ d’action est abyssal.

Dans le cas que nous illustrons, l’objectif est de restaurer une pilosité crédible à partir d’un contour déchiré. Lui appliquer une atténuation légèrement centrifuge n’est pas une mauvaise idée, on opte donc pour un flou radial (je rappelle que nous travaillons, encore et toujours, sur le masque) :

Le pelage du tigre étant inégalement éclairé, le contour obtenu (fig. 8) est plus ou moins réaliste selon les zones de l’image. On affinera notre masque par des retouches locales. J’ai utilisé l’outil « Densité + » pour creuser modérément certaines parties sans perdre en netteté, puis j’ai posé quelques effets gouttes d’eau ici et là pour casser la rigueur du détourage, j’ai enfin, subrepticement, étiré quelques poils vers l’extérieur (grâce à l’outil « Doigt » réglé à ultrafin). Je vous laisse imaginer bien d’autres distorsions...

Une fois détaché de son univers d’origine, un sujet détouré sera généralement malaxé, métamorphosé et repositionné selon des objectifs et des élans créatifs qui dépassent amplement le cadre de cet article. Un principe salutaire néanmoins : conservez le masque de détourage jusqu’à la validation finale du projet. Chez les retouchistes, le repentir est pour ainsi dire un instrument de travail, alors il est indispensable de garder la main sur les chutes.

Insistons sur les contraintes d’éclairage de la scène finale. Les mutations du décor, durant d’infinis tâtonnements, influencent dans des proportions imprévisibles la luminosité requise aux frontières du modèle. Il peut s’agir de le flouter ou de le renforcer ici ou là. Dans cet exercice, j’ai voulu simuler la présence de plusieurs sources lumineuses derrière le sujet et introduire un brin de surnaturel, ce qui m’a conduit à « rééclairer » une section importante de la silhouette tout en estompant d’autres recoins. Le retraitement du masque s’est alors révélé aussi important que les effets ajoutés à l’image, ces derniers reposant essentiellement sur les outils de type « Densité » et les modes de fusion des calques en présence.

Le reste, à vous de l’inventer.