Upscaling

L'upscaling, ou conversion ascendante, est la mise à l'échelle d'une image ou d'une vidéo, pour l'adapter à une définition plus grande que sa définition native.

Il est principalement question d'upscaling dans le domaine de la vidéo numérique. Notamment dans les options des téléviseurs HD et des lecteurs DVD et Blu-ray qui consistent à adapter une image de définition standard (SDTV) sur un écran haute définition.

Principe de base et upscaling « artificiel »

Le principe de base de l'upscaling est la duplication des pixels qui constituent l'image. Ils sont dupliqués afin d'obtenir la définition — plus grande — demandée, le nombre de duplications dépend de la différence entre la définition native de l'image et la définition d'affichage voulue.

Le problème dans ce principe de base est que si chaque pixel dupliqué est un clone parfait du pixel d'origine avec les mêmes valeurs de luminosité et de couleur, le résultat obtenu est celui d'un zoom numérique : chaque pixel paraîtra de plus en plus gros et le résultat sera une image moins détaillée, moins nette et parfois une image un peu « pixelisée » quand l'upscaling sera trop élevé. Dans le cas d'un « petit upscaling », l'effet ne se voit pas trop mais quand la différence de définition est trop importante entre l'image d'origine et la définition d'affichage, l'image obtenue n'est pas très belle sauf si elle est regardée de loin.

C'est là qu'interviennent les algorithmes d'upscaling effectués par les TV HD et les lecteurs DVD et Blu-ray. Ces algorithmes consistent à recréer des nuances de lumières et de couleurs entre les pixels dupliqués pour ne plus avoir cet effet de gros pixels. La difficulté de ces algorithmes est de savoir quels pixels on doit garder brut et quels sont ceux qu'il faut nuancer et dans quelle proportion. On peut alors parler d'upscaling « artificiel »^{[réf. souhaitée]}.

Les techniques

Upscaling basique

Les pixels sont simplement dupliqués afin d'obtenir la définition plus grande demandée, le nombre de duplications dépend de la différence entre la définition native de l'image et la définition d'affichage voulue. Cette technique est similaire à un simple « zoom numérique » et atteint très vite ses limites : images avec un effet de « gros pixels » (« images pixelisées »).

Upscaling par interpolation

L’image est complétée avec les pixels manquants pour augmenter la définition, en faisant des « moyennes » par interpolation entre les pixels. Le résultat de cette technique peut être acceptable dans le cas de petit upscaling où la différence entre la définition de départ et la définition supérieure voulue est faible. Mais on se retrouve cependant face à des défauts dans l’image : effets de flou, artefacts visuels, bruit dans l’image… Et plus l'écart entre la définition d'origine et la définition supérieure voulue est grand, plus ces effets vont s'accentuer. Cette technique est utilisée notamment sur les TV HD et lecteurs DVD/Blu-Ray des années 2000 et 2010.

Technique de la super-résolution

La technique de la « super-résolution » consiste à analyser plusieurs images d'un même plan vidéo mais ayant un angle de vue légèrement différent, le logiciel qui analyse va alors enregistrer et comparer toutes ces données pour essayer de reconstituer une image de définition supérieure fidèle à la réalité. L'inconvénient de cette technique est que lorsqu'il s'agit d'images ou de vidéos qui ont été compressées avec pertes (JPEG, MPEG), ce qui est le cas de beaucoup d'archives, plus la compression a été forte sur ces images, plus ce système aura du mal à être efficace.

Upscaling par l'intelligence artificielle

Il s'agit du procédé le plus récent. Lorsque le procédé d'upscaling implique une intelligence artificielle, la démarche est plus poussée, des algorithmes poussés sont mis à contribution pour analyser les images et recréer des pixels.

L'objectif principal de cette technique est de convertir une image dans une définition supérieure en essayant d'atteindre une image la plus proche possible de ce qu'aurait été l'image initiale si elle avait été captée nativement dans cette définition supérieure.

Mais cette technologie offre aussi d'autres possibilités comme : « réparer » des défauts visuels, dus par exemple à une compression avec perte ou au format entrelacé de la vidéo d'origine, elle permet aussi d'augmenter le nombre d'images par seconde dans une vidéo en recréant les images manquantes.

Le système se base notamment sur l'apprentissage, pour « s'entraîner » il reçoit par exemple des images haute définition volontairement diminuées en définition ou dégradées, classées par catégories (texture bâtiment, eau, etc.) et des algorithmes vont faire des tests complexes statistiques pour recréer les pixels manquants et arriver à l'image originale haute définition, le système va alors « retenir » les moyens qu'il a utilisés pour revenir à l'image originale et va s'en inspirer pour upscaler d'autres nouvelles images, contenant le même type d'élément.

L'upscaling par intelligence artificielle peut aussi combiner plusieurs techniques (IA, super-résolution, etc.).