Qui a essayé le logiciel open source de débruitage burst photo?

alain_gre · Octobre 14, 2022, 8:12

Bonjour

Suite à lecture de cet article

J’ai voulu voir le projet GitHub - martin-marek/hdr-plus-swift: Night mode on any camera. Based on HDR+. qui si j’ai bien compris est un portage d’une application (hdr+) disponible sur les smartphone googlepixel

Malheureusement je n’ai pas de machine qui tourne sous mac ni de google pixel sous la main
Quelqu’un(e) l’aurait 'il testé ?

L’approche de HDR+ n’est pas un celui d’un braketing d’expostion mais la fusion d’une rafale d’image à exposition constante d’après ce que j’ai pu comprendre avec google translate :

les caméras des téléphones ont de petites ouvertures, ce qui limite le nombre
de photons qu’ils peuvent recueillir, conduisant à des images bruitées en basse lumière.
Ils ont également de petits pixels de capteur, ce qui limite le nombre de
électrons que chaque pixel peut stocker, ce qui entraîne une plage dynamique limitée. nous
décrire un pipeline de photographie informatique qui capture, aligne,
et fusionne une rafale d’images pour réduire le bruit et augmenter la dynamique
intervalle. Notre système possède plusieurs caractéristiques clés qui contribuent à le rendre robuste
et efficace. Premièrement, nous n’utilisons pas d’expositions entre crochets. Au lieu,
nous capturons des cadres d’exposition constante, ce qui rend l’alignement
plus robuste, et nous avons réglé cette exposition suffisamment bas pour éviter de souffler
sur les faits saillants. L’image fusionnée résultante a des ombres nettes et
profondeur de bits élevée, nous permettant d’appliquer un mappage de tonalité HDR standard
méthodes. Deuxièmement, nous partons des images brutes de Bayer plutôt que
les trames RVB (ou YUV) dématricées produites par le matériel
Processeurs de signal d’image (FAI) courants sur les plates-formes mobiles. Cette
nous donne plus de bits par pixel et nous permet de contourner les FAI
cartographie des tons indésirables et débruitage spatial. Troisièmement, nous utilisons un roman
Algorithme d’alignement basé sur FFT et filtre de Wiener hybride 2D/3D
pour débruiter et fusionner les images en une rafale. Notre mise en œuvre
est construit sur l’API Camera2 d’Android, qui fournit par image
le contrôle de la caméra et l’accès aux images brutes, et est écrit dans le
Langage halogéné spécifique au domaine (DSL). Il tourne en 4 secondes sur
périphérique (pour une image de 12 Mpix), ne nécessite aucune intervention de l’utilisateur, et
Expédié sur plusieurs téléphones portables produits en série

Jaco · Octobre 15, 2022, 12:20

Itou pas de MAC
Par contre j’ai un Google Pixel.

Effectivement ce que Google appelle HDR+ est bien comme tu le présentes.
En fait ça revient un peu à faire une pause longue en contournant le flou résultant du bougé par réalignement des diverses prises de vue faite en rafale, jusqu’à 15 sur mon Pixel4.
Même à main levée, il faut quand même un appuis, table, rebord de fenêtre ou tout autre, mais couplé à la stabilisation c’est assez bluffant.

Ceci dit on a donc une photo prise dans les meilleures conditions pour que le bruit soit minimisé.
D’autant que le Pixel fait le choix de son temps de pose.
Pour peu que le capteur du Pixel soit ISO invariant, il a même intérêt à monter en ISO pour minimiser le bruit, si, si, monter en ISO peut réduire le bruit.
Hors dans cet exercice HDR+ le Pixel augmente le temps de pose donc le signal devient la somme du signal des images empilées.

Et oui car le bruit est toujours là, y compris à la valeur ISO native du capteur, il commence à apparaître quand le signal devient faible par rapport à lui, pas nécessairement quant-on monte en ISO… C’est le rapport signal bruit qui compte.

Exemple crop 100% à 200 ISO et 12800 ISO d’un coin de radiateur avec un Fuji X-E3, les deux à F/2.8 et 1/15s, pas de correction de bruit, seule l’exposition est corrigée pour obtenir la même luminance (voir les exifs au besoin).

Au résultat mon Pixel4 sort des dng relativement peu bruités quand le HDR+ est activé, mode nuit par exemple. Donc facile à débruiter. Certes il le fait très bien, mais les algorithmes de réduction de bruit de ART, encore mieux de darktable le font aussi fingers in the nose.

Si je comprends bien Brust Photo prends en charge l’empilement / le réalignement / la fusion de X images à lui fournir en entrée, ce n’est donc pas une appli pour réduire le bruit sur une seule image.
Une tâche que sait faire diverses applis multiplate-forme, hugin par exemple.

Sinon aura le même résultat en une seule prise de vue… sous condition d’avoir un trépied et en réglant son triangle d’expo pour le contexte, laisser le temps aux photons de bien faire monter le signal sur les photosites tout en utilisant la sensibilité optimale de vos capteurs.

Ce billet vous dit comment.

alain_gre · Octobre 15, 2022, 8:34

Merci pour ce commentaire très instructif.

Je relisais un article d’aurérien Pierre sur “l’arnaque des pixels” qui évoque entre autre l’empilement des images comme une “vieille méthode” de réduction du bruit :

Extrait ;

“En gros, le bruit numérique est un phénomène aléatoire, qui affecte des pixels isolés sans forcément affecter leurs voisins. Si je photographie 2 fois la même scène, je n’aurai pas deux fois les mêmes pixels bruités. Cette propriété est à l’origine d’une vieille méthode de débruitage, rudimentaire mais très efficace, qui consiste donc à prendre plusieurs clichés de la même scène, et à superposer les clichés (dans différents calques sur Photoshop, par exemple) en moyennant les valeurs des pixels entre eux. Ça marche bien, tant qu’on n’a pas de sujet mobile dans l’image, auquel cas cette méthode produit des « fantômes ».”

Source L'arnaque des mégapixels… ou pas - Aurélien PIERRE, Photographe