Restoration of greening defects in digitised autochromes using AI

Here you can use the "De-greening Tool", produced as part of the PERCEIVE project by Fraunhofer IGD.

The "De-Greening Tool" allows users to transition, using a sliding mechanism, between an autochrome image exhibiting damage in the form of green staining, or “greening”, and an autochrome image which has been digitally restored to remove this damage via Artificial Intelligence (AI).

The Autochrome Lumière

The Autochrome Lumière is considered the first successful colour photography process and is therefore a significant invention in the history of photography. Autochrome plates consist of a silver gelatin layer, which creates the image, and a colour filter layer, responsible for the appearance of colour in the photographic image. The colour filter layer comprises thousands of miniscule potato starch granules dyed red, green and blue.

Today we understand that autochromes are incredibly fragile and light sensitive, susceptible to colour changes and damage via issues including greening, cracks and orange spotting. When autochromes are damaged, this cannot be easily reversed or repaired. As part of PERCEIVE, we are training AI models to restore images of autochrome plates which exhibit greening defects.

Greening and green spotting is characterised by green areas or green spots on the autochrome plate. The historic dyes used to colour starch granules in autochromes are water sensitive. The green dye is particularly vulnerable and can bleed into other areas of the image if moisture is able to penetrate the plate, causing the greening defect. In serious cases, the entire image can become unreadable.

Given this damage cannot be easily reversed in physical autochrome plates, we proposed using AI models to digitally restore images of digitised autochromes which exhibit greening.

In order to train AI models to restore these autochrome images, we first need to simulate the greening defect, something we refer to as a synthetic defect.

Why do we need to do this?

Synthetic generation of greening defects

To train our restoration models, we require reference, or "ground-truth", images of autochromes where the greening defect has been restored. As these do not exist, we used image processing technologies to generate greening defects synthetically in pre-existing digitised autochrome images which do not already exhibit greening defects.

We did this by first analysing autochromes exhibiting genuine greening defects to gain a better understanding of how these defects appear. We found that these defects typically manifest as small, circular stains or as broader areas where the dyes have leaked across the image. We reproduced these defects, in their form, colour and randomness, on digitised autochromes which did not exhibit the greening defect in their original form. In doing so, we produced a large, sectionerse set of images bearing realistic-looking green marks (Figures 1 and 2) that we can use to effectively train our restoration networks.

How can we use these images, bearing synthetic greening defects, to train AI?

Training of the deep learning network

To train our restoration network to remove greening defects in autochromes, we first generated hundreds of paired examples. These consist of a synthetically "damaged" autochrome and its non-damaged pair - the original autochrome.

During training, the AI network views the pairs of autochrome images featuring one original, un-damaged autochrome and the matching synthetically damaged autochrome. The network recognises the two plates and works to edit the synthetically damaged autochrome to make it resemble the original undamaged autochrome image.

Over time, the network learns to reduce the differences between digitally restored image and the original, undamaged autochrome, increasing its capacity to recognise and erase greening and green spotting while preserving the details and aesthetic quality of the original autochrome image.

To evaluate the network’s success, we presented the system with autochrome images which featured greening defects that the system had never seen before. This demonstrated that the network is able to recognize and digitally restore autochromes which feature original, historic greening damage (figures 3a and 3b; figures 4a and 4b).

A further step involves the digital “in-painting” of autochromes which have had been “de-greened”. When digitally restored, the “de-greened” area can appear pale or “off-colour”. Using hundreds of undamaged autochromes, we trained the network to understand the unique colour palette and texture of the autochrome. Based on this training, the network is able to inpaint those areas digitally “de-greened” so that they more closely resemble the colour and texture of an autochrome (figure 5).

Through this process, we have produced a means of digitally restoring autochromes to enable us to perceive what the undamaged autochrome may have originally appeared.

Fjerning av grønne flekker på digitaliserte autokromer ved hjelp av KI

Her kan du prøve PERCEIVE-prosjektets verktøy for å fjerne grønne feil. Verktøyet er produsert av Fraunhofer IGD.

Ved å bruke dette verktøyet kan du veksle mellom et autokrom-bilde med grønne skader og et som er digitalt restaurert ved hjelp av en glidebryter. Skadene blir fjernet med kunstig intelligens (KI).

Autochrome Lumière

Autochrome Lumière regnes som den første vellykkede fargefotografi-prosessen, og er en viktig oppfinnelse i fotografiets historie. Autokromplatene består av et sølvgelatinlag som lager bildet og et fargefilterlag som skaper fargene i fotografiet. Fargefilterlaget består av tusenvis av bittesmå potetstivelseskorn som er farget røde, grønne og blå.

I dag vet vi at autokromene er skjøre, lysfølsomme, og ofte blir utsatt for fargeendringer og skader som grønnfarging, sprekker og oransje flekker. Når autokromene blir skadet er det vanskelig å reversere eller reparere skaden. Som en del av PERCEIVE trener vi KI-modeller til å restaurere bilder av autokromplater med feil i form av grønne flekker.

Grønnfarging og grønne flekker kjennetegnes av grønne områder på autokromplaten. De historiske fargestoffene som ble brukt til å farge stivelseskornene i autokromene er følsomme for vann. Det grønne fargestoffet er særlig sårbart og kan blø over i andre områder av bildet dersom fuktighet trenger inn i platen. I alvorlige tilfeller kan hele bildet bli ødelagt.

Siden denne skaden vanskelig lar seg reversere på de fysiske autokromplatene, ble det foreslått å bruke KI-modeller for å reparere bilder av digitaliserte autokromer med denne typen feil.

For å trene KI-modellene måtte vi først simulere feilen. Dette kaller vi å lage en «kunstig feil».

Hvorfor måtte vi gjøre dette?

Kunstig framstilling av grønnfargingsfeil

For å trene restaureringsmodellene må vi ha referansebilder, eller grunnlagsbilder, av autokromer hvor grønne feil har blitt rettet opp. Siden disse ikke finnes i virkeligheten brukte vi billedbehandlingsteknologi for å generere grønnfarging på eksisterende, digitaliserte autokrombilder.

Vi gjorde dette ved å analysere autokromer som har ekte grønnfargingsfeil, for å få en bedre forståelse av hvordan de oppstår. Vi fant ut at disse feilene vanligvis dukker opp som små, runde flekker eller som bredere felt hvor fargestoffene har lekket utover bildet. Vi reproduserte disse feilene i form, farge og tilfeldighet på digitaliserte autokromer som ikke hadde grønne feil. På denne måten lagde vi et stort og variert sett med bilder som hadde realistiske grønne flekker (fig. 1 og 2), og som kunne brukes til å effektivt trene restaureringsnettverkene våre.

Hvordan kan vi bruke bilder med kunstige grønne feil til å trene KI?

Trening av dype nevrale nettverk

For å trene restaureringsnettverket til å fjerne grønne defekter, genererte vi først hundrevis av parvise eksempler bestående av et skapt og «skadet» autokrom, og en uskadd tvilling – det originale autokromet.

Under opplæringen ser KI-nettverket på autokromparene som inneholder et originalt, uskadet autokrom, og det kunstig skadde autokromet. Nettverket kjenner igjen de to platene og redigerer det kunstig skadde autokromet for å få det til å ligne på det originale, uskadde autokrombildet.

Over tid lærer nettverket seg å redusere forskjellene mellom det digitalt restaurerte bildet og det originale, uskadde autokromet, og bygger derved evnen til å gjenkjenne og slette grønne flekker, samtidig som detaljene og den estetiske kvaliteten i det originale autokrombildet bevares.

For å vurdere nettverkets suksess presenterte vi systemet for grønne feil som det aldri hadde sett før. Dette viste at nettverket er i stand til å gjenkjenne og digitalt restaurere autokromer med originale, historiske skader (Fig. 3a og 3b; Fig. 4a og 4b).

Neste skritt innebærer en digital «innfylling» av autokromer som har blitt korrigert for grønne feil. Når bildene har blitt digitalt restaurerte kan områder som har vært grønne framstå som bleke eller fargeløse. Ved å bruke hundrevis av uskadde autokromer har vi trent nettverket til å forstå autokromenes unike fargepalett og tekstur. Med utgangspunkt i denne treningen er nettverket i stand til å fylle inn de områdene som er digitalt restaurerte, slik at de ligner mer på farge og tekstur i et ekte autokrom. (fig. 5).

Gjennom denne prosessen har vi utviklet en metode for digital restaurering av autokromer som gjør det mulig å se hvordan det skadde autokromet opprinnelig kan ha sett ut.