Apr 13, 2009
Adobe Lightroom: database corrupt
Een iets langer artikel over hoe ik mijn volledige Lightroom catalogus verloor en opnieuw kon recupereren.
Mijn workflow voor het importeren en archiveren van foto’s zit behoorlijk strak. Ik fotografeer steeds in het RAW formaat, in mijn geval van NEF (Nikon). Ik werk steeds met kwalitatieve CompactFlash geheugenkaartjes van een betrouwbaar merk, in mijn geval Sandisk. Deze laad ik in de computer in met een FireWire800 CompactFlash lezer van Sandisk. De ‘hardware’ zit goed.
Voor de postproductie gebruik ik Adobe Lightroom. Een tool die gericht is op ‘workflow’, op het importeren, organiseren, bewerken en archiveren van reeksen beelden. Vooraleer programma’s als Lightroom (Adobe) of Aperture (Apple) op de markt kwamen, had je één programma nodig om je digitaal archief te organiseren (bijvoorbeeld iView Media Pro) en een ander – zoals Photoshop – om beelden te bewerken.
Ondertussen gebruik ik al lange tijd Adobe Lightroom en ben daar zeer tevreden van. Het programma importeert je beelden en maakt een ‘cache’ (geheugen) aan met previews (voorbeschouwingen). Daardoor kan je bijvoorbeeld zeer snel door een reeks zware beelden browsen. Je kan zelfs je archief in een catalogus low-res previews op je harde schijf houden, terwijl de zware originele beelden op een andere schijf staan.
Mijn foto’s heb ik altijd met de grootste nauwkeurigheid gearchiveerd. Er zit structuur in de mappen met maanden en jaren, de namen van de fotomappen zelf, de benaming van de beelden, de keywords, metadata en het DNG formaat. Alle beelden worden zowel op een snelle ‘werkschijf’ (1TB & 500GB) thuis gearchiveerd, als op tragere – en goedkopere – schijven op een tweede locatie (2x 1TB).
Ik pendel tussen beide schijven met een compacte externe HD die op USB voeding werkt en 160GB kan transporteren. Tegelijkertijd houd ik de beelden op mijn ingebouwde HD zolang ik er nog werk aan heb. Vlaanderen moet al in zijn geheel ontploffen voor ik mijn archief kwijt ben. Nu de prijs van een externe harde schijf van 1 TerraByte naar de honderd euro evolueert, heb je geen enkel excuus om niet grondig te archiveren. Dit geldt zelfs voor slodervossen als mezelf.
Mijn foto’s zelf – de hoge resolutie bronbestanden – daar hoef ik mij geen zorgen over te maken. Mijn Lightroom Catologus, dat was tot voor kort een andere zaak. Ik heb de afgelopen jaren op verschillende computers gewerkt, zowel eigen machines als krachtigere exemplaren van het bureau. Tegelijkertijd met het experimenteren met Lightroom in de beginjaren en de beperkte lokale schijfruimte voor gigabytes catalogus en previews ben ik meermaals van nul af aan begonnen.
Je Lightroom catalogus onthoud namelijk al het werk dat jij doet. De rating die je geeft aan de beelden, de kleurlabels, de keywords, en vooral ook de bewerkingen in de ‘develop’ modus. Lightroom laat de bronbestanden onaangeroerd, maar slaat al deze aanpassingen op in de catalogus. Als je je catalogus kwijt bent, heb je normaliter al je originele beelden nog, maar ben je al je extra werk kwijt. In sommige gevallen jaren werk.
Daarom vraagt Lightroom je regelmatig of je een automatische backup van je catalogus wil maken. Als de harde schijf van je computer crash, je machine wordt gestolen of je catalogus een ‘error’ heeft, dan kan je zeer gemakkelijk je laatste backup gebruiken (hopelijk niet te oud) om je werk te recupereren. Enkel het werk dat je hebt gedaan tussen de laatst backup en het verlies van je catalogus is dan verloren.
Het enige probleem: het (automatisch) maken van een backup duurt even, neemt schijfruimte in en Lightroom vraagt je dit enkel wanneer je het programma opent. Dat is het moment dat je beelden wil inladen of bewerken en geen tijd of zin hebt een tijdrovende backup te laten produceren. U raadt het al; na verloop van tijd skipte ik deze backup. Destijds nam ik nog geregeld backups van mijn volledige computer (Apple) door Time Machine, waardoor ik ook behoorlijk gedekt was.
Tot afgelopen week… Ik ben mid februari van werk (hoofdberoep) veranderd en heb sindsdien een nieuwe computer. Ik had de Lightroom Catalogus van mijn vorige machine overgezet. Dit is eenvoudig: installeer Lightroom op de nieuwe machine en copieer je catalogus van de oude naar de nieuwe computer. Daarna kan je je catalogus openen met je nieuwe installatie. Ik had mijn back-up schijf met Time Machine nog niet aangesloten. Ik maak nog steeds geen backups van de catalogus. De oude catalogus had ik nog, maar die dateerde al van mid februari.
Afgelopen weekend was ik een trouw aan het inladen: twee CF schijfjes van 8GB. Tegelijkertijd aan het surfen met 50 vensters geopend in Safari. En toen crashte de Mac: een grijs scherm, een foutmelding en alles zit vast. Restarten… Toen ik Lightroom opende kreeg ik de boodschap dat de catalogus ‘corrupt’ was. Wanneer je machine crashed terwijl Lightroom processen draaien, kan dit miserie opleveren.
Een error boodschap in Ligtroom had ik al eens meegemaakt. Op ‘herstellen’ klikken en de machine laten werken. Normaal is dit een fluitje van een cent. Deze keer echter kreeg de machine de catalogus niet gerepareerd. Naar het einde van het proces toe kon hij de boel niet meer herstellen. drie keer dit proces in gang gezet en niets…
Ik had geen recente backup van mijn catalogus en deze bevat foto’s sinds 2001 en bewerkingen sinds 2007. Heel veel werk dus, dat allemaal verloren leek. Opnieuw: met de originele foto’s was er niets aan de hand. In het ergste geval moest ik mijn heel foto-archief opnieuw importeren, mijn machine een week laten draaien en was ik mijn toegevoegd werk kwijt. Maar ook dat is geen leuk vooruitzicht.
Na wat research geleerd dat catalogussen weleens crashen en ze niet altijd gerepareerd kunnen worden. En dat je je catalogus moet backuppen, jaja. Of dat je in de instellingen van je catalogus de aanpassingen automatisch in de XMP van het bestand moet laten schrijven. Uiteindelijk heb ik mijn catalogus aan previews gewist en ben ik een nieuwe catalogus gestart. Van daaruit heb ik geprobeerd de corrupte catalogus te importeren. Wat uiteindelijk voor een groot is gelukt.
Edoch, de volledige catalogus was niet geïmporteerd en er zaten gaten in de collectie. Dit weekend ben ik mijn twee schijven opnieuw aan het inladen. Virtuele folders synchroniseren, de ‘missing folders’ aanduiden en uiteindelijk zelfs het hele archief per jaar opnieuw importeren. de folderstructuur is hersteld, het cache wordt opnieuw gevuld en de previews gegenereerd. Tot mijn verbazing worden de bewerkingen op de afbeeldingen opnieuw zichtbaar. Het vele werk bleek dus niet verloren.
Vannacht heeft de computer 2008 en 2009 verwerkt. Op dit moment is 2007 aan de beurt en daarna komen de jaren 2006-2001 aan bod. Tot op dit moment loopt alles vlot en is de opluchting groot. “Maar wat hebben vandaag geleerd”, zou een wijs man vragen.
- Als Lightroom zware processen verwerkt, overbelast dan je computer niet met andere zaken. Laat Lightroom met rust, sluit zoveel mogelijk andere programma’s en laat de computer met rust. Zo vermijd je faliekante crashes.
- Backup je catalogus. Iedere keer als Lightroom er om vraagt of zelfs initieer het manueel. Eigenlijk doe je dit best op wekelijkse basis. En back-up de back-up van de catalogus op een externe schijf, voor het geval er iets met je machine gebeurd.
- Back-up je machine. Apple voorziet Time Machine. Als je – zoals ik – de discipline niet hebt om op regelmatige basis een back-up schijf aan te sluiten, koop dan – zoals ik – een Airport Extreme (router voor draadloos internet) met interne harde schijf. De schijf zit in de router en je kan draadloos en geheel automatisch je machine backuppen. Je hoeft er zelfs niet meer aan te denken.
Zo ziet het er naar uit dat mijn corrupte Lightroom catalogus alsnog gerecupereerd wordt, maar het is een ervaring die ik u niet toewens. Hopelijk heeft u iets aan de beschrijving bovenin als praktische uitleg en waarschuwing om goed je Lightroom catalog (en zowieso ook en voortal je bronfiles) nauwkeurig te backuppen. En zoniet zal u het zelf eens moeten meemaken, om het daarna nooit meer te vergeten.
Pieter, een wijze les, maar uiteraard erg jammer dat het is voorgevallen. Ik neem regelmatig backups van mijn catalogi, die optie staat automatisch aangevinkt in Lightroom. Ik weet niet hoe jouw catalogi zijn ingedeeld, maar eventueel is dit een interessante tip: ik werk met verschillende catalogi, eentje voor persoonlijk werk en dan eentje per jaartal voor klanten. Zo spreid ik het risico een beetje en worden de catalogi ook niet te zwaar om te laden en om ermee te werken.
Idem als Serge, ik ben afgestapt van het 1 cataloog voor alle foto’s principe. Sinds de eerste beta van Lightroom heb ik nog nooit een search over al mijn beelden gedaan. Daarom heb ik vorige week de beslissing genomen om een catalogus per shoot bij te houden.
In elke catalogus zitten zowieso de NEF/DNG bestanden, maar uiteindelijk komen daar ook de geëxporteerde JPG bestanden in verschillende resoluties terecht voor die shoot. Makkelijk in termen van backups want ik hoef geen full backups van de gigantische lightroom cataloog meer te maken. Enkel de laatst aangemaakt cataloog backuppen naar een aantal externe schijven.
Als ik uiteindelijk dan toch wil zoeken op tags over alle catalogi heen, dan is het enkel een kwestie van Spotlight op Mac te gebruiken. Ik sla op het eind van de post processing de metadata op in de DNG (of via XMP bestanden naast de NEF) en ook de geëxporteerde JPG bestanden bevatten die tags. Spotlight ziet dit en toont me de relevante bestanden bij een zoekopdracht.
Ik besef dat het niet direct de ‘correcte’ manier is om Lightroom te gebruiken, maar het is wel snel en het aantal beelden dat potentieel verloren gaat wanneer Lightroom crasht (en de open cataloog eventueel corrupt raakt) is minimaal.
Oh en qua backups: vooraleer ik een shoot importeer in Lightroom kopieer ik alle NEF bestanden eerst nog eens naar een tijdelijke externe schijf (just in case). De beelden en catalogi zelf die staan ook in veelvoud verspreid over een aantal verschillende externe schijven.
De 500GB schijf in de computer wordt daarbovenop elke zondag volledig gecloond (mbv SuperDuper) naar een externe schijf zodat ik, in geval van een corrupte systeemschijf, direct kan opstarten van die externe schijf en kan verderwerken. Voor de gewone backups gebruik ik Synk Standard.
Hallo Pieter, sla iedere keer als ik iets interessants tegenkom op het net het item op in Evernote. En daar is inderdaad ook corrupte database een item. Ben je in je research ook deze zeer handige link tegengekomen?
http://morethanwords.be/blog/corruptie-in-lightroom/
Ik ben zeer geïnteresseerd in het werken met lokale previews en de originele bestanden op een externe schijf. Bestaat daar ergens een goeie tutorial over? Of een blogpost? Zodat ik zeker niets over het hoofd zie!
Het is niet voor niets dat er op Lightroom Killertips net een heel hoofdstuk aan back-ups werd gewijd. Men kan het niet genoeg benadrukken: het is super belangrijk. Computers falen nog steeds en we kunnen er niet blindelings in geloven.
In ieder geval, je hebt weer een wijze les geleerd en heel vriendelijk om ons er weer aan te herinneren :-)
@ Mathias: relatief eenvoudig.
Ik importeer de beelden vanaf een compact flash card. Ze komen op de interne HD te staan en worden naar DNG geconverteerd. Ik backup de beelden naar de externe HD.
Wanneer ik de beelden niet meer lokaal nodig heb, wis ik ze op mijn lokale HD. In Lightroom zaldeze folder niet wit, maar grijs gemarkeerd staan. Je rechtermuisklikt en zegt ‘update folder location’ en wijst de virtuele folder door naar de fysieke folder op de externe HD.
De previews zitten nog steeds in je catalog, ook als je de externe HD ontkoppeld. Dan wordt de map grijs ipv wit, maar blijven de previews zichtbaar.
ik gebruik mijn lightroom helemaal niet zoals het zou moeten en ik hou mijn catalogus zo leeg mogelijk. Ik heb nog helemaal geen systemen, geen goeie mappenstructuren en ook geen plaats. Bovendien heb ik in feite de verkeerde computer, denk ik, want mijn laptopje (windows kakvista) linkt niet goed met de mac van mijn lief enz enz. Ik krijg soms nachtmerries van wat er allemaal kan mislopen. Ik word soms onpasselijk van het besef dat ik bepaalde kansen laat liggen om overzichtelijk en helder te werken. Op bepaalde vlakken ben ik toch een beetje een debiel…
Maar ik ben wel blij voor jou dat je werk vanzelf is teruggekeerd. Wat mooi! wat een opluchting moet dat geweest zijn. Zeg maar hoihoi en kus die brave mac van jou!
Als je een Time Capsule koopt heb je een Airport Extreme en harde schijf in 1, nog gemakkelijker…
Is er niemand die in de nabije toekomst een workshop lightroom organiseert, want ik zou dat toch dringend ‘ns moeten leren om het op de juiste manier te gebruiken.