AI w archiwistyce - automatyczne tagowanie zdjęć i rozpoznawanie twarzy
Podziel się

Szacuje się, że od początków istnienia fotografii ludzkość wytworzyła niemal 10 biliardów zdjęć, z czego aż 10% powstało w ciągu ostatniego roku. Olbrzymie ilości produkowanych danych stają się problemem – nieopisane i nieetykietowane,  są dla nas niemożliwe do wyszukania w bazach i dalszego wykorzystania. Opis zdjęć przysparza szczególne trudności w przypadku zdjęć historycznych, gdyż wiedza archiwistyczna wymaga wieloletnich studiów i doświadczenia. Całe szczęście sztuczna inteligencja jest przyjacielem archiwisty XXI wieku – najnowsze sieci neuronowe mają moc przetwarzania danych znacznie przekraczającą możliwości pojedynczych ludzi. Sieć neuronowa może automatycznie identyfikować obiekty i twarze na zdjęciach i przypisywać je do danej kategorii. Jest więc cennym partnerem dla specjalistów, pomagając katalogować, archiwizować, rozpoznawać i wyszukiwać potrzebne materiały zdjęciowe.

Automatyczne tagowanie

Pierwszym narzędziem zaprojektowanym jako pomoc archiwisty jest sieć do automatycznego tagowania zdjęć. Za jej pomocą materiały wizualne mają stać się łatwo wyszukiwalnymi danymi, dostępnymi do dalszego użycia i wykorzystania.

Szczegóły projektu

186 504 zdjęć

186 504 zdjęć

100 unikalnych haseł przedmiotowych

100 unikalnych haseł przedmiotowych

Do nauki i testowania sieci użyliśmy 186 504 zdjęć uzyskanych od klienta. Zdecydowaliśmy się opisywać zdjęcia za pomocą 100 unikalnych haseł przedmiotowych, ze względu na specyfikę bazy, głównie związanych z architekturą, polityką, wojskiem czy sztuką.

Skuteczność tego rozwiązania dorównuje skuteczności zespołu specjalistów, często drastycznie zaniżonej przez brak spójności w przyjętych przez każdą jednostkę regułach. Jednak spójność reguł nie jest jedynym zyskiem, dużo ważniejsza, z punktu biznesowego, jest prędkość działania algorytmu. Każde zdjęcie może zostać opisane w znacznie mniej niż sekundę, co jest kluczowym usprawnieniem w stosunku do pracy ludzi.

Rozpoznawanie twarzy

W czasie pracy nad opisywaniem zdjęć archiwalnych natrafiono na poważny problem specjalistów, jakim jest rozpoznanie znajdujących się na fotografiach osób. W wielu przypadkach zapamiętanie wyglądu wszystkich twarzy polityków, aktorów i artystów, nawet z jednego dziesięciolecia, przekracza ludzkie możliwości. Taka sytuacja jest oczywiście powodem wielu błędów, najczęściej przeoczenia, ale też omyłkowego rozpoznania jednej osoby jako innej. Kiedy dokładność staje się kluczowa, a rozpoznawanie człowieka po jego twarzy jest ważnym biznesowym zadaniem, nie można pozwolić sobie na pomyłki.

To, czego nie jest w stanie zrobić człowiek, nie stanowi żadnego problemu dla Sztucznej Inteligencji. Sieci neuronowe mają możliwość zapamiętania cech szczególnych niezliczonej ilości twarzy. Dla każdej osoby, którą planujemy rozpoznawać, należy stworzyć zestaw kilku zdjęć referencyjnych. Na ich podstawie sieć buduje wektory cech szczególnych dla danej twarzy, które w kolejnym kroku służą do porównywania ich z tożsamymi wektorami budowanymi ze wszystkich twarzy znalezionych na wejściu, którym może być zdjęcie, lub widok z kamery.

W naszym wypadku zdecydowaliśmy się rozpoznawać 125 osób, kluczowych ze względu na specyfikę bazy klienta. Dla każdej z tych postaci stworzyliśmy zestaw od 3 do 8 zdjęć referencyjnych (więcej w przypadku ludzi, których planujemy rozpoznawać w różnym wieku i charakteryzacjach scenicznych).

Przygotowanie procesu rozpoznawania twarzy

Zaprojektowana i wyuczona przez nas sieć rozpoznaje także twarze na obrazach i pomnikach. To może pomóc w identyfikacji podmiotów znajdujących się na dziełach sztuki, o ile tylko przypominają siebie w rzeczywistości.

Powiązane wpisy:

Wykrywanie obiektów na zdjęciach lotniczych i satelitarnych – zadanie dla sieci neuronowych

Wykrywanie obiektów na zdjęciach lotniczych i satelitarnych – eksperymenty na sieciach neuronowych

Czy sieć neuronowa musi być black boxem, czyli zaglądamy do wnętrza sieci neuronowych

Sztuczna Inteligencja w nowej odsłonie – Tensorflow 2.0 ułatwi budowanie sieci neuronowych

Dodaj komentarz

avatar
2000
  Subscribe  
Powiadom o

Skontaktuj się z nami