Deep learning-based detection of marine images and the effect of data-driven influences

Abstract

Throughout recent years convolutional neural networks have been applied for various image detection tasks. Training data thereby plays an important role for the performance of those models. Not only the amount of images is crucial but also the number of annotations, classes as well as image dimensions. In view of changing underwater environments, the study of benthic communities is increasingly important especially in the Southern Ocean as they provide a key link for ecosystem shifts. This study concentrates on the automatic detection and classification of benthic species using deep learning. It could be shown that glass sponges, brittle stars and soft corals could successfully be detected even on few input data and highly biased class distributions in varying underwater scenes. Further analyses considering data-driven infuences show significant performance declines regarding the training on single objects and classes per image and the evaluation on large image dimensions.

In den letzten Jahren wurden gefaltete neuronale Netze für verschiedene Aufgaben der Bilderkennung eingesetzt. Die Trainingsdaten spielen dabei eine wichtige Rolle für die Leistungsfähigkeit dieser Modelle. Dabei ist nicht nur die Menge der Bilder entscheidend, sondern auch die Anzahl der Annotationen, Klassen sowie die Bilddimensionen. Angesichts sich verändernder Unterwasserumgebungen wird die Untersuchung benthischer Lebensgemeinschaften vor allem im Südlichen Ozean immer wichtiger, da sie hier vor allem sensibel auf Veränderungen reagieren. Diese Arbeit konzentriert sich auf die automatische Erkennung und Klassifizierung von benthischen Arten mittels Deep Learning. Es konnte gezeigt werden, dass Glasschwämme, Schlangensterne und Weichkorallen selbst bei wenigen Eingabedaten und stark unterrepräsentierten Klassen in unterschiedlichsten Unterwasserlandschaften erfolgreich erkannt werden. Weitere Analysen zu datengetriebenen Einflüssen zeigen deutliche Leistungseinbußen bei einzelnen Objekten und Klassen pro Bild während des Trainings und großen Bilddimensionen während der Evaluation.