Восстановление данных:модель нейронной сети NIST находит мелкие объекты в плотных изображениях

Стремясь автоматически извлекать важные данные из научных статей, специалисты по информатике из Национального института стандартов и технологий (NIST) разработали метод точного обнаружения небольших геометрических объектов, таких как треугольники, на плотных графиках низкого качества, содержащихся в данных изображения. Используя подход нейронной сети, предназначенный для обнаружения закономерностей, модель NIST имеет множество возможных применений в современной жизни.

Модель нейронной сети NIST зафиксировала 97% объектов в определенном наборе тестовых изображений, определяя центры объектов с точностью до нескольких пикселей от выбранных вручную местоположений. Исследователи взяли данные из журнальных статей начала 1900-х годов из базы данных свойств металлов в Исследовательском центре термодинамики NIST (TRC). Часто результаты представлялись только в графическом формате, иногда нарисованном от руки и искаженном путем сканирования или фотокопирования. Исследователи хотели извлечь расположение точек данных, чтобы восстановить исходные необработанные данные для дополнительного анализа. До сих пор такие данные извлекались вручную.

На изображениях представлены точки данных с различными маркерами, в основном кругами, треугольниками и квадратами, как заполненными, так и открытыми, разного размера и четкости. Такие геометрические маркеры часто используются для маркировки данных на научном графике. Текст, числа и другие символы, которые могут ложно восприниматься как точки данных, были вручную удалены из подмножества рисунков с помощью программного обеспечения для редактирования графики перед обучением нейронных сетей.

Точное обнаружение и локализация маркеров данных было сложной задачей по нескольким причинам. Маркеры непостоянны по четкости и точной форме; они могут быть открытыми или заполненными, а иногда нечеткими или искаженными. Например, некоторые круги кажутся очень круглыми, в то время как другим не хватает пикселей, чтобы полностью определить их форму. Кроме того, многие изображения содержат очень плотные участки перекрывающихся кругов, квадратов и треугольников.

Исследователи стремились создать сетевую модель, которая определяла бы точки графика не менее точно, чем ручное обнаружение, — в пределах 5 пикселей от фактического местоположения на графике размером в несколько тысяч пикселей с каждой стороны.

Исследователи NIST приняли сетевую архитектуру, первоначально разработанную немецкими исследователями для анализа биомедицинских изображений, которая называется U-Net. Сначала размеры изображения сокращаются, чтобы уменьшить пространственную информацию, а затем добавляются слои информации о функциях и контексте, чтобы получить точные результаты с высоким разрешением.

Чтобы научить сеть классифицировать формы маркеров и находить их центры, исследователи экспериментировали с четырьмя способами маркировки обучающих данных с помощью масок, используя маркировку центра и контуры разного размера для каждого геометрического объекта.

Исследователи обнаружили, что добавление к маскам дополнительной информации, такой как более толстые контуры, повысило точность классификации форм объектов, но снизило точность определения их местоположения на графиках. В конце концов, исследователи объединили лучшие аспекты нескольких моделей, чтобы получить наилучшую классификацию и наименьшие ошибки определения местоположения. Изменение масок оказалось лучшим способом улучшить производительность сети, более эффективным, чем другие подходы, такие как небольшие изменения в конце сети.

Наилучшая производительность сети — точность 97% при определении местоположения центров объектов — была возможна только для подмножества изображений, на которых точки графика изначально были представлены очень четкими кругами, треугольниками и квадратами. Производительность достаточна для TRC, чтобы использовать нейронную сеть для восстановления данных из графиков в новых журнальных статьях.