Нейросеть NIST обнаруживает крошечные геометрические фигуры в плотных изображениях с точностью 97%

В усилиях по автоматическому захвату важных данных из научных статей, ученые-компьютерщики Национального института стандартов и технологий (NIST) разработали метод для точного обнаружения маленьких геометрических объектов, таких как треугольники, внутри плотных, низкокачественных графиков, содержащихся в данных изображений. Используя подход нейронной сети, предназначенный для обнаружения паттернов, модель NIST имеет множество возможных применений в современной жизни.

Модель нейронной сети NIST захватила 97% объектов в определенном наборе тестовых изображений, локализуя центры объектов в пределах нескольких пикселей от вручную выбранных местоположений. Исследователи взяли данные из журнальных статей, датируемых ранними 1900-х годами, в базе данных металлических свойств Термодинамического исследовательского центра (TRC) NIST. Часто результаты представлялись только в графическом формате, иногда нарисованные от руки и деградированные сканированием или фотокопированием. Исследователи хотели извлечь местоположения точек данных для восстановления исходных, сырых данных для дополнительного анализа. До сих пор такие данные извлекались вручную.

Изображения представляют точки данных с разнообразием разных маркеров, в основном круги, треугольники и квадраты, как заполненные, так и открытые, разного размера и четкости. Такие геометрические маркеры часто используются для обозначения данных в научном графике. Текст, числа и другие символы, которые могут ложно казаться точками данных, были вручную удалены из подмножества фигур с помощью графического редактора перед обучением нейронных сетей.

Точное обнаружение и локализация маркеров графиков было сложной задачей по нескольким причинам. Маркеры несовместимы по четкости и точной форме; они могут быть открытыми или заполненными и иногда размытыми или искаженными. Некоторые круги появляются крайне круглыми, например, в то время как другие не имеют достаточно пикселей для полного определения их формы. Кроме того, многие изображения содержат очень плотные участки перекрывающихся кругов, квадратов и треугольников.

Исследователи стремились создать модель сети, которая идентифицировала бы точки графиков по крайней мере так же точно, как ручное обнаружение — в пределах 5 пикселей от фактического местоположения на графике размером несколько тысяч пикселей с каждой стороны.

Исследователи NIST приняли архитектуру сети, изначально разработанную немецкими исследователями для анализа биомедицинских изображений, называемую U-Net. Сначала размеры изображения сокращаются для уменьшения пространственной информации, а затем добавляются слои признаков и контекстной информации для построения точных высокоразрешающих результатов.

Чтобы помочь обучить сеть классифицировать формы маркеров и локализовать их центры, исследователи экспериментировали с четырьмя способами разметки обучающих данных масками, используя разные по размеру центральные отметки и контуры для каждого геометрического объекта.

Исследователи обнаружили, что добавление большей информации в маски, такое как более толстые контуры, увеличило точность классификации форм объектов, но снизило точность определения их местоположений на графиках. В итоге исследователи объединили лучшие аспекты нескольких моделей, чтобы получить лучшую классификацию и наименьшие ошибки локализации. Изменение масок оказалось лучшим способом улучшения производительности сети, более эффективным, чем другие подходы, такие как небольшие изменения в конце сети.

Лучшая производительность сети — точность 97% в локализации центров объектов — была возможна только для подмножества изображений, в которых точки графиков изначально представлялись очень четкими кругами, треугольниками и квадратами. Производительность достаточно хороша для того, чтобы TRC использовал нейронную сеть для восстановления данных из графиков в более новых журнальних статьях.