Команда значительно сокращает время анализа изображений с помощью глубокого обучения и других подходов.

Картинка стоит тысячи слов, но только тогда, когда ясно, что она изображает. И в этом заключается загвоздка в создании изображений или видеозаписей микроскопической жизни. В то время как современные микроскопы могут генерировать огромные объемы данных изображений живых тканей или клеток в течение нескольких секунд, извлечение значимой биологической информации из этих данных может занять часы или даже недели трудоемкого анализа.

Чтобы ослабить это серьезное узкое место, команда под руководством научного сотрудника MBL Хари Шроффа разработала глубокое обучение и другие вычислительные подходы, которые значительно сокращают время анализа изображений на порядки — в некоторых случаях, сравнявшись со скоростью сбора данных. . На этой неделе они сообщают о своих результатах в Nature Biotechnology .

«Это все равно, что пить из шланга, но не переварить то, что пьешь», — говорит Шрофф о распространенной проблеме, связанной с наличием слишком большого количества данных изображений и недостаточной мощности пост-обработки. Улучшения команды, которые являются результатом постоянного сотрудничества с Морской биологической лабораторией (MBL), ускоряют анализ изображений по трем основным направлениям.

Во-первых, изображения, полученные с микроскопа, обычно искажаются из-за размытия. Чтобы уменьшить размытость, используется итеративный процесс «деконволюции». Компьютер переключается между размытым изображением и оценкой реального объекта до тех пор, пока не достигнет наилучшей оценки реального объекта.

Изменяя классический алгоритм деконволюции, Шрофф и соавторы ускорили деконволюцию более чем в 10 раз. Их улучшенный алгоритм широко применим «практически к любому флуоресцентному микроскопу», — говорит Шрофф. «Мы считаем, что это серьезная победа. Мы выпустили код, и другие группы уже его используют».

Затем они обратились к проблеме трехмерной регистрации: совмещения и объединения нескольких изображений объекта, снятых под разными углами. «Оказывается, регистрация больших наборов данных, например, для световой микроскопии, занимает гораздо больше времени, чем их деконволюция», — говорит Шрофф. Они нашли несколько способов ускорить 3D-регистрацию, в том числе перенести ее на графический процессор (GPU) компьютера. Это дало им от 10 до более чем 100-кратное увеличение скорости обработки по сравнению с использованием центрального процессора (ЦП) компьютера.

«Наши улучшения в регистрации и деконволюции означают, что для наборов данных, которые помещаются на видеокарту, анализ изображений может в принципе не отставать от скорости получения», — говорит Шрофф. «Для больших наборов данных мы нашли способ эффективно разделить их на фрагменты, передать каждый фрагмент графическому процессору, выполнить регистрацию и деконволюцию, а затем соединить эти фрагменты вместе. Это очень важно, если вы хотите изобразить большие фрагменты ткани. например, от морского животного, или если вы очищаете орган, чтобы сделать его прозрачным для использования под микроскопом. Эти два достижения действительно позволяют ускорить некоторые формы большой микроскопии «.

Наконец, команда использовала глубокое обучение для ускорения «сложной деконволюции» — сложных наборов данных, в которых размытие значительно различается в разных частях изображения. Они обучили компьютер распознавать взаимосвязь между сильно размытыми данными (входные данные) и очищенным, деконволютивным изображением (выходными). Затем они дали ему размытые данные, которых он раньше не видел. «Это сработало очень хорошо; обученная нейронная сеть могла очень быстро выдавать результаты деконволюции», — говорит Шрофф. «Вот где мы получили увеличение скорости деконволюции в тысячи раз».

Хотя алгоритмы глубокого обучения работали на удивление хорошо, «но с оговоркой, что они хрупкие», — говорит Шрофф. «Это означает, что после того, как вы научите нейронную сеть распознавать тип изображения, скажем, клетку с митохондриями, она очень хорошо деконволюционирует эти изображения. Но если вы дадите ей изображение, которое немного отличается, скажем, плазматическая мембрана клетки. , он производит артефакты. Нейронную сеть легко обмануть «. Активная область исследований — создание нейронных сетей, которые работают более обобщенно.

«Глубокое обучение расширяет возможности», — говорит Шрофф. «Это хороший инструмент для анализа наборов данных, который иначе был бы затруднен».