МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение высшего образования
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ
УНИВЕРСИТЕТ «МИСиС»
________________________________________________________________
ИНСТИТУТ НОВЫХ МАТЕРИАЛОВ И НАНОТЕХНОЛОГИЙ
КАФЕДРА ФИЗИЧЕСКОГО МАТЕРИАЛОВЕДЕНИЯ
СПЕЦИАЛЬНОСТЬ 22.03.01
ОТЧЕТ
по научно – исследовательской работе
(семестр 6)
на тему: оптимизация методов синтеза магнитных наночастиц с
помощью методов машинного обучения
Студент
Зинович Н.Ю.
Группа БМТМ-20-2
Руководитель НИР
Абакумов М.А.
Оценка_____________
Москва, 2023
Содержание
ВВЕДЕНИЕ.................................................................................................................................................. 3
1.
Методы синтеза наночастиц ............................................................................................................... 5
1.1
Термическое разложение ............................................................................................................ 5
1.2
Соосаждение ................................................................................................................................ 7
2. Оптимизация синтеза с помощью алгоритмов машинного обучения ................................................ 8
2.1 Оптимизация параметров синтеза ................................................................................................... 8
2.1.1. Активное обучение.................................................................................................................... 9
2.1.2. Байессовская оптимизация .....................................................................................................10
2.2 Предсказание характеристик наночастиц .....................................................................................12
2.2.1. Метод опорных векторов ........................................................................................................13
2.2.2. Алгоритмы на деревьях ..........................................................................................................15
2.2.3. Градиентный бустинг .............................................................................................................16
3. Методы исследования наночастиц.......................................................................................................19
3.1. Рентгеновские методы исследования ...........................................................................................19
3.2. Просвечивающая электронная микроскопия ...............................................................................20
3.3. Исследование магнитных свойств ................................................................................................22
4. Применение димерных магнитных наночастиц .................................................................................23
Выводы .......................................................................................................................................................24
СПИСОК ИСТОЧНИКОВ ........................................................................................................................25
ВВЕДЕНИЕ
В современных научных исследованиях синтез наночастиц занимает важное место,
поскольку они обладают уникальными свойствами и широким спектром потенциальных
применений. Наночастицы представляют собой структуры размером от нескольких до сотен
нанометров, что делает их особенно привлекательными для различных областей науки и
технологий, таких как медицина, электроника, катализ и др.
Однако синтез наночастиц сопряжен с рядом трудностей. Одна из основных проблем
заключается в контроле размера, формы, структуры и чистоты синтезируемых частиц.
Исследователи сталкиваются с необходимостью настройки и оптимизации множества
параметров синтеза, таких как концентрации реагентов, температура, время реакции и
другие факторы, которые могут оказывать значительное влияние на качество получаемых
наночастиц. Так же, обилие методов и научных статей затрудняет выбор изначальных
параметров.
Традиционные методы оптимизации синтеза, основанные на эмпирическом проб и
ошибок, могут быть крайне времязатратными и неэффективными. В таком контексте
применение методов машинного обучения представляет собой перспективный подход,
позволяющий автоматизировать и улучшить процесс синтеза наночастиц.
Активное обучение и байесовская оптимизация являются двумя важными
подходами, которые можно применять для поиска оптимальных параметров синтеза
наночастиц. Активное обучение позволяет исследователям эффективно выбирать наиболее
информативные эксперименты, минимизируя число требуемых испытаний. Байесовская
оптимизация, в свою очередь, основана на построении вероятностной модели и
последующем поиске оптимальных параметров синтеза, для получения изначально
заданных свойств.
Наночастицы находят широкое применение в медицине. Они могут быть
использованы для доставки лекарственных препаратов, образования конструкций с
контролируемыми свойствами или обнаружения болезней на ранних стадиях. Особый
интерес представляют димерные наночастицы, которые обладают особыми свойствами, что
делает их перспективными для разработки диагностических и терапевтических методов.
Целью данной работы является исследование и разработка методов оптимизации
синтеза наночастиц с использованием методов машинного обучения. В работе рассмотрены
различные подходы к синтезу, оптимизации параметров синтеза, а также применение
методов регрессии и классификации для анализа и предсказания свойств наночастиц. В
конечном итоге, мы стремимся к созданию эффективных и надежных методов,
способствующих улучшению процесса синтеза наночастиц и расширению их областей
применения, включая медицину и другие науки.
1. Методы синтеза наночастиц
Синтез наночастиц - это процесс создания частиц размером от нескольких до
нескольких сотен нанометров с определенными физическими и химическими свойствами.
Изучение и разработка методов синтеза наночастиц является ключевым направлением в
современной нанотехнологии и имеет широкий спектр приложений в различных областях,
включая электронику, катализ, оптику, медицину и другие.
Химические методы синтеза наночастиц основаны на проведении химических
реакций с последующим осаждением. Они включают различные подходы, такие как
термическое
разложение,
гидротермальный
синтез,
золь-гель
методы
и
микроэмульсионный метод [1]. В этих методах используются различные химические
реагенты, растворы и условия реакции для контроля размера, формы и структуры
наночастиц.
Физические методы синтеза наночастиц основаны на использовании физических
принципов и процессов. Некоторые из них включают разложение в высокотемпературной
плазме, лазерное испарение и ионно-лучевое осаждение [2].
Биологические
методы
синтеза
наночастиц
основаны
на
использовании
биологических механизмов и материалов для синтеза наночастиц. Они включают методы,
такие как биоминерализация, использование микроорганизмов или биологически активных
веществ.
Эти
методы
позволяют
получать
наночастицы
с
биологической
функциональностью и уникальными свойствами, что открывает новые возможности для их
применения в биомедицине и других областях [2].
В данной работе мы сосредоточимся на методах синтеза димерных наночастиц
(ДМНЧ), которые представляют особый интерес в медицине благодаря своим уникальным
свойствам и потенциалу для применения в различных терапевтических и диагностических
приложениях.
1.1 Термическое разложение
Метод термического разложения является одним из основных методов синтеза
наночастиц. Этот метод основан на использовании высоких температур для проведения
химических реакций, которые приводят к образованию наночастиц.
Основная идея метода термического разложения заключается в нагревании
прекурсоров до температур, при которых происходит их разложение с образованием
металлических атомов или кластеров. Чаще всего, используются металлические
прекурсоры в органическом растворителе [3]. Затем происходит процесс зарождения и
роста частиц, в результате которого формируются наночастицы с определенными
размерами и формами. Важно отметить, что параметры реакции, такие как температура,
время реакции, соотношение прекурсоров и среда, могут регулироваться для достижиения
желаемых свойств полученных наночастиц.
Так наночастицы магнетита могут быть получены путем высокотемпературного
разложения органических прекурсоров железа, таких как пентакарбонил-железо или олеат
железа, в 1-октадецене в присутствии олеиламина и олеиновой кислоты [3].
Преимущества метода термического разложения включают возможность получения
монодисперсных наночастиц с узким распределением размеров. Контроль над процессами
зарождения и роста позволяет достичь высокой степени управляемости над размером и
морфологией наночастиц. Такие наночастицы имеют потенциал к применению в качестве
контрастных агентов, тераностиков и систем таргетной доставки лекарств.
Тем не менее, благодаря гибкости метода термического разложения, возможно
улучшить характеристики наночастиц магнетита и расширить спектр возможностей их
применения, путем синтеза более сложных структур, например структуры типа «ядрооболочка», «гантели» или «цветки» (см. рисунок 1).
Рисунок 1 – Различные структуры димерных наночастиц магнетит-золото. (а) – структура
«ядро-оболочка»; (б) – структура «гантель»; (в) – структура «цветок».
Структура «ядро-оболочка» была получена введением прекурсора золота (например,
тетрахлораурата (III) водорода (ТХА)) в раствор, содержащий наночастицы магнетита.
Размер ядра и толщину оболочки контролируются соотношением прекурсоров и
поверхностно-активных веществ (ПАВ) [4].
Структура «гантели» получают методом [4] с малыми изменениями: прекурсор
золота вводился до того, как полностью сформируются частицы магнетита. Размер
наночастицы золота контролировался температурой, при
которой вводился ТХА, или
соотношением ТХА к олеиламину. Размер наночастицы магнетита контролировался
соотношением пентакарбонил-железа к ТХА.
Структура «цветка» была получена термическим разложением пентакарбонилжелеза на поверхности наночастиц золота, подготовленных заранее [5]. Каждая
наночастица имела 2-4 «лепестка».
Таким
образом,
метод
термического
разложения
позволяет
синтезировать
наночастицы различной структуры, морфологии и размеров с высокой точностью. ДМНЧ,
полученные методом термического разложения, благодаря своей уникальной структуре,
имеют высокий потенциал для применения в медицине.
1.2 Соосаждение
Другой метод получения наночастиц – соосаждение. Он прост в реализации и часто
используется для получения наночастиц оксидов металлов [6]. Основным преимуществом
данного метода является большой объем наночастиц, который возможно синтезировать.
Несмотря на это, размер частиц, полученных этим методом, сложнее контролировать из-за
того, что рост наночастиц контролируется кинетикой реакции [6].
Наночастицы магнетита синтезируют соосаждением в водном растворе из солей и
гидроксидов железа (II) и железа (III) [7]. Соосаждение проходит по реакции 1:
Fe2+ + 2Fe3+ + OH − → Fe3 O4 + 4H2 O
(1)
Кроме того, изменения pH и ионной силы раствора позволяет изменять диаметр
наночастиц на порядок (от 15 до 2 нм) [8].
Рисунок 2 – Снимок ПЭМ наночастиц магнетита, полученных методом соосаждения [1].
2. Оптимизация синтеза с помощью алгоритмов машинного обучения
Cинтез может занимать до 5-6 часов [3]. Поиск оптимальных параметров для
достижения необходимых характеристик наночастиц при таких условиях является трудо- и
времязатратным процессом, при котором каждая ошибка может стоить нескольких дней
работы исследователей.
В этом контексте, методы машинного обучения могут существенно облегчить работу
научного состава. Такие методы, как активное обучение и байессовская оптимизация, давно
используются исследователями в области машинного обучения для оптимального подбора
параметров изучаемых моделей. Лишь недавно они начали использоваться для оптимизации
синтеза наночастиц и показали значительные результаты.
Так же различные регрессионные модели помогают выявлять закономерности,
неочевидные даже для опытного ученого, и характеристики наночастиц по параметрам
синтеза.
2.1 Оптимизация параметров синтеза
Часто в исследованиях наночастиц целью является получение наночастиц с
конкретными изначально заданными характеристиками. Если они еще не были получены,
то точный подбор параметров синтеза становится крайне тяжелой задачей и может серьезно
замедлить исследование. Характеристики наночастиц, будь то размер или коэрцитивная
сила, являются своего рода «черным ящиком».
Черным ящиком называют систему, которую рассматривают в терминах «входвыход» без какого-либо изучения ее внутреннего устройства [9]. Пространство поиска
(search space) может быть довольно большим, что делает невозможным обычный перебор.
В таком случае, пригождается опыт исследователя, статьи на похожие темы или случайный
перебор.
Подход, описанный выше, не является эффективным и неизбежно ведет к лишним
тратам времени и ресурсов лаборатории.
2.1.1. Активное обучение
Активное обучение – это процесс обучения, при котором алгоритм «сам» выбирает
следующую точку для обучения. Этот алгоритм максимизирует количество информации,
минимизируя затраты и количество итераций, в данном случае синтезов [10].
Одним из основных методов выбора точки, является метод уменьшения
неопределенности. Алгоритм выбирает точки, в которых неопределенность максимальна.
Мерой неопределенности может служить дисперсия [10].
Так как, истинные значение исследуемой величины известны лишь для нескольких
точек, для оценки значений в остальном пространстве поиска используется модельзаместитель. Наиболее часто в качестве модели-заместителя используется гауссовский
процесс (ГП) [11] из-за его гибкости и возможности оценки неопределенности.
Гауссовский процесс
Гауссовский процесс - это статистическая модель, используемая для решения задач
регрессии и классификации. Простыми словами, ГП определяет вероятностное
распределение функций. Вместо предсказания единственного значения для заданного
входного значения, он предсказывает распределение возможных функций, которые могут
описывать данные. Это распределение обычно предполагается гауссовским, отсюда и
название гауссовский процесс [11].
Математически ГП определяется двумя компонентами: функцией среднего и
функцией ковариации (также известной как функция ядра). Функция среднего представляет
собой ожидаемое значение функции для каждого входного значения, а функция ковариации
отражает схожесть между различными входными значениями. Выбор функции ковариации
определяет гладкость и форму предсказываемых функций. Наиболее часто используются
гауссовская (см. п.2.2.1), линейная и периодическая (для стационарных данных) ядерные
функции.
Имея набор наблюдаемых пар «вход-выход», ГП использует эти наблюдения для
вывода распределения возможных функций, которые могли сгенерировать данные. Путем
включения априорного (prior) знания и обновления (posterior) его на основе наблюдаемых
данных модель может делать предсказания для новых, неизвестных входных значений [12].
Одно из ключевых преимуществ гауссовских процессов заключается в их
способности учитывать неопределенность предсказаний. Распределение возможных
функций позволяет количественно оценить неопределенность, связанную с каждым
предсказанием. Это особенно полезно в ситуациях, когда данные ограничены или шумны.
В целом, гауссовские процессы предоставляют гибкий и вероятностный подход к
моделированию сложных зависимостей данных. Они успешно применяются в различных
областях, включая анализ регрессии, прогнозирование временных рядов и задачи
оптимизации.
Алгоритм активного обучения выглядит следующим образом [13]:
1. По имеющимся данным посчитать неопределенность во всем пространстве поиска
(например, с помощью гауссовского процесса (ГП));
2. Исследовать точку с наибольшей неопределенностью;
3. Добавить ее к уже имеющимся данным;
4. Повторять п.1 до достижения необходимого уровня качества.
2.1.2. Байессовская оптимизация
Байессовкая оптимизация (БО) – логическое продолжение алгоритма активного
обучения. Разница в том, что БО исследует не все пространство поиска, а находит ту
область, в которой метрика качества принимает максимальное значение. В качестве метрики
могут служить, например, квадратичная или абсолютная ошибка размера наночастиц с
противоположным знаком (исходя из условия максимизации) [12].
Например, если задача синтезировать наночастицы с размером 30 нм, то нет
необходимости получать частицы 5 нм или 100 нм.
БО балансирует между «исследованием» неизвестного и «эксплуатацией» областей
с высоким значением метрики. Для оценки «важности» точки используется функция
приобретения. Функции приобретения не являются точной, это лишь эвристики, хорошо
проявляющие себя на практике. Далее, будут подробнее рассмотрены фукнции
приобретения [12].
Таким образом, БО работает, по сути, так же, как активное обучение, с одной лишь
разницей, что БО оптимизирует не неопределенность, а фукнцию приобретения. Более
формально, задача БО найти 𝑥 ∈ ℝd , который максимизирует 𝑓: ℝd ↦ ℝ.
Функции приобретения
Функции приобретения – важнейшая часть БО, определяющая эффективность
оптимизации. Существует множество таких функций, в данной работе будут рассмотрены
лишь основные.
1. Вероятность улучшения (PI)
Функция выбирает следующую точку с максимальной вероятностью превзойти уже
найденный максимум f(x+). Тогда следующую точку можно найти по формуле [13]:
𝑥𝑡+1 = 𝑎𝑟𝑔𝑚𝑎𝑥(𝛼𝑃𝐼 (𝑥)) = 𝑎𝑟𝑔𝑚𝑎𝑥(𝑃(𝑓(𝑥) ≥ 𝑓(𝑥 + ) + 𝜖)),
(1)
где P( . ) – вероятность,
𝜖 – малое число,
argmax(x) – положение максимального значения.
При использовании ГП в качестве модели-заместителя, формулу 1 можно
переписать:
𝑥𝑡+1 = 𝑎𝑟𝑔𝑚𝑎𝑥 𝜱 (
𝑥
𝜇𝑡 (𝑥) − 𝑓(𝑥 + ) − 𝜖
),
𝜎𝑡 (𝑥)
(2)
где Φ – функция Гаусса,
μ(x) – математическое ожидание x,
σ(х) – среднеквадратичное отклонение х.
Изменяя значение ϵ, можно контролировать поведение PI: более высокие значения –
будут приводить к усиленному «исследованию», более низкие – к «эксплуатации» [12].
2. Ожидаемое улучшение (EI)
Функция PI рассматривает лишь вероятность улучшения, не беря в расчет величину
улучшения, которую оценивает функция EI. Ее идея в том, чтобы выбрать следующую точку
с
максимальным
значением
улучшения.
На
практике
используется
уравнение,
предложенное Мокусом [14]:
𝑥𝑡+1 = 𝑎𝑟𝑔𝑚𝑎𝑥 𝔼 (𝑚𝑎𝑥{0, ℎ𝑡+1 (𝑥) − 𝑓(𝑥 + )} | 𝒟𝑡 ),
𝑥
(3)
где ℎ𝑡+1 (𝑥) – среднее значение модели-заместителя,
𝑓(𝑥 + ) – максимальное значение метрики,
𝒟𝑡 – данные до момента времени t.
Подставляя уравнения ГП, получаем:
(𝜇 (𝑥) − 𝑓(𝑥 + ) − 𝜖)𝜱(𝑍) + 𝜎𝑡 (𝑥)𝜙(𝑍), 𝜎𝑡 > 0
𝐸𝐼(𝑥) = { 𝑡
0
, 𝜎𝑡 = 0
𝑍=
(4)
𝜇𝑡 (𝑥) − 𝑓(𝑥 + ) − 𝜖
,
𝜎𝑡 (𝑥)
где 𝜙(𝑍) – функция плотности Гаусса.
Из уравнений 4 видно, что EI будет большим, если (1) математическое ожидание
𝜇𝑡 (𝑥) высоко или (2) неопределенность 𝜎𝑡 (𝑥) высока.
Так же, как и в PI, ϵ контролирует поведение EI.
PI и EI тесно связаны между собой, выбор функции зависит от задачи. Так же могут
быть использованы такие функции, как алгоритм Томпсона (Thompson Sampling), верхняя
доверительная граница (Upper Confidence Bound) и другие [12].
2.2 Предсказание характеристик наночастиц
Другая важная задача – нахождеие количественной зависимости характеристик
наночастиц от параметров синтеза. Традиционные регрессионные модели ограничены
описанием лишь линейных зависимостей, которые крайне редко встречаются на практике,
и неудовлетворительно работают с качественным характеристиками, такими как
морфология частицы. Более продвинутые методы регрессии такие, как, например, метод
опорных векторов, алгортимы на деревьях, градиентный бустинг и гауссовский процесс,
превосходно улавливают даже самые сложные и многомерные зависимости, позволяя
делать более точные предсказания и эффективнее использовать ресурсы лабораторий.
2.2.1. Метод опорных векторов
Метод опорных векторов – алгоритм, который широко применяется для
классификации, то есть предсказания качественной величины. Суть метода в том, чтобы в
пространстве признаков 𝑋 ∈ ℝ𝑛 найти уравнение разделяющей гиперплоскости 𝜔1 𝑥1 +
𝜔2 𝑥2 + ⋯ +𝜔𝑛 𝑥𝑛 = 0, которая бы оптимально разделяла два класса [15].
Тогда преобразование 𝐹(𝑋): ℝ𝑛 ⟼ ℝ выглядит следующим образом:
𝐹(𝑋) = 𝑠𝑖𝑔𝑛(𝜔𝑇 𝑥 − 𝑏),
(5)
где 𝜔, b – коэффициенты гиперплоскости.
Чтобы найти наиболее оптимальную гиперплоскость, необходимо максимизировать
отступ (margin) от гиперплоскости до объектов классов (см. рисунок 3), которые находятся
к ней ближе всего (опорные вектора).
Рисунок 3 – Метод опорных векторов, красные кружки – опорные вектора, пустые кружки
принадлежат к классу -1, заполненные – к 1 [16]
Отступом называется величина 𝑀 = 𝑦(𝜔𝑇 𝑥 − 𝑏). Алгоритм классифицирует объект
правильно, если 𝑀 ≥ 1; ошибается, если 𝑀 ≤ 0. Если 𝑀 ∈ (0, 1), то объект попадает внутрь
разделяющей полосы. Если не допускать попадание объектов в разделяющую полосу, то
такой алгоритм будет иметь жесткую границу; в противном случае – мягкую. Тогда задача
сводится к:
(𝜔𝑇 𝜔)⁄2 + 𝛼 ∑ 𝜉𝑖 ⟶ 𝑚𝑖𝑛
{
𝑦(𝜔𝑇 𝑥𝑖 − 𝑏) ≥ 1 − 𝜉𝑖
𝜉𝑖 ≥ 0
,
(5)
где 𝜉𝑖 – ошибка на каждом объекте 𝑥𝑖 : в случае жесткой границе равна 0.
Одно из ограничений метода опорных векторов – это то, что объекты разных классов
возможно разделить линейно. Для того, чтобы его обойти, введено понятие ядерного
преобразования (kernel trick) [17]. Цель ядерного преобразование – перевести объекты в
признаковое пространство высшей размерности. Тогда, если данные 𝑥, 𝑧 ∈ 𝑋 и функция
𝜙: 𝑋 ⟼ ℝ𝑛 , то
𝑘(𝑥, 𝑧) = ⟨𝜙(𝑥), 𝜙(𝑧)⟩
(6)
является ядерной функцией. Ядерные функции имеют разный вид, самые распространенные – полиномиальная и гауссовская [17]. Например, полиномиальная функция второго
порядка выполняет преобразование 𝜙: 𝑋 ⟼ ℝ2𝑛 при 𝑋 ∈ ℝ𝑛 .
Гауссовское ядро используется наиболее часто.
𝑘(𝑥, 𝑧) = 𝑒𝑥𝑝 (−
‖𝑥 − 𝑧‖22
),
2𝜎 2
(7)
где ‖𝑥 − 𝑧‖22 – квадрат евклидового расстояния.
Ядро Гаусса выполняет преобразование 𝜙: 𝑋 ⟼ ℝ∞ , что позволяет создать крайне
сложные нелинейные гиперплоскости (см. рисунок 4).
Рисунок 4 – Пример разделения объектов на классы с помошью ядра Гаусса [17]
2.2.2. Алгоритмы на деревьях
Решающее дерево делает свои предсказание на основе множества простых правил
(предикатов). Такой алгоритм плохо обощает данные, но из-за его простоты часто
используется в качестве кирпичика более сложного алгоритма, который называется
случайный лес [18].
Рисунок 5 – Пример решающего дерева [18].
В каждой вершине дерева находится предикат 𝐵𝑣 : 𝑋 ⟼ {0, 1}, который определяет в
какую следующую вершину отправится объект. Предикаты могут иметь сложный вид, но
чаще всего используется сравнение с порогом. В листьях дерева (на рисунке желтые
прямоугольники с цифрами) находятся объекты (или один объект), предсказание делается
по среднему значению целевой переменной (для регрессии) или по наиболее часто
встречающемуся (для классификации) [19].
Ветвление дерева – сложная задача, которую можно решать как жадными
алгоритмами, так и более оптимизированными методами. Выбор порога ветвления может
осуществляться в соответствии с различными критериями. Все они опираются на
неопределенность в листе дерева: чем меньше неопределенность, тем лучше данный
предикат. Для задач регрессии мерой неопределенности может служить среднеквадратичная
или средняя абсолютная ошибка в листе, для задач классификации – энтропия, ошибка
классификации
(вероятность
несовпадения
класса
объекта
с
наиболее
часто
встречающимся классом в листе) или критерий Джини [19].
Из структуры дерева можно вывести, что дерево решений не экстраполирует
зависимости за границы обучающих данных и обладает очень низкой обобщающей
способностью (можно создать дерево, которое «ничего не знает», то есть в листья которого
попал ровно один объект). Для борьбы с этими проблемами, вводится алгоритм случайного
леса.
Предсказание любой модели Q(a) можно разложить на сумму трех компонентов:
смещение (bias), разброс (variance) и ошибка (error). Случайный лес борется с разбросом,
то есть делает предсказание более стабильным, по сравнению с одним решающим деревом.
Случайный лес объединяет в себе десятки или сотни глубоких решающих деревьев
(бэггинг), каждое из которых тренируется не на всем объеме данных, а на выборке с
возвращением (бутстрап). Так же разные деревья могут получать данные с разными
признаками, что делает алгоритм более устойчивым к выбросам или пропущенным
значениям. Предсказание делается по среднему значению предсказаний всех деревьев для
регрессии или по наиболее частому – для классификации [20].
Случайный лес – один из самых сильных классических алгоритмов машинного
обучения, которые мы знаем на данный момент. Он устойчив и малочувствителен к
выбросам, что делает его перспективным для использования в финансах, медицине и
анализе данных.
2.2.3. Градиентный бустинг
В отличие от бэггинга, бустинг строит части алгоритма последовательно, когда
каждый последующий алгоритм исправляет ошибки предыдущего. Таким образом,
предсказание является суммой предсказаний всех базовых алгоритмов (см. рисунок 6).
𝑦̂ = 𝑓0 (𝑥) + ∆1 (𝑥) + ⋯ + ∆𝑀 (𝑥) = 𝐹𝑚 (𝑥)
Рисунок 6 – Градиентный бустинг [21]
Задача для регрессии будет выглядеть следующим образом:
𝑁
1
2
ℒ(𝑦, 𝑥) = ∑(𝑦𝑖 − 𝑎(𝑥𝑖 )) → 𝑚𝑖𝑛
2
𝑖=1
Тогда двигаясь по антиградиенту функции потерь ℒ, будем приближаться к точке
оптимума.
𝑔𝑖𝑘 =
𝜕ℒ(𝑦𝑖, 𝑧)
|
𝜕𝑧
𝑧=𝑎𝑘 (𝑥𝑖 )
Рисунок 7 – Оптимизация градиентного бустинга [18]
Таким образом, каждый алгоритм, двигаяся по направлению антиградиента,
приближает алгоритм к истинному значению целевой переменной. Данное правило
обобщается на любые дифференцируемые функции потерь.
Градиентный бустинг и его вариации (XGBoost, LightGBM, CatBoost) занимают
лидирующие позиции среди классических алгоритмов машинного обучения в задачах с
табличными данными. В статье Olson et al. (2018) [22] сравнили 13 наиболее популярных
алгоритмов на 165 задачах. В результате было выяснено, что градиентный бустинг занимал
верхние позиции в рейтинге в среднем
чаще с большим отрывом (на втором месте
находился случайный лес).
Рисунок 8 – Средняя позиция в рейтинге алгоритмов по 165 задачам.
Таким образом, градиентный бустинг является многообещающим алгоритмом
регрессии и классификации для задач из любых сфер науки и техники.
3. Методы исследования наночастиц
Характеризация наночастиц является важным этапом для понимания их структуры,
морфологии, химических и магнитных свойств, которые играют важную роль в
определении их характеристик и потенциальных приложений. Были разработаны
различные
методы
характеризации
для
исследования
наночастиц.
Эти
методы
предоставляют ценную информацию о их размере, форме, кристаллической структуре,
поверхностном составе, магнитных свойствах и др. В данном разделе мы рассмотрим
некоторые часто используемые методы для характеризации магнитных наночастиц,
включая рентгеновскую дифракцию (XRD), просвечивающую электронную микроскопию
(ПЭМ) и исследование магнитных свойств материалов путем построения кривой
гистерезиса при помощи сквид-магнетометра.
3.1. Рентгеновские методы исследования
Рентгеновские методы исследования широко используются для исследования как
обычных материалов, так и наноматериалов. Они включают в себя такие методы, как
рентгеноструктурный и рентгенофазовый анализ.
Суть всех рентгеновских методов анализа состоит в облучении образца квантами
рентгеновского излучения и регистрации дифрагированных лучей (см. рисунок 9).
Рисунок 9 – Схема отражения рентгеноского излучения от кристаллографической плоксти
(hkl)i в одном из зерен поликристалла [23]
Основой для этих методов является уравнение Вульфа-Бреггов:
2𝑑ℎ𝑘𝑙 𝑠𝑖𝑛𝜃 = 𝑛𝜆,
(2)
где 𝑑ℎ𝑘𝑙 – межплоскостное расстояние,
𝜃 – угол дифракции пучка,
𝜆 – длина волны излучения.
Дифрагированные кванты рентгеновского излучения регистрируются детектором
при разных углах (см. рисунок 10).
Рисунок 10 – Дифрактограмма от поликристалла серебра [23]
Затем согласно уравнению (2) можно найти межплоскостные расстояния. Зная так
же интенсивность дифрагированного излучения, можно проводить количественный или
качественный фазовый анализ (РФА), исследовать текстуру образца, определять тип
твердого раствора и остаточные напряжения [23].
Исследование наночастиц методом РФА имеет некоторые сложности, связанные с
подготовкой образца. Наночастицы должны быть в сухом состоянии (необходима сушка и
чистка, если наночастицы находятся в растворе), затем из них подготавливается
плоскопараллельный диск, который помещается в дифрактометр для исследования [24].
3.2. Просвечивающая электронная микроскопия
Метод ПЭМ основан на бомбардировке образца высокоэнергетичными электронами,
которые как и в РФА дифрагируют на решетке образца. Из-за их высокой скорости, длина
волны Де-Бройля электронов на 1-2 порядка меньше, чем у рентгеновского излучения,
благодаря чему ПЭМ обладает высокой разрешающей способностью (десятые доли
нанометра) и увеличением (~105) [23].
Так же ПЭМ позволяет работать в режиме дифракции электронов (для исследования
симметрии материала образца) или микроскопии (см. рисунок 11), что позволяет детально
исследовать микроструктуру образца или симметрию в пределах одного зерна или
включения [23].
Рисунок 11 – Примеры изображения, полученных на ПЭМ. Слева – кольцевая
электронограмма; справа – микроскопической изображение углеродной реплики [23].
Математически дифракция электронов описывается уравнением (2), но из-за
малости углов дифракции электронов (десятые доли градуса) оно принимает более простую
форму:
𝜆𝐿 = 𝑅𝑑𝐻𝐾𝐿 ,
(3)
где L – расстояние от образца до экрана,
R –расстояние от (000) до (hkl) на электронограмме.
ПЭМ позволяет исследовать как размер, монодисперность и морфологию
наночастиц, так и кристаллическую структуру, параметры решетки и ее дефектность [25].
Подготовка образца для ПЭМ так же, как и для РФА, имеет свои особенности.
Наночастицы должны находиться в растворителе, который не реагирует с материалами
сетки, на которой они исследуются. Может потребоваться высушивание и очищение
наночастиц с последующим растворением, что так же неизбежно влечет потери и
временные затраты.
3.3. Исследование магнитных свойств
Построение кривой гистерезиса с использованием сквид-магнетометра является
одним из основных методов для изучения магнитных свойств материалов, включая
наночастицы с магнитными свойствами [25]. Сквид-магнетометр (Superconducting Quantum
Interference Device) – это высокочувствительное устройство, основанное на принципе
квантового интерферометра на основе сверхпроводников.
Для построения кривой гистерезиса с помощью сквид-магнетометра, образец
наночастиц погружается в магнитное поле, которое изменяется в заданных пределах. Затем
происходит измерение магнитной индукции образца в зависимости от величины и
направления внешнего поля. Эти измерения выполняются при различных значениях
магнитного поля, обычно до насыщения [26].
По полученным данным строится кривая гистерезиса (см. рисунок 12), которая
представляет собой график зависимости магнитной индукции образца от величины
магнитного поля. Кривая гистерезиса отображает поведение магнитных материалов при
изменении магнитного поля и содержит информацию о их магнитных свойствах, таких как
коэрцитивная сила (HC), индукция насыщение (MS) и остаточная намагниченность (MR).
Рисунок 12 – Кривая гистерезиса [27]
Использование сквид-магнетометра для построения кривой гистерезиса позволяет
более точно и чувствительно измерять магнитные свойства наночастиц и получать
информацию о их магнитной структуре и поведении под воздействием магнитного поля.
Этот метод является важным инструментом для исследования и характеризации магнитных
наночастиц и находит широкое применение в области нанотехнологий и материаловедения.
4. Применение димерных магнитных наночастиц
Одним из важных применений димерных магнитных наночастиц является
таргетированная доставка лекарств. Благодаря своей магнитной природе, ДМНЧ могут быть
направлены в определенные участки организма с помощью внешнего магнитного поля. Это
позволяет увеличить концентрацию лекарственных препаратов в целевой области и снизить
их системное распространение, что приводит к более эффективному и точному лечению
различных заболеваний [28].
Еще одним важным направлением применения ДМНЧ является тераностика.
Тераностика объединяет диагностические и терапевтические функции в одной системе, что
позволяет одновременно обнаруживать и лечить заболевания. ДМНЧ могут быть
функционализированы с помощью различных молекул и маркеров, которые позволяют
визуализировать опухоли или другие патологические изменения в организме. Они также
могут использоваться для гипертермии, то есть нагревании опухоли при воздействии на нее
магнитным полем, что открывает перспективы локализованного лечению рака [29].
Кроме того, ДМНЧ могут служить контрастными агентами в области медицинского
изображения, такого как магнитно-резонансная томография (МРТ). Благодаря их
магнитным свойствам, они обеспечивают улучшенную контрастность и позволяют
получать более детальные и точные изображения внутренних органов и тканей [30].
Выводы
В данной работе исследованы и представлены методы оптимизации синтеза
наночастиц с использованием методов машинного обучения. Описаны проблемы, с
которыми сталкиваются исследователи при синтезе, и показано, что методы машинного
обучения могут существенно улучшить этот процесс.
Активное обучение и байесовская оптимизация могут быть эффективны в выборе
оптимальных параметров синтеза, сокращая затраты на время и ресурсы. Методы регрессии
и классификации могут помочь анализировать и предсказывать свойства наночастиц на
основе имеющихся данных.
Наша работа показывает, что применение методов машинного обучения в
оптимизации синтеза наночастиц может привести к значительным улучшениям в
эффективности и надежности процесса синтеза. Однако, существует потребность в
дальнейших исследованиях для более полного изучения и разработки методов их
применения на практике.
СПИСОК ИСТОЧНИКОВ
1 – S. Liu, B. Yu, S. Wang, et al., Preparation, surface functionalization and application of Fe3O4
magnetic nanoparticles. Advances in Colloid and Interface Science 2019
2 – Stankic, S., Suman, S., Haque, F. et al. Pure and multi metal oxide nanoparticles: synthesis,
antibacterial and cytotoxic properties. J Nanobiotechnol 14, 73 2016
3 – Yu H, Chen M, Rice PM, Wang SX, White RL, Sun S. Dumbbell-like bifunctional Au-Fe3O4
nanoparticles. Nano Lett. 2005
4 – J. Canet-Ferrer, P. Albella, A. Ribera, et al., Hybrid magnetite–gold nanoparticles as
bifunctional magnetic–plasmonic systems: three representative cases. NanoscaleHoriz. 2017
5 – Xie J, Zhang F, Aronova M, Zhu L, Lin X, Quan Q, Liu G, Zhang G, Choi KY, Kim K, Sun
X, Lee S, Sun S, Leapman R, Chen X. Manipulating the power of an additional phase: a flowerlike Au-Fe3O4 optical nanosensor for imaging protease expressions in vivo. ACS Nano. 2011
6 – Włodarczyk, A.; Gorgoń, S.; Radoń, A.; Bajdak-Rusinek, K. Magnetite Nanoparticles in
Magnetic Hyperthermia and Cancer Therapies: Challenges and Perspectives. Nanomaterials
2022
7 – Saimon Moraes Silva, Roya Tavallaie, Lydia Sandiford, et al., Gold coated magnetic
nanoparticles: from preparation to surface modification for analytical and biomedical
applications. Chem. Commun., 2016
8 – Pedro Tarta et al., Topical Review, “The Preparation of Magnetic Nanoparticles for
Applications in Biomedicine”, Journal of Physics D: Applied Physics; 36 2003
9 – Bunge, Mario. “A General Black Box Theory.” Philosophy of Science 30, no. 4 (1963)
10 – Burr Settles. Active Learning Literature Survey. Computer Sciences Technical Report 1648,
University of Wisconsin – Madison. 2009
11 – Rasmussen, C.E. Gaussian Processes in Machine Learning. In: Bousquet, O., von Luxburg,
U., Rätsch, G. (eds) Advanced Lectures on Machine Learning 2003
12 – [Электронный ресурс] https://distill.pub/2020/bayesian-optimization/ - 27.06.2023
13 – Tong, S. “Active learning: theory and applications.” (2001)
14 – Mockus, Jonas and Linas Mockus. “Bayesian approach to global optimization and
application to multiobjective and constrained problems.” Journal of Optimization Theory and
Applications 70 1991
15 – Evgeniou, T., Pontil, M. (2001). Support Vector Machines: Theory and Applications. In:
Paliouras, G., Karkaletsis, V., Spyropoulos, C.D. (eds) Machine Learning and Its Applications.
ACAI 1999
16 – [Электронный ресурс] https://staesthetic.files.wordpress.com/2014/02/svm.png?w=1060
– 27.06.2023
17 – [Электронный ресурс] https://ocw.mit.edu/courses/15-097-prediction-machine-learningand-statistics-spring-2012/resources/mit15_097s12_lec13/ – 28.06.2023
18 – [Электронный ресурс] https://academy.yandex.ru/handbook/ml/ – 28.06.2023
19 – Quinlan, J.R. Induction of decision trees. Mach Learn 1, 81–106 (1986)
20 – Breiman, L. Random Forests. Machine Learning 45, 5–32 (2001)
21 – [Электронный ресурс] https://explained.ai/gradient-boosting/L2-loss.html – 28.06.2023
22 – Olson RS, Cava W, Mustahsan Z, Varik A, Moore JH. Data-driven advice for applying
machine learning to bioinformatics problems. Pac Symp Biocomput. 2018
23 – Дефекты кристаллического строения металлов и методы их анализа : учебник / В.К.
Портной, А.И. Новиков, И.С. Головин. – М. : Изд. Дом МИСиС, 2015. – 508 с.
24 – Holder CF, Schaak RE. Tutorial on Powder X-ray Diffraction for Characterizing Nanoscale
Materials. ACS Nano. 2019
25 – Mourdikoudis S, Pallares RM, Thanh NTK. Characterization techniques for nanoparticles:
comparison and complementarity upon studying nanoparticle properties. Nanoscale. 2018
26 – [Электронный ресурс]
http://squid.iitd.ernet.in/Basic_Literature.htm#:~:text=This%20is%20the%20basic%20working
3) – 29.06.2023
27 – [Электронный ресурс] https://old.bigenc.ru/physics/text/2362592 - 29.06.2023
28 – Xu C, Wang B, Sun S. Dumbbell-like Au-Fe3O4 nanoparticles for target-specific platin
delivery. J Am Chem Soc. 2009
29 – Efremova MV, Naumenko VA, Spasova M, et al., Magnetite-Gold nanohybrids as ideal allin-one platforms for theranostics. Sci Rep. 2018
30 – Xie H, Zhu Y, Jiang W, et al., Lactoferrin-conjugated superparamagnetic iron oxide
nanoparticles as a specific MRI contrast agent for detection of brain glioma in vivo.
Biomaterials. 2011