高稳定集成衍射神经网络实现多场景光学推理
董毅博
上海理工大学 · 智能科技学院
中国 · 杭州
1
背景
现阶段人工智能硬件的算力能耗困境
冯·诺依曼
冯诺依曼架构
2
背景
3
现阶段人工智能硬件的算力能耗困境
冯·诺依曼
冯诺依曼架构
A. Gholami, Al and Memory Wall, 2021
Human brain
ChatGPT-3
VS.
• 175 billion parameters
• 1024 A100 GPU training for 1 month
• Consumption: 400 kW
• 100 billion neurons
• Consumption: 20 W
背景
4
光子计算的优越性
光学神经网络 PNNs
• 被动传播
• 光速计算
• 低串扰
• 多维复用
•
潜在计算速度: petaMAC/s/mm2 (MAC: multiplyaccumulate operations)
•
能效: attojoule/MAC
背景
5
从空间维度划分光学神经网络
硅基等片上集成光学网络（二维）
 片上集成
 丰富的器件库
 复杂的神经元和计算功能
 神经元数目和密度有限
 计算通量有限
Ashtiani, F., et al. (2022), Nature 606, 501
衍射神经网络DNNs等（三维）
 高信息通量
 高神经元数目
 神经元连接构建简单
 难以实现集成
 神经元模型简单，缺少可重构、非线
性等功能
Lin, X., et al. (2018). Science 361, 1004.
背景
6
衍射神经网络研究
架构网络创新
应用创新
光电混
合
光学逻辑运算
Nature 623, 48–57 (2023).
光学卷积衍射网络
Science Advances 2024, 10,
eadn2205
Qian, C., et al. (2020). Light: Science
& Applications 9(1): 59.
波达角（DOA）估计
Light Sci Appl 13, 161 (2024).
集成创新
激光3D打印
Nature Communications 2022, 13,
7531
超表面CMOS集成
Luo et al. Light: Science &
Applications (2022) 11:158
背景
7
衍射神经网络集成面临的问题
 常规太赫兹波段
• 厘米体积
• 难以集成
Lin, X., et al. (2018).
Science 361, 1004.
Science Advances
2021,7,eabd7690
多层
衍射
神经
网络
集成
有机物材料，
可靠性、稳
定性差
3D
打
印
Goi, E., et al. (2021). Light: Science &
Applications 10, 40.
网络变为二维，
失去了高通量
优势
硅
光
Nature Communications 2023, 14, 70.
背景
为什么要衍射神经网络需要多层？
• 深度神经网络中的单层运算
*矩阵乘法
.*元素对应相乘
Y=W*X+B
W为权重矩阵，每个元素可训练
• 衍射神经网络中的单层运算
Y=X*WDNN.*T
WDNN为瑞利索末菲衍射定义的传播矩阵，在波长、
像素、距离确定时为常数。训练的是透射矩阵T。
• 增加衍射层数，可以使权重矩阵的元素随机性增加
Y=X*WDNN.*T1*WDNN.*T2*WDNN.*T3*WDNN
趋近
Y=X*W（深度神经网络权重取值）
8
背景
为什么要衍射神经网络需要多层？
• 深度神经网络中的单层运算
*矩阵乘法
.*元素对应相乘
Y=W*X+B
W为权重矩阵，每个元素可训练
• 衍射神经网络中的单层运算
Y=X*WDNN.*T
WDNN为瑞利索末菲衍射定义的传播矩阵，在波长、
像素、距离确定时为常数。训练的是透射矩阵T。
• 增加衍射层数，可以使权重矩阵的元素随机性增加
Y=X*WDNN.*T1*WDNN.*T2*WDNN.*T3*WDNN
趋近
Y=X*W（深度神经网络权重取值）
9
双层集成衍射神经网络
将双层衍射神经网络集成在一个透明石英晶圆的正反面
 Wavelength: 532 nm
 Layer spacing: 500 um
 Pixel number of each layer: 1000x1000;
 Pixel size: 8x8 um2
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
10
11
双层集成衍射神经网络
将双层衍射神经网络集成在一个透明石英晶圆的正反面
DNN
chip
 Wavelength: 532 nm
 Layer spacing: 500 um
 Pixel number of each layer: 1000x1000;
 Pixel size: 8x8 um2
1 cm
DNN
chip
x1
x2
x3
∑ ejφ1
1
∑ ejφ2
1
∑
∑
ejφ1
2
y1
ejφ2
2
y3
…
…
…
…
xn
∑ ejφ1
n
∑ ejφ2
n
y1
Input
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
y1
0
Output
1st layer
2nd layer
12
双层集成衍射神经网络
衍射神经网络设计
Bilayer DNNs：Recognize handwritten
digits of 0 to 9 (binary phase modulation)
1st layer
2nd layer
Monolayer DNNs：Recognize handwritten
digits of 0 and 1 (4-level phase modulation)
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
双层集成衍射神经网络
13
训练结果
Training set: accuracy: 96.1%
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
14
双层集成衍射神经网络
芯片制备
1. Spin coating photoresist
2. Photolithography
3. Dry etching
4. Dissolve photoresist
with acetone
5. Spin coating photoresist
6. Photolithography
8. Dissolve photoresist
with acetone
9. Spin coating photoresist
Phase: 0
Phase: 0
10. Photolithography
11. Dry
etching
3/2pi: 6974 Å
Pi: 4753 Å
Phase: 1/2
pi
12. Dissolve photoresist
with acetone
Height (Å)
7. Dry etching
1/2pi: 2309 Å
Phase: 3/2
pi Phase: pi
Phase: 1/2
Phase: 0
pi
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
15
双层集成衍射神经网络
实验光路
• 双层DNNs：识别0~9
Test set: accuracy: 85.4% Test set: accuracy: 82%
(Experimental)
(Simulation)
实验结果
• 单层DNNs：识别0~1
Test set: accuracy: 100%
(Experimental)
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
16
双层集成衍射神经网络
• 衍射神经网络误差分析
• 对齐误差
• 层间距误差
• 波长误差
• 输入层偏移误差
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
17
双层集成衍射神经网络
芯片老化寿命分析（阿伦尼乌斯公式）
• 石英基底衍射神经网络具有高稳定性
• 老化后仍可以稳定工作
• 300K: 5.81×1042 s (1.84×1023 trillion years)
• 500K: 7.71×1023 s (2.44×104 trillion years)
•
•
•
•
•
k is the decay rate
A is the frequency factor,
kB is the Boltzmann constant
Ea is the activation energy
T is the absolute temperature
Yibo Dong, et al. Communications Engineering 3, 64 (2024)
多场景工作的集成衍射神经网络（水和空气）
“水路两栖”衍射神经网络芯片
Haitao Luan, Yibo Dong*, Qiming Zhang*, Min Gu*. Chinese Optics Letters 22, 12 (2024) (Invited)
18
19
多场景工作的集成衍射神经网络（水和空气）
• 芯片结构模型
“水路两栖”衍射神经网络芯片
• 芯片运算模型
Haitao Luan, Yibo Dong*, Qiming Zhang*, Min Gu*. Chinese Optics Letters 22, 12 (2024) (Invited)
• 芯片样品
多场景工作的集成衍射神经网络（水和空气）
多目标优化算法
通过多目标优化实现水中和空气中同时工作的网络训练，同时考虑水中和空气中的相
位调制差异，对相位取值范围进行约束（水：0~2pi；空气：0~6pi）
Haitao Luan, Yibo Dong*, Qiming Zhang*, Min Gu*. Chinese Optics Letters 22, 12 (2024) (Invited)
20
21
多场景工作的集成衍射神经网络（水和空气）
• 加工相位调制偏差影响
• 衍射层（训练）
• 衍射层（实验）
• 对齐误差影响
Haitao Luan, Yibo Dong*, Qiming Zhang*, Min Gu*. Chinese Optics Letters 22, 12 (2024) (Invited)
多场景工作的集成衍射神经网络（水和空气）
• 实验光路
Haitao Luan, Yibo Dong*, Qiming Zhang*, Min Gu*. Chinese Optics Letters 22, 12 (2024) (Invited)
22
23
多场景工作的集成衍射神经网络（水和空气）
• 实验结果
• 混淆矩阵（每类测试250张）
91.5%
91.4%
四类
数字
94.6%
四类
物品
Haitao Luan, Yibo Dong*, Qiming Zhang*, Min Gu*. Chinese Optics Letters 22, 12 (2024) (Invited)
92.6%
石英/硅基底多值相位版的高精度加工
• 衍射神经网络的阶数对准确率和衍射效率会产生影响
• 如何实现高稳定（石英等）、纳米级分辨率的多
值衍射板制备：
（1）电子束光刻 （工艺复杂、效率低）
（2）纳米压印（自由度低）
Table 1. The simulated accuracy of fashion products
recognition with different phase discretization levels
Phase
discretization
Air
Water
256-level
98.7%
98.5%
8-level
98.1%
98.1%
4-level
97.4%
97.5%
2-level
96.3%
96.8%
Accuracy (test set)
24
25
石英/硅基底多值相位版的高精度加工
• 衍射神经网络的阶数对准确率和衍射效率会产生影响
• 如何实现高稳定（石英等）、纳米级分辨率的多
值衍射板制备：
1. 激光打印三维掩膜
2. ICP共刻蚀
（气体工艺选择）
（1）电子束光刻 （工艺复杂、效率低）
（2）纳米压印（自由度低）
Table 1. The simulated accuracy of fashion products
recognition with different phase discretization levels
Phase
discretization
Air
Water
256-level
98.7%
98.5%
8-level
98.1%
98.1%
4-level
97.4%
97.5%
2-level
96.3%
96.8%
Accuracy (test set)
3. 灰度光刻
石英/硅基底多值相位版的高精度加工
• 一次加工实现4-8值相位衍射板
• 加工分辨率百纳米
• 也可以实现石英衬底的双面对齐光刻和加工
8值相位版（硅）
Unpublished
8值相位版（石英）
2
6
展望：衍射神经网络的三维集成
• 光计算系统的计算速度受限于最慢的模块——输入
• 目前，人类的数据存储主要是数字信息，直接处理
外界模拟光信息的应用场景小
SLM
（几十Hz~几百Hz）
Mask
Lin, X., et al. (2018). Science 361, 1004.
27
28
展望：衍射神经网络的三维集成
• 光计算系统的计算速度受限于最慢的模块——输入
• 目前，人类的数据存储主要是数字信息，直接处理
外界模拟光信息的应用场景小
• 引入VCSEL阵列作为
数字编码光源
SLM
（几十Hz~几百Hz）
Mask
Lin, X., et al. (2018). Science 361, 1004.
Types
Size of
Modulation
optical setup bandwidth
DNNs w
VCSEL
10-3~10-2 m
GHz
DNNs w/o 10-1~100 m
VCSEL
kHz
Min Gu*, Yibo Dong*, et al., Nanophotonics 2023; aop
29
展望：衍射神经网络的三维集成
• 三维光芯片垂直集成：光源、衍射网络、探测器
• 科学难点：基于VCSEL光源的网络设计（模式、相干性）
Detector array
Data output
dog
cat
duck
bird
fish
frog
DNNs
Data processing
VCSEL array
Data input
3D vertical integrated
photonic chip
Min Gu*, Yibo Dong*, et al., Nanophotonics 2023; aop
30
展望：VCSEL在自由空间光计算中会有重要应用
• 自由空间光计算的方案不止衍射一种
• VCSEL可以作为神经元、光源、非线性
层，实现储备池计算、深度神经网络、
脉冲神经网络
Nat. Photon. 17, 723–730
(2023).
GuanZhong Pan, Meng Xun*, Yibo Dong*. et al, Light: Science & Applications 13, 229 (2024)
致谢
顾敏院士、方心远教授、栾海涛副教授参与指导
31
Shanghai Municipal Commission
of Science and Technology
 合作单位：中国科学院微电子研究所
吴德馨院士、荀孟副研究员、潘冠中副研究员
Shanghai Municipal
Commission of Education
2024年神经形态光子学国际会议 11月23-24日 上海
32
主办单位
上海理工大学智能科技学院 上海理工大学光子芯片研究院
大会主席
Conference Chairs
顾敏 院士
崔铁军 院士
Lorenzo Pavesi 教授
大会报告主讲人
Stefan W. Hell 马克斯·普朗克医学研究所
崔铁军 东南大学
Martin Booth 牛津大学
陈红胜 浙江大学 中国
傅岚 澳大利亚国立大学
Lorenzo Pavesi 特伦托大学
Ripalta Stabile 埃因霍芬理工大学
万青 南京大学
谢谢！
请各位专家批评指正！