第 ４７ 卷 第５期 Vo l． ４７,No． ５ May,２０２０ 中 国 激 光 CHINESEJOURNALOFLASERS ２０２０ 年 ５ 月 特邀综述 光子神经网络发展与挑战 陈宏伟１,２∗,于振明３,张天３,臧裕斌１,２,淡一航３,徐坤３ １ ２ ３ 摘要 清华大学电子工程系,北京 １０００８４; 北京信息科学与技术国家研究中心,北京 １０００８４; 北京邮电大学信息光子学与光通信国家重点实验室,北京 １００８７６ 近年来,以神经网络为代表的人工智能技术 正 向 着 高 速 低 功 耗 的 方 向 快 速 发 展. 然 而,受 限 于 电 子 器 件 的 固有极限,传统电子神经网络难以进一步提高功率效率与计算速度.而光子神经 网 络 能 够 有 机 地 将 光 电 子 技 术 与 神经网络模型相结合,提供了突破这一瓶颈的有效手段.为了更好地了解光子神经网络的发展历程,把握当前光子 神经网络的研究热点以及展望未来光子神经网络 的 发 展 方 向,本 文 对 光 子 前 馈、循 环 以 及 脉 冲 神 经 网 络 的 研 究 现 状 进行梳理,以阐释光子神经网络在实时训练、非线性运算、规模化和实用化方面面临的挑战及未来发展的趋势. 关键词 光计算;神经网络;光电子技术;人工智能 O４３６ 中图分类号 文献标志码 A do i:１０． ３７８８/CJL２０２０４７． ０５００００４ Advanc e sandCha l l eng e so fOp t i c a lNe u r a lNe two rk s Chen Hongwe i１ ２∗ YuZhenmi ng３ ZhangTi an３ Zang Yub i n１ ２ DanYi hang３ XuKun３ Depar tmen tof El e c t r on i cEngi ne e r i ng Ts i nghuaUn i v e r s i t i i ng １０００８４ Ch i na y Be j １ ２ Be i i ng Na t i ona lRe s ear chCen t e rf o rIn o rma t i onSc i enc eandTe chno l ogy BNRi s t j f ３ Be i i ng １０００８４ Ch i na j St a t eKeyLab o ra t o ryofIn o rma t i onPho t on i c sandOpt i ca lCommun i ca t i on s f Be i i ng Un i v e r s i t s t sandTe l e c ommun i ca t i on s Be i i ng １００８７６ Ch i na j yof Po j Ab s t r a c t Neu r a lne two r ks a soneo ft hemo s tr ep r e s en t a t i vet e chn i si na r t i f i c i a li n t e l l i e havebe eni nr ap i d que genc de ve l opmen tt owa r ds h i ompu t a t i ona lspe ed andl ow powe rc o s t敭Duet oi n t r i ns i cl imi t a t i ons b r ough t by gh c e l e c t r on i cde v i c e s i tc an be ha r df o re l e c t r on i cimp l emen t ed neu r a lne two r kst of u r t he rimp r ovet he s etwo r f o rmanc e s敭Op t i c a lneu r a lne two r ksc anc omb i nebo t hop t oe l e c t r on i ct e chn i r a lne two r k mode lt o pe queandneu r ov i deway st ob r e akt hebo t t l ene ck敭I no r de rt ohaveab r i t e rv i ewont heh i s t o r r on t i e r sandf u t u r eo fop t i c a l p gh yf neu r a lne two r ks op t i c a lneu r a lne two r kso ff e ed Ｇ f o rwa r dr e cu r r en tandsp i k i ngmode l sa r ei l l us t r a t edi nt h i spape r敭 Cha l l enge sandf u t u r et r endso fop t i c a lneu r a lne two r ksoni ns i t ut r a i n i ng non l i ne a rc ompu t i ng expand i ngs c a l e andapp l i c a t i onswi l lt husber e ve a l ed敭 Ke r d s op t i c si nc ompu t i ng neu r a lne two r ks op t oe l e c t r on i ct e chno l ogy a r t i f i c i a li n t e l l i e genc ywo OCI Sc od e s ２００敭 ４７００ ２３０敭 ２０９０ ２５０敭 ４３９０ １ 引 构 ,建 立 神 经 网 络 中 各 层 神 经 元 之 间 的 连 接 . 集 言 人 工 智 能 ,作 为 当 今 信 息 科 学 中 最 为 活 跃 的 领 域 之 一 ,在 机 器 视 觉 踪 [ ３] 、自 动 驾 驶 [ １] 及自然语言处理等领域 、目 标 跟 [ ２] 有着重要应用.人 [ ４ Ｇ ５] 工 神 经 网 络 ,作 为 人 工 智 能 最 重 要 的 模 型 之 一 ,因 具有良好的泛化能力和鲁棒性而被广 泛 应 用 于 各 类场景之中.人工神经网络通过 模 仿 神 经 系 统 结 成 电 路( IC)芯 片 是 当 今 主 流 神 经 网 络 模 型 训 练 和 测 试 的 硬 件 载 体 ,传 统 的 神 经 网 络 可 以 在 CPU、 GPU、现 场 可 编 程 门 阵 列 ( FPGA)以 及 专 用 集 成 电 ) . , 路( AS IC 上 运 行 然 而 无 论 采 用 何 种 IC 芯 片 作 为 载 体 ,其 所 采 用 的 冯 诺 伊 曼 结 构 都 会 将 程 序 空 间 与 数 据 空 间 分 离 ,从 而 导 致 存 储 器 与 计 算 单 元 之 间 产 生 大 量 潮 汐 性 数 据 荷 载 [６]. 频 繁 的 潮 汐 收稿日期:２０１９ Ｇ １１ Ｇ ２６;修回日期:２０１９ Ｇ １２ Ｇ １３;录用日期:２０１９ Ｇ １２ Ｇ ２４ ∗ 基金项目:北京市科技计划( Z１８１１００００８９１８０１１)、国家自然科学基金( ６１７７１２８４, ６１９０１０４５) E Ｇma i l:chenhw＠t s i nghua． edu． cn ０５００００４ Ｇ １ 中 国 性数据读写使得计算速率下降的同时 增 加 了 单 次 计 算 的 功 耗 . 当 前 ,研 究 人 员 主 要 通 过 采 用 提 高 集成度 和 存 内 计 算 [ ６] 这两种方案来提高运算效 率 ,但 这 两 种 方 案 也 面 临 很 大 挑 战 :一 方 面 ,通 过 激 光 含全连接神经网络与卷积神经网络这两类结构.光 子前馈神经网络中的矩阵运算主要是基于三角分解 [ ] 算法,该算法由 Re ck 等 １５ 于 １９９４ 年提出.三角分 解算法基于无源无 耗 器 件 传 输 矩 阵 的 一 元 性,证 明 不断缩小晶体管尺寸来提高运算速度 的 方 法 不 可 了分束器、移相器所 搭 建 的 三 角 形 网 络 能 够 实 现 任 的 量 子 效 应 ,使 得 进 一 步 提 升 晶 体 管 的 运 算 效 率 利用这一分解算法,基 于 马 赫Ｇ曾 德 尔 干 涉 仪(MZI) 持 续 ,不 断 缩 小 的 晶 体 管 尺 寸 将 会 带 来 逐 渐 显 著 变得很困难 ;另 一 方 面,存 内 计 算 的 方 案 将 面 临 [ ７] 大规模改造现行神 经 网 络 架 构 的 难 题,从 而 使 适 用 于存内计算的神经网络算法的可移植性和兼容性下 降 [６].也有研究人员采用频域计算 [８]的方案来提高 运算效率,但同样无 法 根 除 潮 汐 性 数 据 读 写 带 来 的 问题.除此之外,越 来 越 高 的 运 算 速 度 和 越 来 越 大 的神经网络规模对集成电路的频率响应提出了更高 的要求,从而加大了芯片的制造难度. 光(电)子技术,是 采 用 光 子 作 为 信 息 传 输 和 处 理基本载体的技 术. 相 比 传 统 的 电 子 技 术,光 (电) 子技术因具有大带 宽、低 损 耗 以 及 高 传 输 信 息 量 等 优势,已 在 通 信 、成 像 [ ９ Ｇ １０] 、雷 达 [ １１] [ １２] 以及信号处 理 [１３Ｇ１４]领域被广泛应用.将该技术与传统神经网络 [ ] 意参数和规 模 的 酉 矩 阵 [１５].２０１６ 年, Ri be i r o 等 １６ 设计了一个 可 实 现 任 意 ４×４ 酉 矩 阵 的 集 成 芯 片. [ ] 同年, Cl emen t s等 １７ 在 Re ck 等 方 案 的 基 础 上 进 行 优化设计,提出 了 矩 形 分 解 方 案. 结 合 奇 异 值 分 解 理论,即任意矩阵可 以 分 解 成 两 个 酉 矩 阵 与 一 个 对 角矩阵的乘积,可 以 利 用 马 赫Ｇ曾 德 尔 干 涉 仪 (酉 矩 阵)和可变衰减 器 (对 角 矩 阵)实 现 任 意 矩 阵.２０１７ [ ] 年, Shen 等 １８ 基 于 上 述 思 路 成 功 研 制 了 世 界 上 第 一款光子干涉计算 单 元 芯 片,他 们 先 用 该 芯 片 实 现 线性运算,然后结合 电 域 仿 真 的 非 线 性 激 活 函 数 构 建了全连接神经网络. 图 １( a)所 示 为 集 成 光 子 干 涉 计 算 单 元 (OIU) 示意图,该芯片的输入输出端口数均为 ４[１８],芯片内 部的红色结构用来 实 现 酉 矩 阵,蓝 色 结 构 用 来 实 现 模型结合,能够发挥光(电)子技术特有的优势,有望 对角矩阵.使用该芯片两次能够实现一层全连接神 突破传统 电 神 经 网 络 长 延 时、高 功 耗 等 技 术 瓶 颈. 经网络的线性运算.该全连接神经网络中的非线性 首先,光子神经网络采用存算一体的结构,规避了电 运算通过计算机仿真饱和吸收体的传输特性曲线实 神经网络存在的潮 汐 性 数 据 读 写 问 题,从 而 在 提 高 计算速度的同时能够有效降低计算时延;其次,光子 现.Shen 等利用 该 集 成 光 子 干 涉 计 算 单 元 搭 建 了 含有单个隐藏层的 全 连 接 神 经 网 络 模 型,实 现 了 四 神经网络连接链路损耗较低,能有效提升功率效率; 个元音的分类.使 用 时,待 识 别 的 元 音 信 号 首 先 被 并且相比于传统电 器 件,光 器 件 具 有 更 大 的 带 宽 和 调制于光脉冲上,之后通过芯片获得中间结果(调制 更短的响应时间,因 此 更 适 应 神 经 网 络 的 高 速 实 时 计算.此外,针对自动驾驶、图像处理这类前端为光 信号与酉矩阵、对角矩阵相乘).将该中间结果转化 为电信号处理后调 制 于 光 脉 冲 上 再 次 通 过 芯 片,便 传感的应用领域,光 子 神 经 网 络 能 够 在 物 理 层 直 接 能实现一层神经网络中的线性运算.该结果最后通 处理信息,从 而 可 以 避 免 光 电 转 换 引 入 的 延 时、功 过计算机仿真的非线性激活函数处理后得到一层网 耗、信噪比劣化等问题. 络的输出.重复两次上述操作即可实现该全连接网 目前,光 子 神 经 网 络 技 术 的 研 究 包 含 了 前 馈 神 经网络、循环神经网 络(储 备 池 计 算)以 及 脉 冲 神 经 网络这三种典型 结 构. 同 时,光 子 神 经 网 络 也 正 向 着可实时训练、规模 化 以 及 特 殊 应 用 领 域 等 方 向 继 续发展.本文旨在 回 顾 光 子 神 经 网 络 的 发 展,阐 述 目前已取得的阶段 性 进 展,并 揭 示 未 来 的 发 展 趋 势 和面临的挑战. 络,其识别元音的准确率可达７６． ７％ ,识别的混淆矩 阵如图 １( b)所示. 根 据 文 献 分 析 [１８],利 用 该 光 子 干 涉 计 算 单 元 搭建的光子 全 连 接 神 经 网 络 具 有 如 下 优 势: １)该 芯 片 利 用 光(电)子 技 术 将 每 层 权 重 矩 阵 直 接 映 射 至 MZ I中 移 相 器 的 相 位 上 ,从 而 规 避 了 传 统 电 神 经网络面临的潮汐性数据 荷 载 问 题; ２)未 来 ,借 助 于 相 变 材 料( PCM),该 芯 片 的 计 算 速 度 仅 受 芯 片 ２ 光子神经网络的研究现状 ２． １ 前馈神经网络 前馈神经网络的基本特征是神经网络各层之间 的信息由输入层向 输 出 层 单 向 传 递,该 网 络 一 般 包 尺 寸 、色 散 模 块 谱 宽 以 及 光 电 探 测 器 ( PD)性 能 的 限 制 ,从 而 使 得 该 芯 片 更 能 适 应 高 速 低 功 耗 的 神 经网络运算; ３)该 芯 片 的 计 算 时 延 将 显 著 低 于 传 统电神经网络. ０５００００４ Ｇ ２ 中 国 激 光 图 １ 集成光子干涉计算单元结构和元音识别混淆矩阵 [１８].( a)集成光子干涉计算单元结构;( b)元音识别混淆矩阵 F i t r uc t u r eo fi n t eg r a t edop t i c a li n t e r f e r enc eun i t OIU andc on f us i onma t r i c e so fvowe lr e c ogn i t i on１８ 敭 g敭１ S a S t r uc t u r eo fOIU b c on f us i onma t r i c e so fvowe lr e c ogn i t i onbyONNand６４ Ｇb i tc ompu t e r 在此光子干涉计算单 ２０１８ 年 , Baghe r i an 等 元芯片的基础上提出利用该芯片通过 时 分 复 用 的 子 图 ,将 其 与 同 等 大 小 的 卷 积 核 一 并 拉 长 成 为 向 卷积神经网络结构.构建出的卷 积 神 经 网 络 模 型 后 ,将 结 果 进 行 非 线 性 处 理 ,处 理 后 就 可 以 得 到 输 [ １９] 方 式 分 段 地 计 算 图 像 卷 积 ,从 而 构 建 更 加 复 杂 的 可用于彩色数字的识别.集成光 子 干 涉 计 算 单 元 输 入 端 的 延 时 线 结 构 如 图 ２( a)所 示 ,通 过 在 芯 片 输 入 端 口 前 附 加 延 时 线 结 构 ,实 现 了 不 同 位 置 的 卷积 核 与 对 应 特 征 图 的 相 乘 累 加 计 算 . 图 ２( b)为 使 用 芯 片 时 的 时 序 与 逻 辑 步 骤 . 首 先 ,将 输 入 图 片 按 RGB 三 色 切 为 垛 叠 的 三 片 ,并 根 据 卷 积 核 的 大 小 对 图 片 进 行 分 块 ;然 后 ,针 对 分 割 后 的 每 一 块 量 并 输 入 至 光 干 涉 芯 片 中 ;接 着 ,将 编 码 后 的 向 量 注 入 已 配 置 好 的 光 干 涉 模 块 中 实 现 卷 积 运 算 ;最 出 图 样 中 的 一 个 像 素 . 针 对 不 同 的 子 图 ,重 复 上 述操作便能得到一层卷积神经 网 络 输 出.这 一 工 作所采用的时分复用方式能够充分利 用 芯 片 来 实 现 图 片 卷 积 ,将 原 来 仅 能 进 行 四 元 音 分 类 的 简 单 全连接神经网络推广到了能够实现彩 色 图 像 识 别 的 卷 积 神 经 网 络 ,在 保 持 系 统 低 功 耗 、高 运 算 速 度 的 优 势 下 ,进 一 步 提 升 了 网 络 的 复 杂 度 . 图 ２ 集成光子干涉运算单元芯片前的延时线结构和光卷积神经网络实现的时序逻辑图 [１９].( a)延时线结构;( b)时序逻辑图 F i t r uc t u r eo fde l ayl i nebe f o r eOIUandl og i candt imi ngcha r to ft heop t i c a l g敭２ S c onvo l u t i ona lneu r a lne two r k１９ 敭 a S t r uc t u r eo fde l ayl i ne b l og i candt imi ngcha r t ２． ２ 循环神经网络(存储池计算) 与前馈神经网络不同,循环神经网络(又被称为 存储池计算)各层之间的信息除了单向传递外,还存 在节点间 的 连 接 与 后 向 反 馈 连 接 [２０Ｇ２２]. 如 图 ３( a) 所示,循环神经网络 主 要 由 输 入 层、中 间 层 (又 称 为 存储池)以及输 出 层 组 成. 除 了 各 层 之 间 的 前 馈 连 接 Win、Wout之外,还存 在 存 储 池 内 部 节 点 之 间 的 互 连 Wres以及输 出 层 至 存 储 池 之 间 的 反 馈 Wback. 训 练时只训练 Wout就能使整个网络实现相应的功能. 使用 光 电 子 器 件 构 建 循 环 神 经 网 络 时,存 在 两 种方案.第一种是采用如图 ３( a)所 示 的 并 行 结 构, 即循环神经网络的每一个节点都用一个光电子器件 搭建.这种方案的 优 点 是 直 观 性 较 好,并 且 得 益 于 并行 计 算,计 算 速 度 较 快.２０１１ 年,Vandoo rne 等 [２３]利用半导体 光 放 大 器 ( SOA)的 增 益 饱 和 效 应 和动态弛豫特性来分别构建循环神经网络存储池的 非线性连接及反馈,通过仿真,该循环神经网络模型 [ ] 能够实现语音识别.２０１６ 年, Bueno 等 ２４ 使用空间 ０５００００４ Ｇ ３ 中 国 光学器件搭建的循 环 神 经 网 络 也 采 用 了 并 行 结 构. 但并行结构存在鲁 棒 性 较 差、规 模 不 易 扩 展 以 及 成 本较高等问题.为了解决这一问题,第二种方案,即 激 光 如图 ３( b)所示的串行结构被提出.在该结构 中,存 储池内原有的众多节点采用单一非线性节点以延时 的方式实现. 图 ３ 循环神经网络的结构 [２０].( a)并行结构;( b)串行结构 F i t r uc t u r e so fr e cu r r en tneu r a lne two r ks２０ 敭 a Pa r a l l e ls t r uc t u r e b s e r i a ls t r uc t u r e g敭３ S [ ] ２０１２ 年 , Paquo t等 ２５ 利 用 光 电 混 合 系 统 率 先 实现 了 光 电 混 合 串 行 循 环 神 经 网 络 ,其 结 构 如 图 ４ ( a)所 示 ,信 号 从 任 意 波 形 发 生 器 注 入 ,通 过 放 大 器和调制器调制于光上.中间的 存 储 池 由 可 变 光 衰 减 器 、延 时 环 、反 馈 光 电 二 极 管 、混 频 器 、放 大 器 以及 马 赫Ｇ曾 德 尔 调 制 器 构 成 . 光 电 二 极 管 将 系 统 的输出转化为电信号并读出.通 过 对 输 出 权 重 进 行 训 练 与 控 制 ,系 统 可 以 实 现 方 波 与 正 弦 波 的 识 别 . 如 图 ４( b)所 示 ,已 量 化 的 正 弦 波 和 方 波 串 行 输 入 到 系 统 中 ,通 过 循 环 神 经 网 络 的 处 理 ,系 统 将 串 行 地 输 出 如 图 ４( b)下 图 所 示 的 分 类 结 果 ,其 中 ０代表正 弦 波 信 号, １ 代 表 方 波 信 号 . 此 外 ,该 系 统还可以实现非线性信道均衡以及数 字 语 音 识 别 等功能. 图 ４ 光电混合循环神经网络结构以及方波和正弦信号的分类结果 [２５].( a)光电混合循环神经网络结构;( b)分类结果 F i t r uc t u r eo fop t oe l e c t r on i cr e cu r r en tneu r a lne two r kandc l a s s i f i ngr e su l to fr e c t angu l a rand g敭４ S y s i nus o i ds i l s２５ 敭 a S t r uc t u r eo fop t oe l e c t r on i cr e cu r r en tneu r a lne two r k gna b c l a s s i f i ngr e su l t y [ ] 同 年, Dupo r t等 ２６ 利 用 超 辐 射 发 光 二 极 管、调 经 元 模 型 ,除 此 之 外 ,脉 冲 神 经 网 络 中 的 神 经 元 并 器、分束器、隔离器、半导体光放大器、延时线以及光 膜电位达到阈值时才被激活.当 一 个 神 经 元 被 激 制器、任意波形发 生 器、光 带 通 滤 波 器、光 可 调 衰 减 电二极管成功搭建了全光串行循环神经网络.除了 直接采用延 时 线 获 得 延 时 功 能 外,近 年 来,基 于 微 环、多模干涉等器件 在 实 现 串 行 神 经 网 络 中 的 延 时 功能方面也取得了一定进展 .同 时,此 类 光 子 循 [ ２７] 环神经网络也尝试采用多级或更加复杂的时分复用 方式,以进一步提高运算速度 . [ ２７] ２． ３ 脉冲神经网络 脉 冲 神 经 网 络( SNNs)又 被 称 为 第 三 代 人 工 神 经网络 .与前馈神经网络和 循 环 神 经 网 络 相 [ ２８] 比 ,脉 冲 神 经 网 络 的 模 拟 神 经 元 更 接 近 生 物 学 神 非 在 每 一 次 迭 代 传 播 中 都 被 激 活 ,而 是 只 有 当 其 活 时 ,它 会 产 生 一 个 信 号 并 将 其 传 递 给 其 它 神 经 元 ,提 高 或 降 低 其 级 联 的 神 经 元 膜 电 位 . 在 脉 冲 神 经 网 络 中 ,神 经 元 的 当 前 激 活 水 平 通 常 被 建 模 成 某 种 微 分 方 程 ,其 当 前 激 活 水 平 会 在 刺 激 脉 冲 到 来 后 升 高 并 持 续 一 段 时 间 ,然 后 逐 渐 衰 退 . 脉 冲 神 经 网 络 增 强 了 处 理 时 空 数 据 的 能 力 :一 方 面 , 脉冲神经网络结构中的神经元仅与附 近 的 神 经 元 连 接 ,分 别 处 理 输 入 块 ,从 而 增 强 了 空 间 信 息 的 处 理 能 力 ;另 一 方 面 ,由 于 训 练 依 赖 脉 冲 时 间 间 隔 信 息 ,因 此 二 进 制 编 码 中 丢 失 的 信 息 可 以 在 脉 冲 的 ０５００００４ Ｇ ４ 中 国 时 间 信 息 中 重 新 获 取 ,从 而 增 强 了 时 间 信 息 的 处 理 能 力 . 事 实 证 明 ,脉 冲 神 经 元 是 比 传 统 人 工 神 经 元 更 强 大 的 计 算 单 元 ,是 未 来 的 一 大 发 展 趋 势 . 然 而 ,由 于 脉 冲 神 经 网 络 的 训 练 方 法 和 硬 件 实 现 还 存 在 较 多 困 难 ,因 此 暂 未 获 得 广 泛 应 用 ,脉 冲 神 经网络的大部分研究还集中在理论研 究 和 简 易 结 构 的 验 证 阶 段 . 但 是 ,现 在 已 有 更 多 的 研 究 人 员 投 入 到 脉 冲 神 经 网 络 训 练 算 法 和 硬 件 (光 学)实 现 激 光 的研究中来. ２０１６ 年,普林斯 顿 大 学 的 Prucna l研 究 小 组 提 出了基于可激活的石墨烯光纤激光器的脉冲处理系 统 [２９],其结构如图 ５ 所示.该系统 主 要 由 掺 铒 光 纤 (增益部分)和石墨 烯 饱 和 吸 收 体 (损 耗 部 分)构 成, ９８０nm 激光器充当泵浦源, １４８０nm 激光器携带脉 冲刺激 信 号 激 发 系 统 产 生 类 LIF( l e akyi n t eg r a t e Ｇ and Ｇ f i r e)脉冲神经元的响应. 图 ５ 可激活的石墨烯光纤激光器系统 [２９] F i apheneexc i t ab l ef i be rl a s e r２９ g敭５ Gr ２０１８ 年,该 研 究 小 组 提 出 了 基 于 分 布 式 反 馈 [ ] ( DFB)激光器结构的神 经 拟 态 光 子 集 成 电 路 ３０ ,集 成的光子神 经 元 如 图 ６( a)所 示,每 个 DFB 单 元 对 刺激的响应如图 ６( b)所示. 图 ６ 集成光子神经元和神经元对刺激的响应 [３０].( a)集成光子神经元;( b)神经元对刺激的响应 F i n t eg r a t edpho t on i cneu r onandexc i t ab l er e spons e３０ 敭 a I n t eg r a t edpho t on i cneu r on g敭６ I 此外,该研究小 组 探 讨 了 构 建 可 编 程 可 级 联 光 子神经网络的可 行 方 案,内 容 包 括:级 联 性 的 研 究、 [ ] Br oadc a s t Ｇ and Ｇwe i t( B & W )网 络 原 型 ３１ 、相 干 gh 光方案.其中, B & W 网络原型是该研究小组提出 的一种可支持大规模光子脉冲神经元并行互联的网 络架构. 脉冲神经网络的训练算法主要以监督学习算法 为主. 监 督 学 习 算 法 包 括: １)基 于 梯 度 下 降 的 Sp i kePr op３２ 算 法,该 算 法 适 用 于 多 层 前 馈 脉 冲 神 [ ] b exc i t ab l er e spons e [ ] 经网络; ２)Tempo t r on 算 法 ３３ ,该 算 法 根 据 输 出 层 神经元输 出 的 脉 冲 序 列 和 期 望 序 列 的 差 别 调 整 权 重,训练的目的是使 实 际 输 出 神 经 元 膜 电 位 的 变 化 符合期望值,但该算法 中 的 神 经 元 仅 有 ０ 和 １ 两 种 输出类型,无法扩展到多层网络结构; ３)基于突触可 [ ] 塑性( STDP)的算法,如 Hebb i an 学习算法 ３４ ; ４)远 [ ３５] 程监督 学 习 算 法,如 ReSuMe 算 法 ; ５)基 于 脉 冲 序列卷积的监督学习算法,如 SPAN 算法 [３６]和 PSD 算法 [３７]. ０５００００４ Ｇ ５ 中 国 激 光 当前,光子 神 经 网 络 (ONNs)的 训 练 方 法 主 要 ３ 光子神经网络的发展趋势 还是后向 传 播 ( BP)算 法 和 随 机 梯 度 下 降 ( SGD)算 交叉领域,能够 兼 具 两 者 的 长 处. 无 论 是 前 馈 神 经 中很难实现,因此大 部 分 光 子 神 经 网 络 需 通 过 数 字 光子神经网络作为人工智能与光(电)子技术的 网络、循环神经网络还是脉冲神经网络,采用光电子 器件构建均能在一 定 程 度 上 提 升 运 算 速 度、降 低 功 耗.然而,受限于目 前 光 电 子 器 件 的 制 作 精 度 及 实 现难度,大部分光子 神 经 网 络 仍 然 存 在 难 以 实 时 训 练、非线性运算实现困难、神经网络规模与应用受限 等问题.这些问题既严重制约着光子神经网络的发 展,也限制了其产业化. 法 [３８].然而, BP 和 SGD 训 练 策 略 在 集 成 光 学 芯 片 计算机进行模型预训练获取 权 值 [１８].显 然,这 种 训 练方法不仅效率低 下,而 且 由 于 模 型 表 示 的 准 确 性 受限,在速度和 功 耗 方 面 失 去 了 优 势.Zhang 等 [３９] 于 ２０１９ 年 提 出 了 一 种 基 于 神 经 进 化 ( neur oevo l u t i on)策略的有效训练算法,即分别使用 遗传算法( GA)和 粒 子 群 优 化 算 法 ( PSO)来 训 练 光 子神经网络中的超参数并优化连接权重.训练后的 ３． １ 实时训练算法 光子 神 经 网 络,特 别 是 前 馈 网 络 的 训 练 问 题 是 光子神经 网 络 被 用 来 完 成 分 类 任 务 以 进 行 性 能 评 扩展光子神经网络应用的制约因素.由于光子本身 学习 算 法 相 竞 争. 为 了 验 证 该 算 法 的 有 效 性, 无法像电子一样存 储,因 此 无 法 直 接 对 光 子 的 状 态 Zhang 等 ３９ 通过仿真分别实现了光神经网络在 I r i s [ ３９] 数据集、Wi 数 据 集 上 的 在 线 训 练. 等 ne Zhang 进行记录,故而在电 神 经 网 络 训 练 中 应 用 广 泛 的 后 向传播算法难以移植于光子神经网络的训练上.针 估,计算结果显示,其准确率和稳定性足以与传统的 [ ] 还用光子神经 网 络 实 现 了 此 前 通 常 利 用 电 神 经 网 对这一问题,Hughe s等 于 ２０１８ 年首次提出了片 上训练算法,其算法流程如图 ７ 所示.应用该算法, 络 [４０Ｇ４１]实现的通信信号调制格式的分类.上述三类 向收敛方向下降的 梯 度 值,进 而 计 算 下 一 轮 迭 代 中 芯片移相器的相位 配 置,从 而 使 得 芯 片 整 体 性 能 能 ３． ２ 非线性运算 非线性运算已成为光子神经网络发展的另一个 够逐步收敛到一个较好的结果. 瓶颈,其原因在于光 电 子 器 件 相 比 电 子 器 件 实 现 非 Hughe s等通过仿真 的 方 法 在 片 上 训 练 了 一 个 具有两个光干涉计算单元( OIU)的神经网络来实现 线性函数更加困难,并 且 所 实 现 的 非 线 性 函 数 存 在 [ ３８] 通过记录光场分布以及移相器的相位分布能够得到 异或逻辑,以验证算法有效性. 数据集的分类 效 果 随 着 训 练 次 数 的 变 化 如 图 ８( a) 与图 ８( b)所示. 很多非理想特性. 然 而,神 经 网 络 中 的 非 线 性 函 数 可以加快网络的收敛速度,提升识别准确率,已成为 神经网络中不可 缺 少 的 组 成 部 分. 当 前,在 光 子 神 经网络中非线性运算的实现手段主要是利用饱和吸 收体或电路仿真,但这些方法有的难于精准控制,有 的则需要将光信号 通 过 光 电 二 极 管 转 化 为 电 信 号, 如此便会降低计算速度. 当前,研 究 较 多 的 全 光 非 线 性 运 算 元 件 是 饱 和 吸收体.以饱和吸收体作为非线性运算元件的原理 是将饱和吸收体的传输特性曲线作为神经网络中的 激活函数.随着入 射 脉 冲 峰 值 光 强 增 加,饱 和 吸 收 体的吸收 系 数 逐 渐 减 小,使 得 光 透 过 率 增 大.１９６７ [ ] 年, S e l d e n４２ 通过仿真得到了饱和吸收体的传输特性 曲线.利用该曲线可以近似模拟神经网络中运用广 图 ７ 光神经网络芯片的片上训练算法 [３８] 泛的非线 性 函 数.在 S e l don 模 型 被 提 出 之 后,研 究 F i i t ut r a i n i nga l r i t hmo fi n t eg r a t ed g敭７ Ins go 人员进一步研究了饱和吸收体的非线性特性,并尝试 t on i cneu r a lne two r ks３８ pho 未来,该 算 法 能 够 进 一 步 扩 展 并 移 植 至 更 大 规 模的光子神经网络 芯 片 中,通 过 片 上 训 练 使 芯 片 逐 渐收敛逼近最佳配置,从而完成特定功能. 将其应用在前馈及循环神经网络的非线性部分[４３Ｇ４４]. ２０１９ 年,Wi l l i ams on 等提出了一种光 电 混 合 可 [ 控的非线性 运 算 模 块 ４５],其 基 本 结 构 如 图 ９( a)所 示.该模 块 由 定 向 耦 合 器、延 时 线、MZI、光 电 二 极 ０５００００４ Ｇ ６ 中 国 管、放大器、偏置电压源以及电传输模块组成.输入 的携带有线性计算结果的光信号通过定向耦合器分 成两路,一路通 过 延 时 线 传 递 至 MZI 的 输 入 臂,另 一路通过光电二极管转化成电信号在电域上经过相 激 光 应处理后与偏 置 电 压 一 起 控 制 MZI 上 移 相 器 的 相 位,最后干涉 结 果 从 MZI 的 一 臂 输 出. 如 图 ９( b) 所示,通过调节移相器的电压可以改变非线性函数, 从而实现非线性模块的可重构性. 图 ８ 采用不同算法训练光神经网络的分类结果图 [３９].( a)GA 算法;( b)PSO 算法 F i a i n i ngr e su l t so fop t i c a lneu r a lne two r kbyadop t i ngd i f f e r en ta l r i t hms３９ 敭 g敭８ Tr go a GAa l r i t hm go b PSOa l r i t hm go 图 ９ 光电混合非线性模块结构以及通过调谐相位实现不同的非线性函数 [４５].( a)非线性模块结构;( b)非线性函数 F i t r uc t u r eo fop t oe l e c t r on i cnon l i ne a rmodu l eandimp l emen t i ngd i f f e r en tnon l i ne a rf unc t i onsbyt unn i ng g敭９ S s eo fMZI４５ 敭 a S t r uc t u r eo fnon l i ne a rmodu l e b imp l emen t i ngd i f f e r en tnon l i ne a rf unc t i ons pha 除 了 上 述 两 种 方 案 之 外, ２０１９ 年,Fe l dmann 提出了光控相变存储器( PCM)方案,并采用该 方案实现了光 子 神 经 元 的 非 线 性 变 换. 光 控 PCM 等 [ ４６] 是一类工 作 状 态 在 晶 体 状 态 和 非 晶 状 态 之 间 的 材 料,其 工 作 状 态 受 输 入 光 功 率 的 控 制. 如 图 １０ 所 示,当输入光功 率 低 于 阈 值 功 率 时, PCM 处 于 晶 体 状态,大量的光功率被吸收;当输入光功率高于阈值 功率时, PCM 处于 非 晶 形 状 态,大 部 分 光 功 率 可 以 ０５００００４ Ｇ ７ 中 国 激 光 根据输入光功率改 变 材 料 的 光 通 透 性,从 而 实 现 光 ３． ３ 光子神经网络的规模化 光子神经网络的规模化是另一个较为难解决的 子神经网络非线性激活函数的功能. 问题.一方面,大规 模 神 经 网 络 有 利 于 实 现 更 加 复 通过.因此,将该材料集成于光传输介质中,就可以 杂的功能,另一方面,光子器件的不稳定和难以精细 调谐的特性又使得 扩 展 神 经 网 络 的 规 模 变 得 困 难. [ ] 为了解决这一问题, ２０１８ 年 L i n 等 ５３ 提出了一种基 于衍射的光 子 深 度 神 经 网 络 ( D２NN)结 构,该 结 构 不仅实 现 了 手 写 数 字 和 Fa sh i on 数 据 集 的 分 类 功 能,还提升 了 空 间 成 像 分 辨 率. 图 １１( a)为 基 于 衍 射的光子深度神经网络结构图.该光子深度神经网 络基于惠更斯原理 实 现 线 性 运 算,利 用 光 衍 射 叠 加 原理实现相邻两 层 神 经 元 之 间 的 连 接. 使 用 时,相 图 １０ 光控 PCM 的归一化传输系数曲线 [４６] 干光平行入射“相位调制”板.“相位调制”板上的每 c on t r o l l edPCM ４６ 过改变厚度来改变 光 经 过 时 的 相 位 差,从 而 使 得 不 F i rma l i z edt r ansmi s s i oncu r veo fop t i c a l g敭１０ No 个像素块相当于神 经 元,处 于 不 同 位 置 的 像 素 块 通 二维石墨烯材料也有望用来实现光学激活函 数 .与传统的 饱 和 吸 收 体 相 比,石 墨 烯 具 有 阈 [ ４７ Ｇ ５０] 值低、易 激 发、非 线 性 效 应 丰 富 等 特 点.目 前,针 对 光学非线性材料 与 器 件 的 研 究 正 在 进 行 ,研 究 [ ５１ Ｇ ５２] 目标集中在低阈值、可重构、易集成以及快速响应这 四个方面. 同节点之 间 有 不 同 的 权 值. 经 过 这 样 一 系 列 传 输 后,通过统计 放 置 于 特 定 位 置 的 PD 的 接 收 结 果 就 可以获得深度神经网络的输出.由于该“相位调制” 板具有数以百计的 像 素 点,因 此 采 用 该 结 构 的 神 经 网络的每层节点数可以扩充至几百.图 １１( b)为 该 神经网络对空间成像分辨率的提升效果图. 图 １１ 基于衍射的光子深度神经网络结构图及其对空间成像分辨率的提升效果 [５３].( a)结构图;( b)提升效果 F i t r uc t u r eo fD２NNandr e s o l u t i onimp r ovemen to fimag i ng５３ 敭 g敭１１ S a S t r uc t u r eD２NN br e s o l u t i onimp r ovemen tr e su l t 为扩大光子神 经 网 络 的 维 度,也 可 以 用 时 间 换 取空间,通过串行的方式,在运算速度降低不大的情 况下扩展神经网络的规模.清华大学某课题组提出 宽脉冲能够模拟的神经网络节点数取决于展宽光脉 冲的宽度以及任意波形发生器的最大模拟带宽. 利用该结构,通过仿真验证了一个具有 ３ 层,每 了一 种 基 于 时 域 拉 伸 的 串 行 光 子 神 经 网 络 (TS Ｇ 层分别 含 有 ４００、 ２３、 １０ 个 神 经 元 的 神 经 网 络,以 实 形,之后的调制器分 别 将 每 层 的 输 入 及 配 置 调 制 到 了传统电神经网络结构、 TS ＧNN 结构在无噪声情况 下以及有噪声情况 下 的 混 淆 矩 阵,其 识 别 准 确 率 分 NN) ,其基 本 结 构 如 图 １２ 所 示. 从 激 光 器 输 出 的宽谱脉 冲 被 大 色 散 模 块 色 散 展 宽 并 进 行 光 谱 整 [ ５４] 光脉冲上.在经过色散压缩模块以及光电二极管之 现手写数 字 识 别 的 功 能. 图 １３( a)~ ( c)分 别 显 示 [ ] 别为 ９４％ 、 ８９％ 与 ８８％ ５４ . 到向量相乘、相加的计算结果.该方法通过并行变串 ３． ４ 光神经网络的实用化 光子神经网络的另一个发展趋势是实用化.然 行的方案实现了光电混合的全连接神经网络.采用 而,受限于现有光子神经网络的规模与复杂度,光子 后,携带有信息的光脉冲的能量被压缩积累,最终得 该方案可以实现大规模的神经网络.理论上,单个展 神 经网络的实用化还需要一段很长的发展时 间 .在 ０５００００４ Ｇ ８ 中 国 激 光 图 １２ 基于时域拉伸的全连接光电神经网络结构 [５４] F i t r uc t u r eo fTS ＧNN ５４ g敭１２ S 图 １３ 不同神经网络结构的识别混淆矩阵 [５４].( a)传统神经网络; ( b)TS ＧNN 网络在无噪声情况下;( c)TS ＧNN 结构在有噪声情况下 F i f us i onma t r i c e so fd i f f e r en tneu r a lne two r ks t r uc t u r e s５４ 敭 a Conven t i ona lneu r a lne two r ks t r uc t u r e g敭１３ Con b TS ＧNN wi t hou tno i s e c TS ＧNN wi t hno i s e [ ] 通信与数据处 理 领 域, Paquo t 等 ２５ 于 ２０１２ 年 构 建 的基于光纤系统的光电混合循环神经网络实现了对 通信信道的均衡 功 能. 此 外,得 益 于 循 环 神 经 网 络 在时间序列信号回 归 分 析 上 的 优 势,光 存 储 池 计 算 目前已在金融序列 预 测、序 贯 信 号 处 理 上 获 得 了 初 步应用 .在 光 通 信 领 域, ２０１９ 年,Yu 等 [ ２４ Ｇ ２６] [ ５５] 利 用光电混合网络实 现 了 二 值 光 相 干 接 收 机,实 现 了 对发送 端 调 制 信 号 的 恢 复. 其 结 构 如 图 １４( a)所 示,正交相 移 键 控 ( QPSK)调 制 的 光 信 号 从 输 入 层 输入后,先通过二值全光神经网络进行处理,之后通 过光电二极管和模 数 转 换 器 变 为 电 信 号,最 后 利 用 电人工神经网络恢 复 原 始 调 制 信 号.Yu 等 针 对 单 偏振和偏振复用系统分别提出了两种在光域上实现 二值权重映射的结构,如 图 １４( b)和 图 １４( c)所 示, 通过移相器、混频器、平衡光电二极管实现二值神经 网络的线性计算单元.利用平衡光电二极管和 １ 位 垂直分辨率 的 模 数 转 换 器 (ADC)实 现 二 值 神 经 网 络的激活 函 数,经 过 平 衡 光 电 二 极 管 和 ADC 的 电 信号再通过电神经 网 络 继 续 处 理,最 终 可 以 实 现 发 射信号的恢复. 图 １４ 光电混合二值神经网络架构以及映射结构 [５５]. ( a)光电混合二值神经网络架构;( b)单偏振系统的映射结构;( c)偏振复用系统的映射结构 F i t r uc t u r e so fop t oe l e c t r on i cb i na r i z edneu r a lne two r kandwe i t smapp i ng５５ 敭 a S t r uc t u r eo ft heop t oe l e c t r on i c g敭１４ S gh b i na r i z edneu r a lne two r k b mapp i ngs t r uc t u r eo fb i na r i z ed we i t si ns i ng l epo l a r i z a t i onsy s t em gh s t r uc t u r eo fb i na r i z edwe i t si npo l a r i z a t i onmu l t i l ex i ngsy s t em gh p 通过仿真可知,该 光 电 混 合 二 值 神 经 网 络 分 别 实现了 ５０Gb/s 单偏振 SP ＧQPSK 信号接收机以及 c mapp i ng １００Gb/s偏振复 用 QPSK 信 号 接 收 机. 通 过 对 比 通信链路长度(背 靠 背, ５km 单 模 光 纤)、激 光 器 线 ０５００００４ Ｇ ９ 中 国 激 光 宽( ０, １００ Hz)以 及 实 现 方 式 (传 统 接 收 机,光 电 混 合二值神经网络),得到 了 如 图 １５( a)和 图 １５( b)所 压力,降低整体光接收机的功耗,提升光接收机的信 结果表明该二值相干接收机可以用于相干光通信系 化的模数 转 换 器 便 能 实 现 复 杂 调 试 格 式 信 号 的 恢 示的误 码 率 ( BER) Ｇ光 信 噪 比 (OSNR)曲 线. 仿 真 统,光域的神经网络 计 算 可 以 缓 解 电 域 的 信 号 处 理 号处理速度.此外,该 二 值 神 经 网 络 还 能 极 大 地 降 低对模数转换器量化位数的要求,使得仅用 １b i t量 复,极大地降低了光接收机的成本. 图 １５ 以不同方式实现的单偏振、偏振复用 QPSK 通信系统的误码率Ｇ光信噪比曲线 [５５]. ( a)单偏振 QPSK 通信系统;( b)偏振复用 QPSK 通信系统 F i r ve so fs i ng l epo l a r i z a t i onandpo l a r i z a t i onmu l t i l ex i ngQPSKc ommun i c a t i onsy s t emsimp l emen t ed g敭１５ OSNRＧBERcu p byd i f f e r en tme t hods５５ 敭 a S i ng l epo l a r i z a t i onQPSKc ommun i c a t i onsy s t em b po l a r i z a t i onmu l t i l ex i ngQPSK p c ommun i c a t i onsy s t em ４ 结束语 提出,但是如何从根 源 上 突 破 光 子 神 经 网 络 的 瓶 颈 光子神经网络作为光(电)子技术与人工智能技 神经网络一定能够 克 服 这 些 难 题,更 好 地 发 挥 光 电 术的交叉学科产物,能够将两者的优势结合起来,构 子技术与人工智能 技 术 带 来 的 高 速 低 功 耗 优 势,更 建出高速低功耗的 网 络 结 构,突 破 传 统 电 子 神 经 网 好地构建绿色智能的世界. 还需要深入思考 和 研 究. 相 信 在 不 久 的 将 来,光 子 络的瓶颈.得益于光电子器件制造技术的成熟和发 参 展,尤其是集成光电子技术的发展,光子神经网络技 术在利用光电子器 件 构 建 前 馈、循 环 与 脉 冲 神 经 网 络方面都取得了 突 破 性 进 展. 然 而,相 较 于 目 前 发 １ 训练性、集成度、规 模 化、实 用 化 等 方 面 仍 然 具 有 广 性与低稳定性抑制 了 光 子 神 经 网 络 的 可 训 练 性、集 ２ LeCun Y Beng i o Y敭Convo l u t i ona l ne two r ks f o r image s spe e ch andt imes e r i e s J OL 敭 ２０１９ Ｇ １１ Ｇ Spe e ch_and_Time ＧSe r i e s敭 Al ＧQi zwi n iM Ba r a s t eh I Al ＧQa s s ab H e ta l敭 j De epl e a r n i nga l r i t hmf o rau t onomousd r i v i ngus i ng go Sympo s i um IV 型提出了更为严苛的要求;另一方面,光子神经网络 领域充分发挥优 势. 近 年 来,虽 然 众 多 解 决 方 案 被 献 GoogLeNe t C ∥ ２０１７ IEEE I n t e l l i t Veh i c l e s gen 成度与规模化,为构 建 功 能 更 加 复 杂 的 神 经 网 络 模 在应用领域也受到 了 上 述 效 应 的 限 制,难 以 在 特 定 文 ２０ 敭h t t e s e a r chga t e敭ne tpub l i c a t i on ps ∥ www敭r ２４５３９９６_ Convo l u t i ona l_ Ne two r ks _ f o r _ Image s_ 展得较为成熟的电 子 神 经 网 络,光 子 神 经 网 络 在 可 阔的提升空间.一 方 面,光 电 子 器 件 性 能 的 非 理 想 考 ３ ０５００００４ Ｇ １０ June１１ Ｇ １４ ２０１７敭Lo s Ange l e s CA USA敭NewYo r k IEEE ２０１７ ８９ Ｇ ９６敭 Ga r g R Vi ay K B G j Ca r ne i r o G e ta l敭 Unsupe r v i s edCNNf o rs i ng l ev i ewdep t he s t ima t i on 中 国 激 光 ome t r ot her e s cue M ∥Compu t e rVi s i on ＧECCV ge yt １６ Ri be i r o A ２０１６敭 Cham ４ ５ Sp r i nge rI n t e r na t i ona l Pub l i sh i ng ２０１６ ７４０ Ｇ ７５６敭 LeCunY Bo t t ouL Beng i oY e ta l敭Gr ad i en t Ｇba s ed l e a r n i ng app l i ed t o do cumen t r e c ogn i t i on J 敭 Pr o c e ed i ngso ft heIEEE １９９８ ８６ １１ ２２７８ Ｇ ２３２４敭 Se r cuT Puhr s chC Ki ngsbu r ta l敭Ve r ep yB e yde mu l t i l i ngua l c onvo l u t i ona l neu r a l ne two r ks f o r LVCSR C ∥２０１６IEEEI n t e r na t i ona lCon f e r enc eon Ac ous t i c s Spe e chandS i lPr o c e s s i ng ICASSP gna Ma r ch２０ Ｇ ２５ ２０１６敭Shangha i敭 s敭 n敭 IEEE ２０１６ ６ １７ ４９５５ Ｇ ４９５９敭 Zaha r i a M Chowdhu r sT e ta l敭Re s i l i en t y M Da d i s t r i bu t edda t a s e t s af au l t Ｇ t o l e r an tabs t r a c t i onf o r i n Ｇmemo r l us t e rc ompu t i ng C OL ∥Pr o c e ed i ngs yc １８ １９ ２０ Sy s t emsDe s i l emen t a t i on敭 ２０１９ Ｇ １１ Ｇ ２０ 敭 gnandImp ８ Wa l d r op M M敭Thech i r edownf o r Moo r e ′ sl aw psa ２１ o ft he Br i t i sh Ma ch i ne Vi s i on Con f e r enc e ２０１５ ２２ Swans e a敭 ２０１９ Ｇ １１ Ｇ ２０ 敭h t t r p ∥ www敭bmva敭o g ９ １０ １１ １２ １３ L iT Y敭Op t i c a lf i be rc ommun i c a t i on Ｇ t hes t a t eo ft he １９７８ ２６ ７ ９４６ Ｇ ９５５敭 M ∥ Op t i c a l Ne two r ks敭New De l h i Sp r i nge rI nd i a ２０１７ １ Ｇ ３９敭 Fr ench P Pa t t e r s on M敭 Advanc e s i n op t i c a l Op t i c sandPho t on i c sNews １９９９ １０ １０ ９３ Ｇ ９４敭 Zhang J Zhang L Zeng F e ta l敭De ve l opmen t s t a t uso fa i r bo r ne ３D imag i ng l i da r sy s t ems J 敭 Ch i ne s eOp t i c s ２０１１ ４ ３ ２１３ Ｇ ２３２敭 Sa r uwa t a r i M敭 Al l Ｇ op t i c a ls i lp r o c e s s i ng f o r gna t e r ab i ts e c ondop t i c a lt r ansmi s s i on J 敭IEEEJ ou r na l ６ １３６３ Ｇ １３７４敭 Br z o z owsk i L ２４ J 敭 IEEE J ou r na l o f Quan t um El e c t r on i c s ２０００ ３６ ５ ５５０ Ｇ ５５５敭 Re ck M Ze i l i nge r A Be r ns t e i n H J e ta l敭 Expe r imen t a lr e a l i z a t i on o f any d i s c r e t e un i t a r y ope r a t o rJ 敭Phy s i c a lRe v i ew Le t t e r s １９９４ ７３ １ ５８敭 un i ve r s a l mu l t i r t po １４６０ Ｇ １４６５敭 ShenYC Ha r r i sNC Sk i r l oS e ta l敭De epl e a r n i ng wi t hc ohe r en t nanopho t on i cc i r cu i t s J 敭 Na t u r e Pho t on i c s ２０１７ １１ ７ ４４１ Baghe r i an H Sk i r l o S Shen Y C e ta l敭On Ｇ ch i p op t i c a lc onvo l u t i ona lneu r a lne two r ksJ OL 敭 ２０１９ Ｇ １１ Ｇ ２０ 敭h t t r x i v敭 o r ０３３０３敭 ps ∥a g abs１８０８敭 L iL FangN WangL T e ta l敭Re s e a r chp r og r e s s i nha r dwa r eimp l emen t a t i onso fr e s e r vo i rc ompu t i ng ０８０００５敭 Bao X R敭 Re s e a r ch p r og r e s si n op t oe l e c t r on i c r e s e r vo i r c ompu t i ng sy s t em J 敭 La s e r & 光电子学进展 ２０１５ ５２ ３ ０３０００５敭 ZhaoQ C Yi n H X敭Re s e a r chp r og r e s so fr e s e r vo i r c ompu t i ng us i ng chao t i c l a s e r J 敭 La s e r & J 敭激光与光电子学进展 ２０１３ ５０ ３ ０３０００３敭 Vandoo r ne K Damb r e J Ve r s t r a e t en D e ta l敭 Pa r a l l e lr e s e r vo i rc ompu t i ngus i ngop t i c a lamp l i f i e r s ２２ ９ １４６９ Ｇ １４８１敭 Bueno J Mak t oob i S Fr oeh l y L e t a l敭 Re i n f o r c emen tl e a r n i ng i n al a r Ｇ s c a l e pho t on i c ge r e cu r r en tneu r a lne two r k J 敭Op t i c a ２０１８ ５ ６ ２５ ２６ ２７ r o c e s s i ng us i ng non l i ne a r d i s t r i bu t ed f e edba ck p s t r uc t u r e s １５ Sa r t E H敭 Op t i c a l s i l gen gna f o r J 敭IEEE Tr ans a c t i onson Neu r a lNe two r ks ２０１１ imag i ng pho t on mi r a t i on andt i s sue op t i c sJ敭 g o fSe l e c t ed Top i c si n Quan t um El e c t r on i c s ２０００ ６ １４ ２３ Kausha lH J a i n V K Ka rS敭Ove r v i ew o fwi r e l e s s op t i c a lc ommun i c a t i on sy s t ems de s i gn Op t oe l e c t r on i c sPr og r e s s ２０１３ ５０ ３ ０３０００３敭 赵清春 殷 洪 玺 敭 混 沌 光 子 储 备 池 计 算 研 究 进 展 bmv c２０１５ pape r s pape r １６０i ndex敭 h tml敭 a r t J 敭IEEE Tr ans a c t i ons on Commun i c a t i ons Op t ima l Op t oe l e c t r on i c sPr og r e s s ２０１５ ５２ ３ ０３０００５敭 包秀荣 敭光电储备池 计 算 系 统 研 究 进 展 J 敭激 光 与 Hi l ande rT Rod r i z A敭Ve r f f i c i en tt r a i n i ng gh gue ye t r ans f o rmandove r l ap Ｇ and Ｇ add C OL ∥Pr o c ed i ngs J 敭Op t i c a ２０１６ ３ １２ １３４８ Ｇ １３５７敭 Cl emen t s W R Humphr ey sPC Me t c a l fBJ e ta l敭 等 敭储备 池 计 算 硬 件 实 现 方 案 研究进展 J 敭激 光 与 光 电 子 学 进 展 ２０１７ ５４ ８ J 敭Na t u r e ２０１６ ５３０ ７５８９ １４４ Ｇ １４７敭 o fc onvo l u t i ona lneu r a lne two r ksus i ngf a s tFou r i e r Demons t r a t i ono fa４×４ Ｇpo r tun i ve r s a ll i ne a rc i r cu i t ８ ０８０００５敭 李磊 方捻 王陆唐 s e s s i on i d＝E２EF８５C４２E９B７DB９９EF３１A３３BAE j f敭 pd e t a l敭 J 敭La s e r & Op t oe l e c t r on i c s Pr og r e s s ２０１７ ５４ h t t i t e s e e r x敭i s t敭psu敭edu v i ewdo c down l oad p ∥c ７ Vana cke r L i n t e r f e r ome t e r s J 敭Op t i c a ２０１６ ３ １２ o ft he ９ t h USENIX Con f e r enc e on Ne two r ked ０２６６８ do i＝１０敭 １敭 １敭 ２２５敭 ８５６&r ep＝r ep１&t ype＝ Ruo c c o A ７５６ Ｇ ７６０敭 Paquo t Y Dupo r t F Sme r i e r i A e t a l敭 Op t oe l e c t r on i cr e s e r vo i rc ompu t i ng J 敭 Sc i en t i f i c Repo r t s ２０１２ ２ ２８７敭 Dupo r tF Schne i de rB Sme r i e r iA e ta l敭Al l Ｇ op t i c a l r e s e r vo i rc ompu t i ng J 敭Op t i c s Exp r e s s ２０１２ ２０ ２０ ２２７８３ Ｇ ２２７９５敭 Zhang H FengX L iBX e ta l敭I n t eg r a t edpho t on i c r e s e r vo i rc ompu t i ng ba s ed on h i e r a r ch i c a lt ime Ｇ mu l t i l ex i ngs t r uc t u r eJ 敭Op t i c sExp r e s s ２０１４ ２２ p ２８ ２９ ０５００００４ Ｇ １１ ２５ ３１３５６敭 Ma a s s W敭Ne two r kso fsp i k i ng neu r ons t het h i r d r a t i on o f neu r a l ne two r k mode l s J 敭 Neu r a l gene Ne two r ks １９９７ １０ ９ １６５９ Ｇ １６７１敭 Sha s t r iBJ Nahmi a s M A Ta i tA N e ta l敭Sp i ke r o c e s s i ng wi t hag r aphene exc i t ab l el a s e r J 敭 p 中 ３０ 国 Sc i en t i f i cRepo r t s ２０１６ ６ １９１２６敭 Peng H T Nahmi a s M A de L ima T F e ta l敭 Neu r omo r i cpho t on i ci n t eg r a t edc i r cu i t s J 敭IEEE ph J ou r na lo fSe l e c t ed Top i c si n Quan t um El e c t r on i c s ３１ Ta i tA N Nahmi a s M A Sha s t r iB J e ta l敭 Br oadc a s tand we i t an i n t eg r a t ed ne two r kf o r gh Kok J N LaPou t r é H敭 Er r o r Ｇ ba ckp r opaga t i oni nt empo r a l l oded ne two r kso f yenc sp i k i ngneu r ons J 敭Neu r o c ompu t i ng ２００２ ４８ １ ３３ ３４ Neu r o s c i enc e ２００６ ９ ３ ４２０ Ｇ ４２８敭 Song S Mi l l e rK D Abbo t t L F敭 Compe t i t i ve ９ ９１９ Ｇ ９２６敭 Ponu l ak F Ka s i ńsk i A敭 Supe r v i s ed l e a r n i ng i n sp i k i ng neu r a l ne two r ks wi t h ReSuMe s e e quenc Compu t a t i on ２０１０ ２２ ２ ４６７ Ｇ ５１０敭 ４５ sp i kepa t t e r na s s o c i a t i onneu r onf o rl e a r n i ngspa t i o Ｇ Neu r a lSy s t ems ２０１２ ２２ ４ １２５００１２敭 Yu Q Tang H J Tan K C e ta l敭Pr e c i s e Ｇ sp i ke Ｇ d r i vensynap t i cp l a s t i c i t e a r n i nghe t e r o Ｇ a s s o c i a t i on yl ４６ Wi l l i ams onIA D Hughe sT W Mi nkov M e ta l敭 Rep r og r ammab l ee l e c t r o Ｇ op t i c non l i ne a ra c t i va t i on Hughe sT W Mi nkov M Sh iY e ta l敭Tr a i n i ngo f t on i c neu r a l ne two r ks t hr ough i n s i t u pho ４７ ４８ and de s i f pho t on i c neu r a l ne two r kt hr ough gn o ３７１５０敭 Xi eL L i ang H N Tong L敭Re c ogn i t i ono fs i l gna modu l a t i ont si nc omp l ex op t i c a lne two r ks J 敭 ype 别研究 J 敭激光杂志 ２０１８ ３９ ７ １３０ Ｇ １３３敭 Pe iY H Qu Y L iJ M ４９ ５０ Bao Q L Zhang H Ni Z H e ta l敭 Mono l aye r r aphenea sas a t u r ab l eabs o r be ri n a mode Ｇ l o cked g l a s e rJ 敭NanoRe s e a r ch ２０１１ ４ ３ ２９７ Ｇ ３０７敭 L im G K ChenZL Cl a r kJ e ta l敭Gi an tb r oadband non l i ne a r op t i c a l abs o r t i on r e spons ei n d i spe r s ed p ５ ９ ５５４ Ｇ ５６０敭 Hu X Wang AD Zeng M Q e ta l敭Gr aphene Ｇ a s s i s t ed mu l t i l e Ｇ i npu th i Ｇba s e op t i c a lc ompu t i ng p gh J 敭Sc i en t i f i cRepo r t s ２０１６ ６ ３２９１１敭 YadavR K Ane e shJ Sha rmaR e ta l敭De s i i ng gn hyb r i dso fg r apheneox i deandgo l dnanopa r t i c l e sf o r non l i ne a r op t i c a lr e spons e J 敭 Phy s i c a l Re v i ew ５１ App l i ed ２０１８ ９ ４ ０４４０４３敭 Mi s cug l i oM Mehr ab i an A ５２ ５３ ５４ Hu Z B e ta l敭Al l Ｇ op t i c a l non l i ne a ra c t i va t i on f unc t i on f o r pho t on i c neu r a lne two r ks I nv i t ed e ta l敭 Modu l a t i on r e c ogn i t i ono f MPSK and MQAM s i l sba s edon gna ２０８ Ｇ ２１４敭 r aphenes i ng l eshe e t s J 敭Na t u r ePho t on i c s ２０１１ g Op t i c a ２０１８ ５ ７ ８６４ Ｇ ８７１敭 ZhangT WangJ DanY H e ta l敭Ef f i c i en tt r a i n i ng Fe l dmannJ Youngb l oodN Wr i tCD e ta l敭Al l Ｇ gh op t i c a l sp i k i ng neu r o synap t i c ne two r ks wi t hs e l f Ｇ l e a r n i ngc apab i l i t i e s J 敭Na t u r e ２０１９ ５６９ ７７５５ ２０１３ ８ １１ e ７８３１８敭 Al exNe tJ 敭La s e rJ ou r na l ２０１８ ３９ １０ ７５ Ｇ ７８敭 裴禹豪 曲 毅 李 锦 明 等 敭基 于 Al 网 exNe t 络的 J 敭 Op t i c a l Ma t e r i a l s Exp r e s s ２０１８ ８ １２ ３８５１敭 Rama chand r anP Zoph B Le Q V敭Se a r ch i ngf o r a c t i va t i onf unc t i ons J 敭 ２０１９ Ｇ １１ Ｇ ２０ 敭h t t ps ∥ a r x i v敭 o r ０５９４１敭 f敭 g abs１７１０敭 pd L i nX Ri vens onY Ya r d imc iN T e ta l敭Al l Ｇ op t i c a l ma ch i ne l e a r n i ng us i ng d i f f r a c t i ve de ep neu r a l ne two r ksJ 敭Sc i enc e ２０１８ ３６１ ６４０６ １００４ Ｇ １００８敭 ZangY B Chen M H YangS G e ta l敭El e c t r o Ｇ op t i c a lneu r a lne two r ksba s edont ime Ｇ s t r e t chme t hod J 敭IEEE J ou r na lo fSe l e c t ed Top i c si n Quan t um ５５ MPSK 与 MQAM 类信号的调制识别 J 敭激光杂 志 ４２ ２００５ ２５１ ４ ５ ６ ４２９ Ｇ ４３３敭 J ou r na lo fSe l e c t ed Top i c si n Quan t um El e c t r on i c s MohemmedA Sch l i ebsS Ma t sudaS e ta l敭Span La s e rJ ou r na l ２０１８ ３９ ７ １３０ Ｇ １３３敭 解琳 梁海楠 佟璐 敭复杂光网络信号调制类 型 的 识 ４１ l a t i num nanopa r t i c l e s J 敭Op t i c sCommun i c a t i ons p Hebb i an l e a r n i ng t hr ough sp i ke Ｇ t imi ng Ｇ dependen t neu r oe vo l u t i on J 敭Op t i c sExp r e s s ２０１９ ２７ ２６ ４０ Gao Y C Zhang X R L iY L e ta l敭Sa t u r ab l e abs o r t i on and r e ve r s e s a t u r ab l e abs o r t i on i n p p ２０２０ ２６ １ １ Ｇ １２敭 ba ckp r opaga t i on and g r ad i en t me a su r emen t J 敭 ３９ １０８６８敭 t ha tl e a r nssp i ket imi ng Ｇba s edde c i s i ons J 敭Na t u r e o fspa t i o t empo r a lsp i ke pa t t e r ns J 敭PLoS One ３８ ４４ f unc t i onsf o r op t i c a l neu r a l ne two r ks J 敭IEEE t empo r a lsp i kepa t t e r ns J 敭I n t e r na t i ona lJ ou r na lo f ３７ De onckhe e r eA Dupo r tF Sme r i e r iA e ta l敭Al l Ｇ j op t i c a lr e s e r vo i rc ompu t e r ba s ed on s a t u r a t i on o f abs o r t i on J 敭 Op t i c s Exp r e s s ２０１４ ２２ ９ p Gü t i l i nsky H敭Thet empo t r on aneu r on gR Sompo l e a r n i ng c l a s s i f i c a t i on andsp i kesh i f t i ng J 敭Neu r a l ３６ １９６７ １８ ６ ７４３ Ｇ ７４８敭 ２ ３ ４ １７ Ｇ ３７敭 synap t i cp l a s t i c i t t u r eNeu r o s c i enc e ２０００ ３ y J 敭Na ３５ ４３ L i twaveTe chno l ogy ２０１４ ３２ ２１ ４０２９ Ｇ ４０４１敭 gh Boh t e S M 光 abs o r be r J 敭Br i t i sh J ou r na lo f App l i ed Phy s i c s ２０１８ ２４ ６ １ Ｇ １５敭 s c a l ab l epho t on i c sp i ke p r o c e s s i ng J 敭J ou r na lo f ３２ 激 ２０１８ ３９ １０ ７５ Ｇ ７８敭 Se l denA C敭Pu l s et r ansmi s s i ont hr oughas a t u r ab l e ０５００００４ Ｇ １２ El e c t r on i c s ２０２０ ２６ １ １ Ｇ １０敭 Yu Z M Zhao X Yang S G e ta l敭B i na r i z ed c ohe r en t op t i c a lr e c e i ve r ba s ed on op t o Ｇ e l e c t r on i c neu r a lne two r k J 敭IEEEJ ou r na lo fSe l e c t edTop i c s i nQuan t um El e c t r on i c s ２０２０ ２６ １ １ Ｇ ９敭
0
advertisement
Download
advertisement
Add this document to collection(s)
You can add this document to your study collection(s)
Sign in Available only to authorized usersAdd this document to saved
You can add this document to your saved list
Sign in Available only to authorized users