硕 士 学 位 论 文 论文 题 目 基于 的 神 经 网 络 硬 件 实 现 的 研 究 与 设计 学科专业 通 信 与信息 系 统 指导教师 李 强 作者姓名 学 号 教 授 刘 培龙 密级 分类 号 注 位 学 基于 论 文 的 神 经 网 络 硬 件 实 现 的 研究与 设计 题名 和 副题名 ） 刘培龙 作者姓名 ） 李 强 指导 教师姓名 电 子 科 技 大学 职务 、 职称 、 学位 申 请 专业 学位 级 别 专业名 称 论文提交 论文答辩 曰 期 日 期 学位授予 单位 和 日 评阅人 年 注明 《 国 际十进分类法 》 的类号 月 。 成 都 单位 名 称及 地址 电子科技 大 学 期 授 ） 通信 与 信息 系 统 答 辩委 员 会 主 席 注 、 教 日 独 创 性 声 明 本 人 声 明 所 呈 交 的 学 位 论文 是 本 人 在 导 师 指 导 下进 行 的 研 究 工 作 及取得 的研究成果 外 ， 。 据 我所 知 除 了 文 中 特 别 加 以 标注 和 致谢 的 地方 ， 论文 中 不包含其 它 人 已 经 发表或撰 写 过 的 研 究成 果 ， 也 不包含 为 获 得 电 子 科 技 大 学 或 其 它 教 育 机 构 的 学 位 或证 书 而 使 用 过 的 材 料 。 与 我一 同 工 作 的 同 志 对本研 究所做 的 任 何 贡献均 已 在 论文 中 作 了 明 确 的 说 明 并 表示 谢 意 签名 。 剑 ： ■ 龙 曰 期 年 上 ： 月 今 日 论 文 使 用 授权 本 学位 论 文 作 者 完 全 了 解 电 子科技大 学有 关保 留 的规定 ， 使用 学位论文 、 有 权保 留 并 向 国 家 有 关 部 门 或 机 构 送 交 论 文 的 复 印 件 和 磁 盘 允许论文被查 阅 和 借 阅 。 本人授权 电 子 科技大 学 可 以 将 学位 论 文 的 全 部 或 部 分 内 容 编 入 有 关数 据 库 进 行 检 索 等 复制 手 段保存 汇编 学位论文 、 ， 可 以 采用 影 印 二 ： 仏 、 缩 印 或扫 描 。 保密 的 学位 论文 在 解 密 后 应遵 守 此规 定 签名 ， ） 、 导 师签名 曰 期 》 许 月 斗 摘要 要 摘 人工神 经 网 络 如今 是 一 个 由 大 量 相 互 连接 的 神 经元组 成 的 并 行 计 算 系 统 （ 人工神经 网 络 已经在信 号 处理 ， 识 别 等 多 个 领域 得 到 了 广 泛 的 应 用 法 ， 。 医疗 、 控制 系 统 、 并 行 处理特 性 提 高 处理速 度 所 以 必 须 寻求一种硬件实现 的 方法 ， 提高处理 的 速度 ， 而 且还 能够 节 省 硬件资 源 ， 神 经 网 络算法 法和 了 同样利用 仿真和 误差 分析 的 最后 ， 对神经 网 络 的 学 习 模式 ， 能够体现 出 神经 网 络 固 有 的 ， ， 以及典型 的 神经网 络算 拓 扑 结 构 以 及 激励 函 数进 行 了 ， 满足神 经 网 络对精度 的 要求 神经 网 络和 神 经 网 络 的 设计方法 通过 硬件描述语言描述 丨 平 台 对设计 的 公司 的 并且进行 了 误差分 析和 性 能评估 度的要求 运算要求 关键词 ： ， 网络 ， ， ， 。 其次 激励 函 数 都做 重点介绍 了 基于 。 仿真 软件和 利用 误差在 数量级 左右 ， ， 对各个模块都进行 了 详 细 的 设计 ， ， ， 。 可 以满足神经 网 络精 基本上 可 以 满 足神 经 网 络 实 时 。 ， ， 函数 网 络进 行 了 仿 真验 证 以 及 逻辑综 合 、 最 高 时钟 频 率 可 以 达 到 人工神经 网 络 上 实现 了 上实现 了 核在 选定 ， 神 经 网 络 的 激励 函 数作为 ， 算法 的 语音 这是 软件实现方法 利 用 查 找表和 分段 非 线 性 函 数逼近相 结 合 的 方法 在 ， 、 。 神 经 网 络 的 激励 函 数 函 数作 为 函数 ， 神 经 网 络 硬 件 实现最重要 的 问 题之 一就 是激励 函 数 的 硬件 实现 。 。 。 模式 识别 的 神 经 网 络硬件 实现方法 不 仅 能够 基于 。 、 通常神经 网 络 的 实现都 是采用 基于 软件 的 方 首 先 介 绍 了 人工 神 经 网 络 硬 件 实 现 的 方法和 意 义 函数 商业 但 是 在 很 多 情 况 下必 须要 求神 经 网 络 能 够进行 实 时 运 算 所不 能实现 的 讨论 、 。 硬件 实现 ， 目 录 目 录 第一章 驗 课题 背 景 及 研 究 意 义 相 关技术 的 发展和 研究现状 神 经 网 络 实 现技 术 研 究 历 史 可 重 构 技 术 发 展 现状 的 发 展 现状 本课题主要 工 作 论文 结构及 内 容安排 第二 章 神 经 网 络及其 实现技术概述 神 经元模 型 生物神 经元模 型 人工神 经元 数 学模 型 神 经 网 络模型 神经 网 络 神经 网 络介绍 神经 网 络算法 神经 网 络 神经 网 络介 绍 神经 网 络算法 神 经 网 络学 习 模式 有监督训 练 无监督训 练 离线 训练 在线 学习 规则 训练 神 经 网 络 实 现 技 术研 究 的 内 容 和 意 义 神 经 网 络实现技术分类 神经 网 络的 实现 神经 网 络 的数字 实现方法 神 经 网 络 的 模拟 实 现方 法 神 经 网 络 的 数模混合 神 经 网 络 的 分子 化 学 实 现 神 经 网 络 的 光 学 实现 实现 方法 本章小结 的 神 经 网 络 实 现 需要考虑 的 问 题 第三 章 基于 基于 的 动态 可 重构 技术 的模型 动 态可重构 实 现 神 经 网 络 的 优势 神 经 网 络 模 型 的 选择 神 经 网 络拓 扑 结构 的 选择 前馈 型 网 络 反馈型 网络 神经 网 络结构 的 确 定 激励 函 数 的 选择 和 实现方法 激励 函 数 的选择 激励 函 数实现方法 数据格式和 精度 方面 的 考虑 本章小结 第 四 章 神 经 网 络 激励 函 数 的 实现 最 小 二乘法与 多 项 式拟合 最 小 二乘法原 理 多 项式 拟 合 原 理 函 数 的 分段 非线性 函 数逼近 通过 函 数 的 逼近 实现 函 数分 区 间 逼近误差 分析 函 数 的 硬件 实 现 神经 网络 函 数 硬 件 实 现流 程 仿真 结 果和 误差分析 函 数 的 硬件 实现 神经网 络 函 数具 体硬件 实 现过程 仿真 结 果和 误差分 析 本章小结 第五章 基于 的 神 经 网 络 的设计 与 实现 人工神 经元 的 硬件设计 基于 的 神 经网 络 的 设计 神经 网 络 的 整体设计 神经 网 络各个模块 的 设计 基于 的 神 经 网 络 的 设计 神经 网络 的 整体设计 神 经 网 络 各个模块 的 设计 仿 真结 果 与 性 能评估 网 络仿真结 果及误差 分析 网 络 仿真结果 及误差分析 性 能评估 神经 网 络之 间 动态可重构 的研究 神经 网 络 阶段之 间 的 动 态可重构 神经 网 络之 间 的 动态可重构 本章小 结 第 六 章 总 结 与 展望 总结 展望 ■ 攻硕期 间 取 得 的 研 究 成 果 图 图 图 生 物 神 经 元模 型 图 图 人工神经元 模型 神 经 网 络模 型 神 经 网 络模 型 人工神经 网 络 实现技术分类 图 典型 的 图 图 典型结构 图 图 反馈型 网 络结构 图 图 图 网 络结构 图 激励 函 数 的 类 型 图 三种 常 用 的 径 向 基 函 数 图 录 位定 点 数 数据 格 式 曲 线拟合最小 二乘法示意 图 图 函 数分 区 间 波形 图 函 数区间 图 逼近情 况 函数区间 逼近情况 函数区间 逼近情况 函 数模块 设 计 流 程 图 图 函 数 仿真波 形 图 图 图 目 录 动态可重构 原 理示意 图 图 图 目 坐标旋转 图 模块示意 图 图 和 图 仿真 波 形 图 单个 神 经元运算过 程 图 神 经元硬件设计 结 构 图 图 神 经 网 络运算过程 图 神经 网络 训 练流 程 图 图 神经网络 实 现整 体 结 构 图 图 模块结 构 图 图 模块结构 图 图 图 单口 模块 结 构 图 和双 口 核示意 图 图 神 经 网 络运 算过程 图 神经 网 络 图 模块结构 图 实现整体结 构 图 图 图 网 络训 练阶段仿真波形 图 图 网 络测 试阶段仿真波 形 图 图 网 络训 练阶段仿真波形 图 图 网 络测试阶段仿真波形 图 图 神经 网 络阶段 间 重构 示意 图 图 基于 目 录 结构 的 动态可重构神经 网 络 表 目 录 表目录 表 神 经 网 络模 型 表 函 数 分 区 间 逼近 函 数表达 式 表 函 数 分 区 间 逼 近 最 大 绝 对误 差 表 误 差 分 析表 表 输 入输 出 引 脚 说 明 误差分析表 表 表 表 网 络 具 体训 练 步 骤 网 络具体训 练步骤 表 网 络 训 练 阶 段误 差 分析 表 表 网 络测 试阶段 误差 分析表 表 网 络训 练 阶段误 差分 析表 表 网 络 测 试 阶 段 误 差 分 析表 表 性 能分析表 缩略词 表 縮略词 表 英文 缩 写 英 文 全称 中 文释义 自 适应线性神 经 元 模拟 神 经 网 络 加 速 器 人工神经 网 络 自 适 应 共 振 理论 专用 集成 电路 误差反 向 传播 可 配 置 逻 辑块 坐标旋转 数字 计算机 电子 设计 自 动化 现场 可编 程 门 阵 列 硬件描述语言 可 编 程 输入 输 出 单 元 集 成 软 件环境 最小 均 方误 差 多 层感知器 片上网 络 光学字符识别 随 机存 取 存 储 器 径向基函数 可重构 计 算 只读内存 片 上系 统 片上可编程系 统 静态存 储器 旅行 商 问 题 超 大 规 模集 成 电 路 第一章 绪 论 绪论 第一章 课题 背 景 及研 究 意 义 人工神经 网 络 初 ， 诞 生于二 十世纪 四 十年代 （ 也称 为 神 经 网 络 ， 个 非线性信息 处理系 统 工作机制 ， 是 由 大 量神 经 元 组 成 的 具 有 它的 。 设计 出 一种 由 于人工 神 经 网 络精度 比较 高 、 控制 系 统 、 、 商业 、 模式识别 、 语音识别 等 究 得 以 进 行 下 去 的 首 要 前提 给 实现技术 的 研 究提 出 发展 了 ， 目 标 因 此 实 现技 术 的 研 究 架 起 了 现 技 术研 究 是 相 辅 相 成 的 目 的 。 ， ， 于 软件模拟 实现神 经 网 络 的 方法 不 能满 足神 经 网 络 实 时 运 算 的 要 求 此之外 ， ， ， 、 。 然而 具有很 高 的 并行性 ， ， 是 神 经 网 络 应用 研 究 和 实现 技 术研 ， 、 神 经 网 络 的 理论研究 、 使 也是 应用 研究和 实 ， ， 。 这样 一来就 从而 导 致 了 理论研究和 实 际应用 相 脱节 除 这样就很 不适合 基于硬件 实现 的神 经 网 络最大 的 特 点 就 是 处理速度很 并且很容 易 达到神 经 网 络 实 时运算 的 要求 高性价 比 的 特性 网 ， 。 所 以 神经 网 络研究 的最终 络芯片 是 当 今研 究 的 热 点 。 ， ， 。 不 仅速度慢 并 且并 行程度 很 低 特定 应用 场 合下 的 高性 能专用 神经 结合 ， 不 断推进理 论 研 究和 实 现技 术研 究 的 此外 需 要 通过硬件 实现 的 效果 来检验 实 际 工程 中 的 可行 性 和 算法 的 复 杂程度 络 专 用 芯 片 具 有 高 速度 、 应用 的研 究 以 及 实现技术 的 用 软件模拟 实现 的 方法需要 庞大体积 的 计算机作支持 应用 于嵌入式场 合 ， 。 理论 研究 与 应用 研究 之 间 的 桥梁⑴ 所 以说 缺一不 可的 ， 。 信 号处理 前对人 工 神 经 网 络 实 现 技术 的 研 究主 要有 软件 实现和 硬件 实 现两 个方 面 目 ， ： 应用 研究使得理论 研 究得 到 进 一 步 的 成 熟和 完 善 新 的 要求和 对神 经 网 络进行 研究 的 最终 快 主要 包 括 以 下领域 而 实现技术 的 研究主 要 是通过各种手段 实现神 经 网 络 的 各种 理论模型 ； 其得 以 应用 由 ； 。 理论研究 ： 理 论研 究 是整个 神 经 网 络研 究 的 根基 。 组织 能力 的 一 学 习 能 力 比 较强 以 及 其 内 在 的 高 度 并 行 处 理特性 人工 神经 网 络主 要有三个研 究领域 研究 自 使之 具有类似 于人脑 的 信 息 处理 能 力 ⑴ ， 使 得 人 工 神 经 网 络 在 很 多 领 域得 到 了 有 效 的 利 用 医疗 适应 能力 和 的 就 是通过模拟 生 物 神 经 系 统信 息 处理 的 特 性 和 目 神 经计算机 ” “ 自 ， 。 另外 ， 目 。 ， 我们 神经网 标是研制 可重构计算 （ 可 以 考虑把它 与 神 经 网 络 的 实现相 而 动态可 重构技术又是 可 重 构 技术 中 研 究 的 焦 点 。 通 过对 具 有 专 门 缓存 逻 电子科技大学硕 士 学位论文 辑 资 源 的 现场 可编 程逻 辑器件 比 如 进行 全局 芯 片 的 或者是局 部 芯片 的 动 态可重构 来 实现 的 低逻辑 资 源 消 耗提 高 资 源利 用 率 的 优 点 而且还具有 降低 功 耗和 硬件规模 ， 少 的 逻辑资 源来实现 多 种 复 杂功 能 的 特 点 字 信 号 处理 神经 网络 、 动态 可重构 技 术不 仅具有 降 研究认为 。 ， 的 神 经 网 络 硬 件 实 现 方 法进 行 了 研 究 ， 以较 可 重构 计算 系 统 在诸如 数 图 像 处理等 领域 的 应用 深 具潜力 、 ， 】 。 为此 本文对基于 ， 并 对 动 态 可重 构 方法 进行 了 探索 。 相 关技 术 的 发展 和研 究现状 神 经 网 络 实现 技术研 究历 史 神 经 网 络硬 件 实 现 技术 的 研 究 是 从 上 个 世 纪 六 十年代 开始 的 试 图 通过硬件 实 现人 工 神 经兀 机 模 型和 感 知 ， 模型 出 了 实验室 的 。 现上对 感 知 机 模 型进 行 了 详 细 描述 经元组成 的 ， 都 可 以 接 受 多 个 输入 不过它们 在 实现方法上 不 同 而 已 通过一个 电动 马 达来实现 的 贵 ， 斯 坦福 大 学 的 模型 是 当 时最 为 著 名 的 两种 模 型 （ 体积庞大 ， 。 。 从理 论和 具 体 实 模 型 以 及 感 知 机模 型 都 是 由 单 个 神 。 ， 并且 能够 自 动 更 新这些输 入 的 联接 权 值 在感 知 机工 作过程 中 ， 与 感 知 器不 同 的 是 。 年期 间 年至 。 网 络模 型 的 联接 ， 之外 芯片 只 集成 了 一个神 经元 改变 的 。 ， 可 以 接受 多 路输入信 号 ， 。 发表 了 一篇 学术论文 ， 并对它 的 动 力 学性质进行 了 研究 进 行模拟 的 电 子线 路 通 过这种 网 络解 决 ， ， 之后 不久 数学上著名 的 问 题 ， 年所研发 的 这种 并 且其 联接权值 是 可 以 动 态 。 上个世纪 神经 网 络模型 提出 了 ， 他 设计 出 了 能够对这种 网 络特性 ， 可以 （ 。 也 可 以 通过编 写 神 经 网 络算法在传统计算机上来实现 过软件模拟 来 实现 的 神 经 网 络计算机有 研制 的 ， 最早 的 神 经元 可 以 通 过将 多 个 这 种 神 经 元 芯 片 互 联 起 来 构 成 一 个 神 经 网 络 八十年代 初 另外 在 和 的 只 比 如 价格 昂 ， 除了 ， ， 它 的 联接 权 值 的 改 变 是 其 它 的 一些研 究机 构 在 神 经 网 络 的 硬件 实现 上没 能做 出 多 大 贡 献 芯片是 由 最先提 这种 改变联接权值 的 方法有诸多 缺 点 运行不稳定 等等 权值是 通过 电 阻 来表示 的 当 时科学家们 ， 以及升级的 年 ： ； 常 见 的 一 些通 和 ， 年 。 ， 和 研制 的 系 第一章 绪论 统 年 ； 系统 大学研制 的 ， 系统 年 ； ， 度 比 神经 网 络 加 速板有 显 著 的提 高 还需 要 满足 以 下 要 求 ， 模的神经网 络 。 ， 领域 中 得到 了 广泛 的 应用 国 家在神经 网 络芯片 用 ， 。 另外 ， 以上 所 实 现 的 神 经 网 络 不 论 是 在 处 理速 度 上 还 因 此非常有必 要进行大规 。 。 、 人 工智 能 、 控制 系 统 、 模式识别 等应 用 神 经 网 络 硬 件 实现技术成 为 研 究 的 热 门 课题 生物 芯片 的 研究方面 已 经获得 重 大进展 等 公 司 在 这 方面 已 经 有很 多 研制 的 产 品 被 企业 和 所选用 、 。 。 人 工 神 经 网 络 在信 号 处理 ， 还要支持大规 ， 最好 能够 满足 实 时性 的 要 求 ， 是规 模上 都还 远远 不 能 达到 研 究 以 及 实 际 应用 的 水 平 近年 来 。 【 虽 然 这种 方法 的 处理速 。 不 仅要支持 小 规模 的神经 网 络模型 介 绍 的 方 法 都 是 基 于 软 件 模拟 的 方 法 模神 经 网 络硬 件 实现 的 研究 这方面 。 但 是要想 使神 经 网 络得 到 更广泛 并且有效 的 ， 并 且 能 够 有很快 的 处理速度 ， 还可 。 以 及之后推 出 的 年研制 的 公司 于 系统 神 经 计算机 ” 处 理 问 题 的 速度 还有一 种 方法就 是 采用 神 经 网 络专 用 并行 处 理 机 应用 大学研制 的 ， 中 国 国 防科技大学所研制 的 以 通 过神 经 网 络加 速板 来提 高 软 件模拟 的 例 子 主 要有 年 ； 例如 。 、 ， 发达 、 ， 国 防 以 及科 研 部 门 公 司 研制 的 神 经 网 络 专用 芯片 己 经在 医 学上得 以 应 德国 其 商 业价 值不 可 小 劇 。 可 重构技术 发展现状 可重构 计 算 的 概念 最 早 是 由 （ 在上个 世纪 六 十年代首 先提 出 的 个高潮 期 验 的 基础 ， 。 目 前为 止 ， 。 可重构 技 术 的 研究进入一 为 可 重 构 技 术提供 了 实 ， 多 个基于可重构技术 的 原 型系 统 已被开发 出 来 多 个领域 得 到 了 广 泛 的 应 用 取得 了 良好 的 效果 ， 技术 的 不 断 发展和 成熟 这 主要得益 于 到 到 了 九十年代初 期 。 。 比如 ， 在数据 压缩 、 串 匹配 、 目 标 为 了 使可重 构 计算技术得到 更加 广泛 的 应用 者们 主 要 是对 可重构计算技术 的通用 模 型进行更 深 入细 致 的 研究 可重构 逻 辑器件 的 开发对 可重构 技术 的 研 究 有着 重大 的 影 响 之所 以 能够 灵活高效 的 实现 多 种 应用 是分不开 的 。 在可 重构 计算研 究初期 ， ， 自 ， ， 并且在 动 识别等领域 近些年来 ， 学 。 。 可 重构 系 统 这 与 可 重 构 系 统 所 使 用 的 可 编 程 逻辑 器 件 由 于 受 到 了 可 重 构 逻 辑器件 的 限制 者们 并没有 在 可重构领域取得卓有成效 的 成 绩 技 术在速度 、 。 近些 年 来 ， 由于 ， 研究 以及 规模 还 有 体 系 结 构 上 的 发 展 ， 这使 电 子科技大学硕 士 学位论文 得 设计 出 结 构 复杂 、 功 能 强 大 的 可重构 逻辑器件成 为 可 能 技 术将 会 得 到 进 一 步 的 发 展 目 点 。 前 ， 。 动 态 可 重 构 技 术 尤 其 是 运 行 时 可 重 构 技 术 是 可 重 构 技 术研 究 的 一 个 热 所谓 的 动态可重构 是相对 于静态可重构来说 的 系 统执 行某 个任 务之前 置好 的 功 能 是不会被 改变 的 。 不 允 许 在 系 统运行 时进行 配 置 可 重构 逻辑 器件进 行 重 新 配 置 ， 静态可重构 技术指 的 是在 。 。 ， ， 而动 态可重构技术则 是指 调 整成为 可 能 这些 己 经配 则 ， 实现不 同 的 功 能 。 使 得硬件去 “ 运行 时可重构 是建立在 动态可 。 它 能 够 对 器 件 的 空 闲 资 源进 行 ， 根据 不 同 应用 中 的 实 际 需 求 适应 ” ， 在系 统运行 时可 以 对 ， 可 重构 技术可 以 对可重 构 器件上 的 逻辑 资源做 出 相 应 的 配置 ， ， 才 能 按 照 不 同 的 功 能 对 可 重 构 器件 进 行 配 置 而不影 响 已有任务 的 正常执行 上 的 资源得到充 分 的 利 用 按照系统需要 的 在 这个 任务执行过程 中 与 动 态 可 重构 不 同 的 是 ， ， 如 果 想对可重构系 统重新配 置去 完成 别 的任 务 必 须 要 等 系 统 完 成 这个 任 务之 后 重构技术 的 基础 之上 的 。 将配置 文件一次性 的 写 入可重构 器件 ， 一个或某几个功 能对可重构 器件进行配置 新 的配置 这也表 明 可重 构 计算 ， 。 ， 运行 时 使可重构逻辑器件 不 同 应用 的 需求 并且 做 出 相 应 的 。 的 发展现状 即 现场 可 编 程 门 阵 列 经 发展成 为 现如 今数字 集成 电路设计 的 主要硬件平 台 ， 。 目 前 己 用户 只 需要通过 软 件进 行 设 计 生 成 配 置 文 件 对 其 进 行 配 置 可 以 完成某 种特定 的 功 能 计进行修 改 或者 升级 时 电 路 板 进行 修 改 前 ， 并且 是可 以 被 反 复配置 的 ， 只 需要 简 单 的 在计算机上 修 改和 更新 程序 受 到 了 广 大 硬件 设 计 工 程 师 的 青 睐 路 中 的 角 色 也 从最初 的 逻辑胶 合 延伸 到 。 了 众 多 的 其它领域 ， 而 不 需要对 降低 了 成本 ， 包括医疗 ， 数字信 号 处理 、 汽车 、 、 越 来越 向 着超级 芯 片 的 方 向 发 展 随 着 集 成 电 路技 术 的 进一 步 发 展 ， ， ， 高密度运算 工业控制 以 及消 费 电 子等 集成 的 功 能模块不 断增 多 ， 提 。 不 仅在通信领域 得 到 了 广泛 的 应 用 从而使得 工艺 的 不 断 改进 得 ， 进而 对不 同 的 硬件 设 从可编 程逻辑芯 片 逐步 升级 为 可编 程系 统级 芯 片 随着 等更广 阔 的 范 围 。 这 样 一 来大 大 的 缩 短 了 硬件 设 计 的 周 期 。 高 了 硬件 实 现 的 灵 活 性 目 ， ， ， 。 ， 其在 电 、 接口 也扩展到 未来 ， 处理能力 不 断增 强 随着 ， 使 。 出 现 了 片上可编 程 系 统 （ 和片上系 第一章 绪论 统 技术 （ 的产物 ， 不 仅涵 盖 了 实 时化 式等 内 容 目 。 产品 ， 前 它们 是可编 程逻辑器件和 专用 集成 电 路相 结合 。 技术 复杂计算 、 集成 的 系 统 门 电路数量 也 超过 百 万 门 多 硬核 和 软 核 处 理 单元 理器有 ， 使得 微处理器 软 核处理器有 是传统 意义 的 目 器件都集成 了 很 前的 等 以及 。 主要 的硬核处 这 样 一 来使可编 程逻辑器件从 单 片 级 。 据赛灵 思 公 司 高层透露 以 及更 多 的 功 能模块 的 芯片 ， 在概念上也 不 正 在研 制 集 成 更 大 存 储 模 块 ， 将 逐 步 变 成一 款超 级 系 统 芯 片 ， 主要 的 。 将硬件设计 的 高速性 。 不仅在规模和 性 能上超越 了 专用 集成 电路器件 。 的 差 分 串 行 接 口 以 及 高速 的 乘法 单元 等 、 、 ， 。 逐步 发展 成 为 系 统级 的 芯 片 和 软件设计 的 灵 活性 完 美 的 结合 在 了 一起 扩展到 了 系 统级 还 包括 高 速数 据 收 发器和 嵌入 公 司 也推 出 了 制造工艺可达 公司和 ， ， ！ 本 课题 主 要工 作 的 神 经 网 络 的 硬件 实 现方法进 行 了 研 究 本课题 的 主 要 工 作 就 是对基 于 和 设计 。 一个神 经 网 络涉及 到 很 多 参数 用 到 的激励 函 数 以 及权值和 阈 值等等 的 神 经 网 络能够进行动 态调 节 结 构 也 是动态可调 的 为止 ， ， 。 本 课题 因此 。 实 现 的 各个模块进行 了 设计 另外 ， ， ， 动 更新 网 络为 例 并 且对 非 线 性 函 数 ， 、 ， 而 且拓扑 。 而 目 ， 前 ， 分别对其 的 逼近进行 了 和 。 要想 完 成神 经 网 络 的硬件实现 实现 的 难度 很 大 ， ， 就 必 须 完 成激励 函 数 的 硬件设计 与 实 函 数和 。 函 数 它们都 是非线性 函 数 ， 。 于现 实生活 中 不 同 的 问 题需要 不 同 的 神 经 网 络来解决 可切换 的 多 个神 经 网 络模型可 以 解 决更加 复杂 的 问 题 个 由 多 个神 经 网 络模 型组成 的 系 统 ， ， 所 以 选 择 一种 既节 省 资源又 不影 响 速度 的 方法来 实 现激励 函 数 也 是本课题 的 重 要 工 作 之 一 可重构 的 神 经 网 络模型 自 即 便 是 能 够 用 硬 件 实 现神 经 网 络 网 络和 本文 以 现 本文 中 涉及 到 的 激励 函 数 是 由 神 经元 的个数 的 就是 寻 求 一种 方法 使硬件 实现 不 仅 能够 实 现权值和 阈 值 的 ， 大 多 数 的 神 经 网 络 是通过软 件 实 现 的 相 应 的 仿真和 误 差 分析 目 、 也 就 是 网 络 的 层 数和 每层 神 经 元 的 个 数动 态 可 调 其 网 络结 构 也 是 固 定 不 变 的 利用 包括神经 网 络 的 层 数 ， 。 。 所以 ， ， 所 以 实现一种 动 态 非常有必要设计一 本 文在最后提 出 了 一种 基于 有待进一步 的研究 。 结构 的 动态 电子 科技 大学硕 士学位 论文 论 文 结构及 内 容 安 排 现 的 方法进行 了 研 究 第 一 章 是绪论 重构技术 神经 网 络为 例 神经 网 络和 本文 以 ， ， 完 成 了 各个模块 的 设 计 。 了 介绍 。 最后 ， 、 其次 ， 拓 扑 结 构 的 确 定 和 激励 函 数 的 实 现方 法 详细 介绍 构和 基于 ， 其次 ， 对 神经 网 络 和 ， 。 。 首先 然后 ， ， 内 、 。 神经网络 容和 意 义进行 主要 介绍 了 神 经 网 络 并介绍 了 基 于 的动 神经 网络 函数的 。 首先 最后 ， 。 介绍 了 神 经元 的 设计 与 实现进行 了 神经 网 络的 。 函 设计与 实现 ， 对神 经 网 络 阶段 问 的 重 结 构 的 动 态可切 换 的 神经 网 络模型进行 了 讨论 。 可 。 主要 介绍 了 进行 了 仿真和 逻辑综合 以 及误 差 分析 课题研 究 的 意 义 和 价 值 。 对 神 经元模型 ， 的 神 经 网 络 的 设计与 实现 第六章是总 结 与 展望 方向 。 神经网络 第 五章介绍 了 基于 、 。 设计 与 实现 设计 与 实现 以及 。 首先 的神经 网 络实现需要考虑 的 问 题 第 四 章是激励 函 数 的 设计 与 实现 神 经 网 络实现技术 ， 对神 经 网 络实现技术研究 的 态 可重构 技术和 选用 的 数据 格式 和 精 度 数的 。 介 绍 了 一 些神 经 网 络 硬件 实现技术 方 法 第三章是基于 模 型 的 选择 。 。 以 及本课题主要工 作和 论文各章 内 容安排 ， 第 二 章主要 介 绍 了 神 经 网 络及其 实现技术 模 型及 学 习 模 式 进行 了 介 绍 的神经 网 络硬件 实 各章 的 主 要 内 容如下 主 要 介绍 了 课题背 景 以 及 研究 意义 的 发展和 研 究现状 、 对基 于 ， 。 对本课题所做 工 作进行 了 一个总 结 ， 阐述 了 本 指 出 了 本 课题 可 以 提 升 的 空 间 和 以 后 可 能研 究 的 第 二 章 神 经 网 络 及 其 实 现技 术概 述 第二章 神 经 网 络及其 实 现技 术概述 神 经 元模型 生物神 经 元模型 神经 网 络是一个 以 神 经元作为 基本 的 信息 处理单元 接 而 形 成 的 一个 具 有信 息 处理 能 力 的 系 统 神 经细 胞也 就 是神 经元 每一个神 经元有 个完整 的 系统 率也 非常低 速 的 反应 型结构 。 ， 。 科学研究发现 通 过众 多 的 在人 的 大脑 中 大约存在 但是不 同 神 经元之 间 具有 极度 并 行处理 的 能力 由 细胞体 、 突触 ” 连 个神经元 ， 众 多 的 联接突触将这些神 经元 构成 一 ， 虽 然 单个神 经元所 具有 的 运 算 能 力 十分有 限 神 经元主要 “ 其 物质 结 构基础 和 基 本 功 能 单 元 是脑 。 个联接突触 到 。 ， ， 树 突和 轴 突组成 。 图 ， ， 且信 号 的 传 输速 使 人脑 能够做 出 快 所 示是生物神 经元 的 典 。 树突 神经末梢 施 扇胞 细 胞核 生物神 经 元模型 图 虽然神 经元 的 不 同 部分具 有 不 同 的 功 能 的 作 用 主要 是用 来接 收 周 围 的 信号 后 的 信 号 通 过神 经 元之 间 的 突 、 “ 突触 ； ” 轴 突和 突触 连接 成 一个 神 经 网 络 ， 但它们之 间 是紧密联系 的 而轴 突 是作 为 细 胞 的 输 出 端 传送到 不 同 的 神经元 。 。 ， 树突 将细 胞体处理 众 多 的 神 经元通过树 神 经元具有两种 工 作状态 ： 兴 奋和 抑 制 。 电 子科技 大 学硕 士学位论文 神 经冲动 的传递 是一个 电 化学过程 神 经元就进入 兴 奋状 态 入抑制状态 比 较大 ， ， 当 产 生 的 电位差大 于这个神 经元 的 阈 值 时 ， 当 产 生 的 电位差 小 于这个神经元 的 阈 值 时 其 中 突触 的 联接 强度 决定着神 经元接收信 号 的 强弱 。 神 经 元接 收 的 信 号 就 比 较 强 果 联接 强度 比较小 ， 接收 的信号 自 ， 然也就 比较弱 ， 生 物 神 经 元 具 有 以 下 五 个特 征 ， 越容易 处于抑制状态 ， 相反 ， 如 不过 ， 。 ： 神 经元之 间 信 号 传递 的 强弱 是 由 突 触 的 联接强度 决定 的 通过 训 练 可 以 改 变 神 经 元 之 间 突 触 的 联 接 强 度 ； ； 输 入 信 号 可 以 使 神 经 元 处 于 兴 奋 状态 或 者 是 抑 制 状 态 神 经 元 的状态 是 由 所有输入信 号 的 累 积 效果所 决定 的 神 经元 神 经元就进 如 果 联接 强度 越容 易 使神 经元处 于 兴 奋状态 突触 的 联接 强度 是 随 神 经 网 络 受 到 的 训 练 而 不 断 改变 的 综上所述 ， ， ， 阈 值 ” 的 大 小 直接关 系 到 神 经元 的 工 作 状态 ； ； 。 人 工神 经 元数学模 型 模型是最 典型 的 人 工神经元数学模型 物 神 经元进行抽 象 简 化得到 的 ， 图 对 于神 经 网 络 某 一层 第 所示 如图 ， 是 不 同 神 经元之 间 的 联接权 值 接 权值 的 作 用 结 合 起 来 ， 得到 “ 模型 净输入 ” ， 用 是神 经 元 的 输入信 号 ， 。 它 是通过对 生 。 人 工 神 经元 个神 经元 来说 ， ， 通 过 线 性 加 权 求 和 把输入信 号 和 联 来表示 。 第 二 章 神 经 网 络 及 其 实 现 技 术概 述 】 是神经元 沒 的 阈值 ， 将 式 与 。 相 减 得 到 新 的 净 输入 （ 后 得到 神 经元 的 输 出 为 经过激励 函 数 这 里如 果 我们 令 。 。 ， 记作 ： 可 以 将上面 的 公式简 化为 下式 ， 这样 就 完整地描述 了 一个 人工神 经 元 的 模 型 ， ： ： 对 于不 同 的 输入 会给 出 不 同 的 输 出 。 神 经 网 络模型 目 前 有非常多 的神经 网络模型 ， 都有所 区别 规则 ， 。 表 中列出 了 几种典型 的神经 网 络模型 应用 场 合 以 及激励 函 数作 了 介 绍 表 ， ， 应用领域 以及 学 习 规则 分 别 对它们 的 结构 ， 神 经 网 络模 型 结构 学习 规则 主要 应 用 激励 函 数 感知器 单个神 经元 有监督学习 分类 问 题 阈值函 数 单个神 经元 有监 督学 习 去除噪声 阈值函 数 前馈型 网 络 有监 督学 习 分类 前馈型 网 络 有监 督学 习 分类 反馈型 网 络 无监 督 学 习 联想 问 题 阈值函数 反馈型 网 络 无监 督 学 习 模式识别 多种函数 网络 网络 网络 学习 。 名称 网络 一 它们 的拓扑 结构 ， 、 ， 函 数逼近 函数 函 数逼近 函数 神经网络 神 经 网 络介绍 神 经 网 络 即 误 差 反 向 传播神 经 网 络 ， 它 的 基本 结构 为 电子科技 大学硕 士学位论 文 多 层感知器 网络 （ 完 整地提 出 了 算法 学 年 。 在 多 层感知 器 网 络 中 使用 的 误差反 向 传播 并被广 泛接 受 ， 网 络 就 是 使用 因此 ， 和 、 ， （ 算法 的 多 层感 知器 网络 神 经 网 络至 少 是一个三层 网 络 组成 。 研究结果表明 之 间 的 联接 权 值 】 。 最 终传 向 输 出 层 ， 则 转 入误差 反 向 传播 阶 段和 权值更 新 阶段 ， 使输 出 层 误 差越来越 小 ， 的 一 种 神 经 网 络模型 广 泛 的 应用 神经 网 络就 能 以 任意精度对任意 复 在神经 网 络 的前 向 传播阶段 。 经过各个 隐 含层 的 非线性处理 到理想 的输 出 值 输 出 层 以 及 至 少 一个 隐 含层 所 、 算法 的 训 练 学 习 过程 由 前 向 传播阶段 。 向 传播 阶段 以 及权值更 新阶段组成 ， 输入层 由 仅含有一个 隐含层 的 ， 杂 的 非 线 性 连 续 函 数进 行 逼 近 入层 输入 ， 图 ， 在语音识别 。 据统计 图 像处理 、 、 输入层 输入信号经输 通过修改各神经元 ， 目 前应用 最 为 广泛 医 学信 号 处理等 多 个 领域得到 了 神 经 网 络模型基本 结 构 图 是 误差反 如 果 在输 出 层得不 。 网络是 ， ， 、 。 隐含层 输出层 神经 网 络模型 图 神经网络算法 算法是一种有监 督 的 学 习 算法 求 激励 函 数 具 有连续可 微性 。 于 是 在梯 度下 降法 的 基础 上 建立起来 的 在输 出 层不 断计算输出 误差 则 根据 计 算 的 误差 调 节 联接权 值矩 阵 由 ， ， 直至达到要求 【 】 ， ， 要 当 误差达不到 要求 时 。 函 数 的 导 数 可 以 通过 函 数本 身 的 运 算 来表达 ， 所 以 常用 作 算 第 二 章 神 经 网 络及 其 实 现 技 术概 述 法 的 激励 函 数 函 数 的 表 达式 如 下 ， ： ⑶ 其导数 的表达式如 下 ： ⑴ 网 络 的 学 习 训 练过程 主 要 包 括 以 下 三 个 阶 段 播 阶段 以 及权值更 新 阶段 输入记 作 与第 输出 记作 假定 神 经 网 络 一共有 。 ， 阈 值记 作 前 向 传播阶段 层 ， 第 、 误差反 向 传 个 神 经元 的 净 层第 层第 个神 经元 的 输 出 记作 第 个 神 经 元之 间 的 联接 权值 记 作 层第 前 向 传播 阶段 ： ， 、 ： ； 误 差 反 向 传播 阶段 ； ： 将输 出 层 各个神 经元误差 的 平方和 记 作 误差 函 数 ， 艮口 ： 厂⑵ 丄 其中 理可知 式 ， ； ， 为第 目 标输 出 值 ； ， 为 其实 际输 出 值 可得 （ ： “ 其中 《 是学 习 率 ， 是 一个常 数 。 对于输出 层 对于 。 由 梯度下 降原 希 望 每层 神 经 元权值修 正 量 与 误 差 函 数对 该 权值 的 导 数 成 正 比 和公式 （ 个神 经元 的 的 其它层 ， 根据 全导 数 公 式 可得 ： 可 ， 通过 公 电 子科技 大学硕 士 学位 论 文 、 权值 更新 阶 段 令 〗 权值 调 整 公 式 如 下 ： 所 以 输 出 层 权值 调 整 如 下 ； 对于 （ 的 其它层 又 如 公式 所示 （ 所 以 隐 含层 的 权 值调 整如 下 ） ： 、 其次 ， ， 进行初 始 化 和公式 （ 步 ， 的 一个 样本对 进 行 训 练 ， ； ； 对各层 联接权值进行调 整 （ ： 设定学习 率 计算 每层 各个神 经元 的 输 出 值 （ （ 算法 的 学 习 过程 归 纳 为 如 下 几步 可 以 将整个 输入训 练样本对 中 根据 公式 转到第 ” 对神 经 网 络权值 根据 公式 ： ‘ 七 首先 ： ： “ ， 所示 （ 厂 ； 综上所述 ‘ ‘ 的输 出 层 《 如公式 对于 （ 根据 公 式 “ ： ’ 根据 公 式 ” ； 继 续 对 第 二 组样 本 对进行 训 练 依此类推 循环 利 用 所有 样 本对 ， 直到 输 出 误差达到 要求为 止 ， ， 。 神经网 络 神经 网络介绍 神经 网络即径 向 基 函 数神经 网络 有单个 隐 含层 的 三层 前馈 网 络 最 早 是 由 其 具体拓 扑 结构 图 如 图 所示 ： 和 在 。 它 是 一个 只 具 年提 出 的 ⑴ 。 第二 章 神 经 网 络及其实现技术概述 離 隐 含层 输入层 神 经 网 络 是严 格 的 三层 网 络 向 基函数 ， ， 输出层 神经 网 络模型 图 输入层 不 对 信 号 进 行 处理 ） ， 不 存 在 从输入层 到 隐 含层 的 联接 权值矩 阵 只 是起 到 传 递 的 作 用 输 出 层采用 的 是线性 函 数 同样的 。 ， 。 隐 含层 的 激励 函 数 采用 的 是 径 能力 方面都优于 的 最 佳逼近特性 ， 神经网 络 目 。 前 已 经在理 论上证 明 的 学 习 速度要 快得多 并 且在 收敛速度和 学 ， 神经 网 络具有唯一 ， 不 存 在 局 部 极值和 收 敛速度 慢 的 问 题 网 络 去 逼近 同 一个 非线性 函 数 神经网 只 含 有一个 隐 含层 的 络 也 能 以 任 意 精度对任 意 复杂 的 非线 性连续 函 数进行逼近 习 网 络和 如果用 。 网 络所需 神 经元 的 个数可 能 比较 多 ， ， ， 但是它 。 神 经 网 络算法 由 数 ， 神 经 网 络 隐 含层 神 经元采用 的 是局 部分布 的 非 负 非线 性 的 径 向 基 函 于 所 以 从输入层 到 隐 含 层 是 一个 非 线 性变换 的 过程 个范围 内 有效 所 以 只 有 当 输入层 的 输入值落在某一个 范 围 之 内 时 ， 元才会进行径 向 基 函 数 的运算 的输出 如式 （ 所示 ， 给 出 有意义 的 非零 响 应 函数 ， ； 为 输入层 向 量 ； 【 。 】 ， 隐含层第 隐 含层 神 经 个神 经元 ： 中 其中 于径 向 基 函 数只 在 某一 由 。 是第 进行欧 氏距离 的 计算 」 个神经元 的径 向 基 中 心 为 采用 的径 向 基 ； 。 神 经 网 络径 向 基 函 数通 常选择 高斯 ） 函数 ， 它 具有 径 向 对称 、 解 电 子 科技 大学硕 士 学 位论 文 析性好 光滑 性好 以 及 任 意 阶 导 数存 在 等特 点 、 布都是服从 其中 分布 的 函 数 的 公式如下 。 是一个不 为 零 的 常 数 ， 式带入到 并 且在现实 生活 中 ， ， 为径向基中心 ， ■ 非常 多 的 分 ： 函 数的 宽度 将 表示 式重新得到 隐含层神经元 的输 出 如 下 （ ， 。 ： 丫 〔 ” 其中 也 是一个常 数 ， 。 神经 网 络 的 输 出 层采用 线性 函 数 作 为 激励 函 数 由于 含层 各个神 经 元输 出 的 线 性组 合 其中 是 隐含层第 个节 点 到输 出 层第 的 阈值 艮口 所 以 它 的输出 即 隐 ： 个节 点 的输出 值 是输 出 层 第 ， ， ， ； 是 隐含层 第 个节 点 的 输 出 值 个节 点 之 间 的 联接权值 ； 是输 出 层 第 。 ； 个节 点 。 神 经 网 络 的 训 练 过程 可 以 分 为 隐 含层 祌 经 元 的 学 习 和 输 出 层 祌 经 元 的 学 习 两个阶段 。 第 一阶段 是 隐 含层 神经元 的 无监 督 聚类 算法 计 算 中 心 距和 调 整 隐含层 ， 层神经元 的有监督学 习 步骤如 下 ， 自 组织 学 习 阶段 函 数的径向 基中心 更新 隐 含层到 输 出 层 的权值矩 阵 ， 采用 均值 第 二阶段是输 出 整个 网 络 学 习 的 具体 。 ： 对各个 隐含层节 点 的 径 向 基 中 心 进行初 始化 ， 并且设定停止计算 的 计 算各 输入层 样 本和 隐 含层 径 向 基 中 心 之 间 的 欧 氏 距 离 并求 出 欧 氏 距 离 最 小 ， 的 隐 含层 节 点 ： “ 其中 ， 经元 数 《 为 输 入层 样 本 序 号 ； 调整径 向 基 中 心 ， 即 ， 为 欧 氏距离最小 的 隐含层节 点序号 ， 为 隐含层 神 第 二 章 神 经 网 络 及 其 实 现 技术 概 述 制 其中 是学习 率 ， 式 并且 为 输 出 层第 ， 。 可知 （ 个节 点 的 由 于输 出 层 激励 函 数 式可 以 修 改 如 下 ， 《 至此 性强 ， 明 显优于 直 到 满足 下 式 ： ： 标输 出 值 是其实际输 出 值 ， 由式 。 和 （ ： — 为线性函 数 ， 是一个非零常数 完成 了 整个 ， 所 以 对其 求 导 后 是 一 常 数 ， ， 所以 从 而 可 以 得 到 权值调 整 公 式 如 下 网 络 的 学 习 训 练过程 网 络算 法 那 样 繁 琐 的 迭代 运算 不需要 ， （ ： 是学 习 率 ， 目 步 输 出 层权值调 整量 为 下式 ， 么① 其中 重复 网 络输 出 层 的 误 差 函 数 为 定义 其中 ， 神经网络 ， 。 可以看出 ： 神 经 网 络针对 ， 所 以 它 的 学 习 能 力 和 收 敛速 度 都 。 神 经 网 络 学 习 模式 一个神 经 网 络 的 学 习 能力 是 由 它 的 结 构和 学 习 规 则 来决定 的 习 训 练 的方法 和 在线 训 练 ， 但大体可 以 分 为 以 下 两类 ： 。 虽然 有很多 学 有监 督 训 练和 无 监 督 训 练 、 离线训练 。 有 监督 训 练 在 这种 有监 督 训 练模式 中 标输 出 值 。 ， 要求在给 出 训 练样本 的 同 时还必 须给 出 理想 的 目 一 种 学 习 规 则 必 须 包 含 一 个 方程 式 以 及 获 得 这 个 方 程 式 的 特 殊 的 方 法 。 电 子科技大 学硕 士学位 论文 当 利 用 这种 规 则 来 改 变 神 经 元之 间 的 联接 权值 时 督 训 练 中 用 到 的 学 习 规则 包括 学习 规则 长时间 、 学习 规则等 、 学 习 规则 ， 这个过程就称作 学 习 学 习 规则 、 有监督学 习 包 括 以 下 内 容 。 。 误差 反传 、 何 时结束训 练 ： 给 出 输 入 输 出 训 练 对 的 频 率 以 及提 供 性 能 和 误 差 信 息 在有监 、 训练多 。 无监督训 练 在这种无监 督 训 练模式 中 入 向 量应 该被分 成几类 ， ， 提供给神 经 网 络 的 只 有输入 向 量 每 一 类 输 入 向 量 对应 一 个 特 定 的 输 出 到 的 比较典型 的学 习 规则有 学习 规则等 分成多 少类 。 ， 学习 规则 这种 训 练模式 的 缺 点 是 ， ， ， 应该被 每 一类 的输 出 又 是什么 样 的 形式 。 训练 离线 这种 训 练模式有两 个不 同 的 阶段 网 络通 过 一 定 的 学习 规则 ， ： 学 习 阶段和 运行阶段 利 用 样本数据进行学 习 神 经 网 络就具有特定 的 权值 。 。 这些权值就 已 经 固 定 了 通 过成功 训 练达 到 了 神 经 网 络 所 需 要 的 性 能 就必 须 重新对这个 网 络进行训 练 成 、 对给 定 的 输入 向 量 怎 样进行 分类 每 个 输入 向 量应 该 被 归 为 哪 一 类 等等 问 题都是很难确 定 的 对于给 出 的输 这 种 训 练模 式 用 。 学习 规则 、 。 。 。 。 在 学 习 阶段 ， 神经 当 这 一阶段成功完成之后 ， 不 能再 改变 了 ， ， 因 为 我们 如 果有新 的信息添加 到 这个 网 络 中 ， 离线 训 练要求所有 的 模式 都必 须 依 靠训 练来完 。 在线 训练 这种 训 练 模式 又可 以 理解 为 实 时训 练 ， 新 的 信 息 可 以 添 加 进来 ， 这个系 统在 学 习 的 同 时也 可 以 工 作 并且之前存 储 的 信 息 不会丢 失 ， 。 。 学 习 规则 如 前所述 ， 所有 的 神 经 网 络 都包 含 一个 联接 权值 向 量 的输入给 出 正确 的 输 出 定的学习 规则 。 。 目 下面 列 出 几种 常 用 的 学 习 规 则 ： 这样 才 能够 根据 不 同 不 同 的 神 经 网 络 为 了 得到 正确 的 联接权值 学 习 规则 的 学 习 规则 ， 的 就 是用 来 修 改 联接权值 的 。 ， 必 须采用 特 有很多 的 学 习 规则 ， 。 这种 规 则 指 出 ， 当 两个 神 经元 同 时处 于 兴奋 状态 时 ， 它们 之 第 二 章 神 经 网 络 及 其 实现技 术 概 述 间 的 联接 权值 就会 增 强 感知器学 习 规则 否 则 会减 弱 ， 。 这是 一个反 复 训 练 的规 则 ： 式 分 类 的 一 组 联 接 权值 如 果 存在 的 话 ， ， 保证 找 到 能够 正确 将所 有 训 练 模 。 学 习 规则 这种 学 习 规则 又被称 为 学 习 规则或者是 ： 小 均 方误差 ） 学习 规则 每 一个训 练模式 都 是基于平方误差最 小 的 原 则 。 反 传 算 法其 实 是广 义 的 学 习 规则 ： 最 学习 规则 应用 在多层神经 网 络 中 ， 。 误差 。 这种 学 习 规 则 是 通 过 旧 的 联 接权 值 和 新 的 输入 向 量 的 线 性 组 合 来 获得 新 的 多 个 联 接 权 值 向 量 哪 一 个 联 接权值 向 量 最 接 近 于 输 入 向 量 就 ， 可 以 被用 来学 习 。 神 经 网 络 实 现技术研 究 的 内 容和 意义 人工神 经 网 络 的研 究尤其 是 实现技术 的研究在近年来获得 了 重大 的 进展 控制 系 统 模式识别 、 、 信号处理 医 疗 等 众多 领域得 到 了 广 泛 的 应用 、 认 为 它将会 使 电 子信 息 科 学和 生物科学产 生革 命性 的 变 革 人 工神 经 网 络 主要有三个研究领域 研究 。 理论研究是整个神经 网 络研究 的 根基 究 得 以 进 行 下 去 的 首 要 前提 ； ； ， 现技术研究 是相 辅相 成 的 。 应用 的 研究 以 及实现技术 的 是神 经 网 络 应用 研 究和 实现技术研 目 标 所以说 。 缺一不 可 的 ， ， 不 断 推进理论研 究 和 实 现 技术研 究 的 ， 因 此 实 现 技 术 的 研 究 架起 了 理 论研 究 与 应 用 研 究 之 间 的 桥梁 对神 经 网 络 进行研 究 的 最 终 目 的 面 。 而 实 现技 术 的 研 究 主 要 是通过各 种 手段 实现神 经 网 络 的 各种 理 论模 型 其得 以 应用 目 ， 、 在 人 们 普遍 应用 研究使得理论研 究得到进一步 的 成 熟和 完 善 给实现技术 的研究提 出 了 新 的 要求和 发展 理 论研 究 ： 。 ， 神 经 网 络 的 理论研 究 ， 、 ， 使 也是 应用 研究和 实 。 前对 人工 神 经 网 络 实 现技术 的 研 究 主 要 包 括 软 件 模拟 和 全硬件 实 现 两 个 方 对 系 统 的 研 究 和 神 经 器件 的 椅 造 是 重 点 。 神 经 网 络 的 软件模拟 实现也称 为 虚拟 实现 主 要 是对 “ 神经计算机 ” 多 种 基于 软 件模拟 实现 的 体系 结构 方面进 行研究 “ 神 经计算机 ” 基 于 传 统 计 算机 的 纯 软 件 模拟 神 经 网 络加 速器 ， ， 它 具 有 很 高 的 灵 活性和 通用 性 。 当前 ， ， 国 际上 己经研制 出 了 很 大体可 以 分 为 如 下 几类 ； ； 神 经 网 络专 用 并行 处理器 。 神经 网 络 的 全硬件实现指 的 是物理 上 的 处理单元和 具 体神 经 网 络模 型 中 的 神 电子科技 大学硕 士学位论文 经元一一对应 处 理速度 快 比较低 问题 。 、 处 理 单 元之 间 的 联 系 和 神 经元 之 间 的 连 结 一 一对应 ， 容 易 达 到 实 时 计 算 的 要 求 是全硬件 实 现 的 最 大优 点 通用 性 比 较 差 ， 。 神 经器件 的 构 造是 目 光学神经芯片 的研究 前神 经 网 络全硬件实现研究 的 核心 ； 。 虽 然现在 电 子 计算机 已经得 到 了 高度 的 发展 们 为 什 么 还要对人工神 经 网 络进行研究 呢 依曼结构 。 ？ 处理速度 也 非常 的 快 ， 语音识别 。 传 统计算机不 具 备 自 ， 整个 过程 是 事先规定 好 的 我学 习 能力 ， “ 唾 手可得 ” 而传统 电 子计算机却 ， “ 甚至是无 能 为 力 ， 所 以 非常 有必 要 设 计一种 在 结构 上和 功 能上类似 于人脑 的 探 索 那 些人脑 ， 所 以在诸如 图 像分析与 智 能控 制 等领域与人脑相 比 还 是相 差甚远 的 、 但是人 ， 这是 因 为 传统 的 计算机采用 的 是冯诺 计算机只 能 根据具 体 的 指令进行顺序操 作 ， 不 能够进行灵活 改变 的 但是它 灵活性 ， ； 分 子 化 学神 经 芯 片 的 研究 、 、 当 前 国 际上对神 经器件 的 研究主 要 包 括 以 下三个方面 电子神 经芯片 的研究 处理 并行性高 。 “ 神 经计算机 ” 去 举步维艰 ” 的 领域 。 神 经 网 络实现技术分类 通过前面 的 介 绍 可知 的 桥梁 ， 神 经 网 络 的 实现技术架起 了 理 论研究与应用 研究之 间 ， 在整个神 经 网 络 的 研 究 中 起 到 至关重要 的 作用 实 现技 术方法 如 图 所示 。 目 前 主要 的 神经 网 络 ， 。 神 经 网 络 实 现技术 分类 基 于 传 统计 算机 技术 ‘ 、 ‘ 基于硬件 的 实现技 术 十 ； ， — 模 器 谏 拟 漂 板 技术 木 数字 技 模拟 技术 数 模混 合 ； 图 ；： 技术 ？ 人工 神 经 网 络 实 现技 术 分类 光 ‘术 ■ 光 学 件 。 电 电 光 ’ 第 二 章 神 经 网 络 及 其 实 现 技 术概 述 基 于传统计算机技术 的 实现方法主要有三种 技术和 软件 与 加 速板技术 机高性 能 的 计算能力 法具有 使用 方 便 。 这种 软件实现 的 方法通用 性好 、 通 用 性 好 等优 点 失 去 了 神 经 网 络 分 布 式 并 行 处 理 的 根 本特 性 上都还 远远 不达不到 研究 和 应用 的 水平 目 扰能力 强 。 、 便 于 程序控制 技术 实现 实现技术 。 ： 并且 分 子 化学技术 实现 以 、 抗干 下面分 别 对 这三种 。 数字 实 现技术 模拟 ， 实 现 技 术 的 三 种 方式 实现方法 首先 。 数 字 芯 片 很 容 易 集 成 到 大 多 数应用 程序 中 成熟 数字 电 路 自 ， 前越来越 多 的 ， ， 数字器件制造工 艺 比 较 之中 ， 精度 比较 高 。 会消耗 比较多 的 资源 设计周 期长 。 然而 。 ， 目 。 ， ， 并且可 以 反 复擦写 ， 对 于 非 线 性激励 前数字实现方式主 成本高 ， 灵活性很差 ， 。 随着 技术 的 进一步发展 这样 就大大提 高 了 芯 片面积 的 利 用 率 ， 的 结 构 与 神 经 网 络 分布式 并行处理 的特 点 十 分相似 网 络 的 数字 设计主要通过 来 实现 的 。 。 可 以 通过 编 程 生成不 同 配 置 文件对 从而 设计不 同 的 神 经 网 络模 型 具有可重构功 能 ， 另 外 很 多 数字器 可 以 用 来设计 网 络模型和 拓 扑 结 构 不 需 要 改变 的 专 用 神 经 芯 片 设计相 对 灵活 进行配置 ， 实现 的 或者 是 ， 其次 对于神 经元权值 的 运算很方便 ， 函 数 的 运算 不 是数字技术 的 优 点 但是速度 比较 高 在数字化程度越来越 高 的 。 ， 件上都集成 了 乘 累 加 器 要是通过 。 ， 动化 设计 的 工 具 比 较 多 设 计方便 权值可 以 存储在 通过对 比特位 的 精确操作来完成相 应 的 算 术运算 并且 、 下面分别对 利 用 数字技术来实现神 经 网 络有很多优势 目 ， 。 神经 网 络 的数字 而 规模 比 较 小 ， 实现 实现技 术 以 及 数模混合 ， 尽管这种方 技术 具有 实现技术成 熟 ， 实现技 术 主 要有 以 下 三 种 神经网络的 今天 。 。 神经网络的 进行介 绍 可 以 充 分利 用 计 算 ， 实现技术 的 三种 不 同 的 实现方式分 别 进行 ， 详细 介绍 并行处理器 阵列 因 此不 管在 处理速度 上还是在规模 ， 稳定性 高等一系 列 优 点 、 全硬件 实 现 技术进行 介 绍 并 且对 了 但 是集 成 度 低 ， ： 在 以 上 三 种 实 现技 术 当 中 精度高 、 ， 。 前 基 于 硬件 实 现 技 术 的 方 法 主 要 有 及光学技术实现 纯 软 件 模拟 因 而 在 神 经 网 络 实 现研 究 初 期 得 以 迅速 推 广 ， 成本低 、 ： 。 所以 ， 目 ， 。 前神经 电子科技大 学 硕士学位论 文 神 经 网 络 的 模拟 实 现方法 模拟 电 路 有着跟 数 字 电 路 不 同 的 特 点 的 优越性 。 例如 ， 可 以 简 单 的 通过 一个 晶 体管 建立一个运 算放大器 进行 乘 法和 神 经元 激励 函 数 的 运算 过程 ， 结构简单 。 它 的 缺 点 是 容 易 受到温度 可靠性 不 强等 。 、 、 。 。 这些运 算 是 一个 物 理 的 模拟 电 子 技 术运 算 速 度 快 噪声等 因 素 的影 响 只 能适应于前 向 运算 阶段 ， 电 荷 親 合 器件 来 实 现 权 值 的 动 态 调 节 过 程参数 的 不 断 变 化 又 会 导 致 新 问 题 的 出 现 。 ， 虽然 个突触组成 精度 方 面 不及 数 字 方式 神 经 网 络 的 数模 混 合 有许 多 比较高 具 。 。 。 可扩展性好 ， 自 动化设计 。 稳定性 高 、 、 ， 。 、 结构简单 ， 集成度 髙 、 特 别 适合于神经元 电路 的 设计 、 速度快 、 集成度 并 没有成 熟 的 ； ， ， ， 工 未来将成 为 对 等非线性 数字 电路精度 比较 高 工 具 成 熟 从而 可 以 用 来 实现神 经 网 络 的 总 体 结 构 这种 方法 的 设计难度 比 较大 。 设计 出 高性能 的 神 经 网 络 、 灵活 这样 一 ， 但是 。 模拟 神 经 网 络算术逻辑单元 是用 数模混合 实验室设计 出 来 的 （ 设计方法成 熟并且 但 是对 于 实 现大 规 模 的 神 经 网 络 需 模拟 电 路 运 算 速度 快 来就将模拟 电路和 数字 电路 的 优 点 结合在一起 由 、 数模混合 实 现方 式 能够 兼顾 数 字 技 术和 模拟 技术 的 优 点 函 数 实现方式方便 识别 。 但对 于大规模 模拟 电 路 的 设计主 要 依 靠 设 计者 的 经验 另外 、 并且 与 现 实 的 模拟世 界直接 抗干扰 能力 强 、 模拟 实现 的 方法功 耗低 。 它共有 对 于 实现神 经 网 络 中 权值 的 大规模存储 以 及突触 的 大规模运算有很大优 神经 网 络主要 的 实现方式 性强 、 工 具辅助 数字 电路 的 要 消 耗非常 多 的 硬件资源 。 实现方法 数 字 实 现 方 式精度 比 较 高 势 ， 从而 也 有很 多 研究者 热 衷 于模拟神 经 网 络 的 研 究 ， （ 虽 然 模拟 实 现 方 式 在 灵 活性 。 但 是速度和集成度 都很 高 ， 、 但是权值有 限 的 存储 时 间 和 尽 管现在 已 经 不 再使用 ， 精度达到 ， 、 这样 一 来 ， 现在可 以 使用 电容 ， 、 。 芯片 联系 集成度 高 、 导 致计算 精度 不 高 ， 最 复 杂和 最 强 大 的 模拟 神 经 芯 片 是 英特 尔 电 可 训 练 神 经 网 络 个 神 经元和 能够快速 的 ， 神 经 元之 间 的 联接权值可 以 通过 电 阻 的 方式 来表 达 权值不 能进行动 态更新 浮栅 晶 体 管 函 数等 比如 直接对 电 流 和 电压进 行操 作来 完成 ， 使其在某些方 面 比 数字 电路 具有更大 ， （ 技术 实 现 的 比 较 成 功 的 人 工 神 经 网 络 芯 片 ， 可 以用 于不 同 的神经 网 络结 构 网络 ， ， 来进行字符识别 。 它是 比如 光学字符 。 这个数模 第 二 章 神 经 网 络 及 其 实 现 技术概述 混合神 经 网 络 由 来 自 个神 经元 个 突 触 组 成 权 值是 通 过动 态 模拟 电 压 存 储 的 ， ， 芯 片 外 的 数 字信 号 可 以 通过 一个 数模转换器 流模式 周 期 性 的 刷 新权值 这块芯 片 大 小 只 有 。 集成 工 艺 转 换 为 模拟 信 号 ） ， 。 以电 采用 的 是 ， 其它 的 采用 数模混合 电 路实现 的 例 子 还有 。 芯片和 芯片 。 神 经 网 络 的 分子 化 学 实 现 神 经 网 络 的 分 子 化学 实现主要 是指 生物分 子计算机 。 这 是一种利 用 模拟 人类 大脑 的 一些 大分子 和 蛋 白 质 来 实现人脑神 经 网 络功 能 的 全新计算机 项研究 的 成果仍 不 能 与 电脑相 娘美 但 是这种 新颖 的 ， 种 特殊 的 信息处 理模式 引 起 了 化学家 泛 的 兴趣 、 生物 学家 、 “ 虽然 。 目 神 经计算机 ” 理论 以 及这 计算机科 学 家 还有 物 理学 家 广 相 信 不 久 的 将 来这种 全新 的 计算机将 完 全颠 覆 传 统 计算机 的 概念 。 前这 ， 得 到 广泛 的 应用 神 经 网 络的光学实现 等 电 子 实现技 术相 比 与 器件有 比 较高 的 扇 入和 扇 出 系 数 势 。 除此之外 性 的特点 ， 光在传播过程 中 相互不会产生影 响 ， 上一系 列 的优点 并 且光 学 从而 使其在神 经 网 络互联 的 实现上有显 著 的 优 ， 光学 实 现技术还具有快速完成大量信 息计算 的 能 力 以 及 高度 并行 这 也 是光学 技 术 实 现神 经 网 络 很大 的 优 势 。 ， ， 。 虽然光学实现技术有 以 但是 不管 是 在技术上还 是工 艺 上还很不成熟 技 术 实现神 经 网 络还是 困 难重 重 的 ， 目 前看来用 光学 。 本章小结 首先 对 于 生物神 经 网 络 的 最 小 单元 也 就 是 神 经元 进行 了 介 绍 ， 它 的数学模型 然后 。 络 ， 对它们各 自 ， 介 绍 了 两 个 典 型 的 神 经 网 络— 的 算法进行 了 详 细 描述 主 要 包 括神 经 网 络 的 实现 是最 常 用 的 方法 也 是最 成熟 的 实现 。 ， ， 。 最后 ， 神经 网 络和 神经网 详 细 介 绍 了 神 经 网 络 的 实 现方 法 分子 化学 实现 以 及光学实现 分为 数字 并且描 述 了 ， 实现 、 模拟 。 其中 ， ， 实现 实现和 数模混合 屯 子科技大学硕 士学位论文 第三章 基于 的 动 态 可 重构 技 术 的 动 态 可 重构 技术是指 以 具有 可 重构 功 能 的 所谓 的基于 构器件 ， 的 能力 ， 的神 经 网 络实 现 需要考虑 的 问 题 基于 在 一 定控制 信号 的控制 下 ， 使 系 统 不 仅 具有对 可重构 器 件进行重 新 配 置 并 且还具 有对 电 路逻辑进 行 动 态 重构 的 能 力 动 态 可重 构 技 术最 大 的特 点 就是按 时序将整个 系 统划 分为 不 同 的 功 能模块 时序对 芯 片 进行动 态重构 ， 个过程 只 需 耍几纳 秒 的 时 间 。 的 构 ， 可对 内 按不 同 ， 。 通 过 读取不 同 部逻辑块 以 及 连线 的 改变 ， 整 逻辑功 能 的 动态重构 是有 很大 帮 这对 于 实现 ， 中可 以看出 从图 ， 。 的动态可重构原 理 图 中 存储 的 数据 直接 实现动 态可重 构 助的 根据 实 际情况 的模型 是一种 比较典 型 的基于 图 ， 这 样 就 能 提 高 硬件 资 源 的 利 用 率 动 态 可 重构 为 可重 在外 部逻辑 的 驱动 之 下 ， 这种 具 有 缓存 逻辑 （ 芯 片 逻辑进行实 时 的 局 部 动 态重 构 或 者 全局 动 态 重 。 配 置 流存储 区 动态可重构 □ □ □ □ □ □ □ □ □ □ □ □ 口 □ 口 □ 休眠的 功 能块 “ — ■ — 激活 的 功 能块 □ ： 未使用 ： 门 资源 丨 □ □ □ □ □ □ □ □ □ □ □ □ 图 典型的 动态可重构 原理 示意 图 只 有在 结 构 上 满足下 面 两个条件 ， 才 能使其成功 实现系 统动 态 重 构 在对 已 经 配 置 好 的 逻 辑 功 能 不造成破坏 不 影 响 ， 其 它 部 分 正 常 运行 的 同 第三章 基于 时 还要 具备重新编程 ， 要求 内 ， 的 神 经 网络实 现需要 考虑 的 问 题 其它逻辑 资 源进行 重 新配置 的 能 力 对 。 部 的 配 置 信 息 是 对 称 的 即 要 求 器件 的 任 何 一 个 位 置 在 任 何 时 刻 ， 可 以 配 置任 何通用 的基本 逻辑 功 能 通过 简 单功 能模块 的 组 合来 实现系 统 的 复 ， 杂功 能 。 实现神 经 网 络 的 优势 前 目 的 神 经 网 络 的 实现在 国 内 外 得到 了 深入广泛 的 研究 基于 ， 技术 的 发展和 不 断成熟是离 不开 的 资 源之 间 的 连接方式 式并行处理 的 所以 。 这 些逻辑单 元 是通 过布线 资 源进 行 可 以 通 过 软件编 程将 配置文件 下 载到 ， ， ， 中 实现不 同 的 功 能 进而 使 与神经 网 络 的 结构 非常相 似 这与 是一个 由 大量通用 逻辑单元 。 和 丰 富 的 布 线 资 源组 成 的 器件 相 互 连接 的 ， ， ， 从 而 改变 这 些逻辑 这 些逻辑 资 源 是分布 。 是可 以 进行 反 复配 置 的 并且 。 的 可 重 复 配 置 的 硬件 结 构 和 集 成 的 大 量 逻 辑 资 源 特 别 适 合 于 神 经 网 络 ， 分布式并行 处理 的特 点 的典型结构 图 如 图 。 所示 — — ： — — 、 — 、 ：： — ■ — — — — 图 ■ 典型结构 图 不仅仅 是一个分布 式 并行处 理 的 系 统 活性 高 、 易 升级 设 计 的 成本 ， 、 设计周 期 短等一系 列 优点 并 且 可 以 具 有 很 高 的 运 行 速度 在神 经 网 络 的 训 练学 习 过程 中 ， — 。 ， ， 而 且具有可编 程性 这使得 、 速度快 、 灵 能够显著 的 降低 系统 是 目 前数字 电 路设 计 的 首选器件 需 要 实 时 的 对 神 经 元 之 间 的 联 接 权值 进 行 调 整 ， 电子科技大 学硕士 学位 论文 甚至 有 时候要 改变 网 络 的 拓 扑 结 构 拓扑 结构可 以 写 自 适应 改 变 的 神经 网 络成 为 可 能 除 次 之外 。 快速进行配置 的特 点 、 验证通常 采用 目 来完成 ， 使得设计 出 还具有可反 复擦 ， 这 就 使 得 早 期 对 神 经 网 络 的 硬 件 实 现策 略 和 训 练 学 习 。 算法 的 仿 真和 验证 奠 定 了 实 验基础 综上所述 而具有动 态 可重构 功 能 的 ， 因此 。 对人工神 经 网 络硬件实现 设计 的 原 型 ， 。 来 实现神 经 网 络 的 优势主 要 有 以 下 几个 方 面 用 前在单片 上 可 以 集 成 数 百 万个 逻 辑 门 逻辑 资源丰 富 ， ： ； 动 态 可重 构 功 能使 动 态可重 构 神 经 网 络 的 设 计 成 为 可 能 采用 基于 具有可 反 复 配 置 的 特 点 可编 程性 能好 ， 对于不 同 的 需求不 需要 重新构造系统 设 计周 期 比较 短 、 是一个并行处理 的 系 统 设计具有成熟 的 ， 设 计 成本 相 对 比 较低 ， ； ； ； 与 神 经 网 络分布式并行处理 的 特性相 吻合 辅助 工具 ； 。 神 经 网 络模型 的 选择 不 同 的 神 经 网 络模 型 主要 是 由 拓 扑 结 构 到 目 前为 止 网络 等 。 、 激励 函 数 、 己经有将近 四 十种 神经 网 络 模型 ， 自 组织 映射 网 络 本文 中 选用 网络 、 ， 主 要包括感 知 器 网 络 机网络 、 网 络作 为 研究 的 基础 网 络和 学 习 算法等 因 素决 定 的 、 算法是 由 出 以来 型代表 等科学家 于 和 是其核心组成部 分 ， ， 。 ， 而数学理论 已经证 明 存在局 部 极 小 值 问 题 改 进措 施提 高其 学 习 训 练 的 速 度 并行处理 的方式 因此 ， 处理速度 快 神经 网 络仍然 是 结 构和 算法 己 经在第 二 章 目 自 。 学习 网 络模型提 从 它 是前馈 型神 经 网 络 中 的 典 ， ， ， ， ， 神 经 网 络 实 质上 实 现 了 一个 从输入 到 。 它 具 有 实现任 何 复 杂 非 线 性 映 射 的 能 力 能够 以 任 意 精度 逼近任 何 非线 性连 续 函 数 练时间长 。 。 算法 网 将神 经 网 络最完美最精 华 的 内 容 充 分 的 体现 了 出 来 仍 旧 是 目 前应用 最 为 广泛 的 模 型之 一 输 出 的 映射功 能 适应 谐 振理 论 之所 以称为 ， 也就是 ， 年提 出 的 在众 多 不 同 的 应用 领域得 到 了 广泛 的 应用 ， 、 。 神经 网 络是一种 多 层前馈型 网 络 络 是 因 为 联接权值 的 调 整采用 的 是误 差 反 向 传播算法 自 、 网络 、 。 。 虽然 稳定 性不 高等缺 点 神 经 网 络 存在 收敛速度 慢 训 但是可 以 通过采用 不 同 的 ， 解 决局 部极值 等 问 题 容错 性 很 好 ， 另外 。 结构简单 ， 。 网 络采用 分布 ， 容 易 实现 前研 究和 应用 中 使用 最 多 的 网 络模 型 小 节 中 作 了 详细 的 介绍 ， 。 ， 算法成熟 ， 神经 网 络的 的 神 经 网 络 实 现 需 要 考虑 的 问 题 第三章 基于 神 经 网 络 即 径 向 基 函 数神 经 网 络 网 络更加 良 好的 前馈型 网 络 比 现 。 网 络 的 学 习 规则 简单 。 具有很 强 的 非线性 曲 线拟合 能力 能 够 以 任 意 精 度逼 近 任 意 连 续 函 数 射 能 力 最 强 的 前馈 型 神 经 网 络 以及 强大 的 适应 学 习 能力 自 因 此 具有广泛 的 应用 市场 过程 收 敛 速 度 快 。 。 ， 另外 ， 网 络还具 有很 强 的 记忆 能 力 ， 也 鲁棒性 、 具有唯一最佳逼近 的特性 ， 隐含层激励 函 数采用 径 向 基 函 数 小 节 中 作 了 详细 的介绍 ， 网 络 是 实 现 非线 性 映 在理论 上 已 经证 明 神 经 网 络 也 是 目 前最 常用 的 神 经 网 络之一 在第 二章 便于在计算机上 实 ， 分类 能力 好 ， 从 隐 含层 到 输 出 层采用 的 是 简 单 的 线 性 函 数 ； 这是一种性 能 可 实 现任 意 复 杂 非 线 性 关 系 的 映 射 不存 在局 部 极值现 象 ， ， ， 容易 实现 。 ， 、 ， 学习 因此 ， 神经 网 络 的 结构和 算法 已 经 。 。 神 经 网 络拓 扑 结构 的 选择 根据 网 络拓 扑 结 构 的 不 同 型 网 络两种 ， 可 以 将神 经 网 络模 型大体分为 前 馈 型 网 络和 反馈 下 面分 别 对这两 种 网 络进 行介 绍 。 。 前馈型 网 络 前馈型 网 络 输入层 开始 的 结构是层阶型 的 （ 经 过各个 隐 含层 的 逐层 处理 ， 只 与 前一层 的输 出 有关 处理 能力 的 角 度 来看 的 输入层节 点 ， ， ， ， ， （ 输入层和输 出 层 和输出 层 依 次类推 ） 每一层 的输入 ， 。 从对信 息 一类是 不 具 备 处理 能 力 ： 主 要 是 指各个 隐 含层 以 及输 出 层 节 点 ⑴ 。 网 络 的 第 一层 是输入层 最后 一层是输 出 层 不包含 隐含层 只包含 一个 隐含层 ） 。 将外 界 的 输入信 息 传递到 第 一个 隐含 层 一个 有 向 无 环 路 的 图 来表 示 多 层 前馈 网 络 络 直到输 出 层输 出 为 止 网 络 中 的 节 点 大体可 以 分为 两类 另 一类则 是具备处理能力 的节 点 ， 对信息 的 处理是从 层 内 各个处理单元之 间 是不 相 关相 互独立 的 它 只 负 责信 息 的 传递 层 是第 一个 隐含层 ， ， ， 所以 。 ， ， 。 ； 可以用 网络的第二 一个两 层 的 前馈 型 网 一个三 层 的 前馈 型 网 络 （ 输入层 、 隐含层 。 前馈 型 网 络 中 神 经元 的 激励 函 数往往选择线 性 函 数或者 是 非线 性 的 函数 ， 权值 的 修 正规 则 主要采用 有监督 的 励函 数 的不 同 为 以 下 几种 其中 ， ： 、 网 络拓 扑 结构 以及学 习 多 层感知 器 网 络 网 络和 、 网络 学 习 规则 规则上 的差异 、 网络 根 据 神 经 元所 采 用 的 激 可 以将前馈 型 神 经 网 络 分 ， 网 络 以 及线性 网 络等 、 网 络 是两种 最 常用 的 前馈 型 网 络 。 ， 应用 也 最 为 广 泛 。 。 这些前 电子科技大学硕士学位论文 馈型 网 络模型结构 简单 预测 等 领 域 ， 易 于实现 从 而被广泛 的 应用 于 函 数逼近 ， 并 且取得 了 良 好 的 应用 效 果 ， 、 模式 分类 和 。 反馈型 网 络 反馈 型 网 络 又被称为 （ 种 网 络所有节 点 都 具 有信息 处理 能 力 能力 ， 联想记忆 网 络或递归 网 络 自 密切 相 关 ， 所示 网 络 具 有 若 干个稳 定 状 态 网 络 不管 从哪 一个状态开始 。 络就 是这样 的 络 。 最 终 都 能 收敛 于 某一个 稳 定 的 状态 ， 根据 反馈型 网 络应用 的 不 同 ， 其中 ， 神经 网 络 、 机神经 网络等 神经 网 络 以及 化 神经 网 络和 回归 等主要应用 于优化 ， 根 据 激励 函 数 ， 神经网络 ： 和 ， 回归 神经 网络 、 网 神经 网 、 反 馈 型 网 络 的 应用 领域 主 要 是预测 和 优 ， 而 网络 反馈型 网 络结构 图 的 不 同 可 以 分 为 离散型反馈 网 络和 连续型反馈 网 络 络是 因 为 它最初是 由 所示 主要分 为 以 下儿类 、 系 。 一种 典 型 的 反馈型 网 络 的 代表 就是 图 。 ， ， 因 此反馈型 网 络 中 更加注重 。 神经 网 络主要应用 于预测 图 上图中 反馈型 网络可 以 归纳 为 而前馈 型 网 络 中 对学 习 算法 的研究更 多 一些 。 神经网络 、 。 其 自 联想记忆 能力 与 稳定 性 ， 统 的 稳定状态通过修 改 网 络 中 的 联接权值来 实现 的 网 络稳定性的研究 这 因 此具有 比 前馈型 神 经 网 络 强 的 多 的 计算 ， 一种 比 较简 单 的 反 馈型 网 络结 构 图 如 图 一个非线 性动 力 学 系 统 ， 于 网络 年提 出 的 网 络 中 各个 处理 单元 都 是 相 互 连接 的 它 神 经元 的 输入端作 为 输入 ， 不存在 自 。 ， 反馈 的 情况 ， 之所 以 被称 为 。 网 网 络 典型结构 图 如 每个神 经元 的 输 出 都 反馈 到 其 。 在实 际应用 和 研究 中 通常选 的 神经 网 络实现需 要考虑 的 问 题 第三章 基于 用 结构简单 的离散型 网络 了 最 终 达 到 稳 定 平 衡状态 ， 。 ， 网 络 也 是 一个 动 力 学 系 统 则 网 络状态不变 ； 否则 ， 。 因此 ， ， 为 如果 网 络需要 向 稳定平衡状 网 络求解约 束优化 问 题 经常 在控制 系 统 的 设计 中 利用 网 络也应用 于 系 统辨 识 外 同样 网 络需要 不 断 的 向 能量减小 的 方 向 移动 一 开 始 网 络就在稳定平衡状态 态不 断运动 。 ， 另 。 网 络结构 图 图 神 经 网 络结构 的确 定 输入 层输 出 层 节 点 数 的 确 定 具体 的 实 际应用 情况不 同 息息相 关 的 。 由 ， 输入层输 出 层 节 点数就 不 同 于本 文 主要 以 逼近非线性 函 数 构 网 络 的 实现 问 题 个 并且与 训 练样本 是 为 例 研究动态可重 和 所 以 输入层输 出 层 节 点 数都选 ， ， 。 神经 网 络层数 的 确 定 由 于 神 经 网 络所 具有 的 最 大特 点 就 是用 来 实现非线 性 函 数 的 逼近 和 而对于只 含有一个 隐含层 的 含输 入层 、 网 络 即 可完成这个 任 务 网 络和 隐 含 层 和 输 出 层 的 三层 神 经 网 络 。 ， 所 以 选取包 。 每层激励 函 数 的 确 定 网 络 隐 含层 的 激励 函 数一般选用 择线性 函 数 ； 网 络 隐 含层 的 激励 函 数 也 是选抒线性 函 数 。 隐 含层 节 点 数 的 确 定 函数 数 一般 选 用 ， 输 出 层 的 激 励 函 数 一 般选 函数 ， 输 出 层 的 激励 函 电 子科技 大学硕 士 学位 论 文 隐 含层 节 点 数 的 确 定 是 一个难 点 是 凭借经验 或 通过 多 次 试验 来确 定 的 处理能力 和 学 习 能力 变差 ， 。 目 前还 没 有 明 确 的 理 论 指 导 隐含层 节 点 数较少 隐含层节 点 数较 多 ； 易 使 网 络 陷 入局 部极值 问 题 。 ， ， 通常情况 下 就会导致 网 络 的信息 不仅增 加 了 网 络 的 复杂度 ， 本文 中 将 隐 含层 节 点 数选 为 个 ， 还容 。 网 络初始权值 的设定 对于不 同 的 网 络 零 随 机数 在本文 中 。 ， ， 初 始权值 的 选取 也 是 不 同 的 网 络 初 始 权 值选 择 ， 但 是 一 般 都 会 选 择较 小 的 非 之 间 的 随机数 （ 。 期 望 误 差 与 训 练次数 的选取 同样 的 ， 期 望 误 差 与 训 练 次数 的 选取 也 没 有 明 确 的 理 论指 导 网 络进行 多 次 试验进行对 比 确 定 的 学 习 成功 与 否和 预期 的 效果 使 网 络误差达到 期 望 误 差 练 次 数选 为 。 最终 收敛 ， 通常 是 通 过对 期 望 误 差 的 选取 直 接 关 系 到 训 练 时 间 的 长 短 本文 中 期望误 差选为 ， ， ， 。 训 练次数越 多 但是也增加 了 训 练学 习 的 时间 ， ， 越容易 本文 中 训 ， 。 激励 函 数 的 选 择 和 实 现 方 法 激励 函 数 的 选 择 通 过 前 面对 人 工 神 经元数 学 模 型 的 描 述可 知 时会给 出 适 当 的输出 。 间 到输 出 空 间 的 变换 数 、 其中 活化 函 数 ， 。 用 ， ） 和 这个 非线 性 的 变 换 函 数 就 被 称 为 激励 函 数 表示 ， 也 叫 做激活 函 ： 是神 经元 获得 的 型函数 当 神 经元 的 净输入大于其 阈 值 而人 工 神 经 元 是通过 非 线 性变换 函 数 来 实现这 种 从 输入 空 “ 采用 的 激励 函 数类 型 也 不 同 数 ， 净输入 ” 。 ， 是神经元 的输 出 。 典 型 的激励 函 数有线性 函 数 它们 的波形 图 如 图 所示 。 在 不 同 的 应用 场合 、 阶跃 函 数 （ ， 所 或阈值函 的神经 网络实现需要考 虑 的 问 题 第三章 基于 线性 函 数 阶跃函 数 ！ ！ 丨 ： 丨 ！ — — — ； — — ： 丨 一 ： ： “ ： … ： … 、 ⑴ 函数 对数 — 幽 一 、 激励 函 数 的类 型 图 对 于 不 同 的 神 经 网 络在不 同 层 中 的 激励 函 数 也 是 不 同 的 输 出 层所 采用 的 激励 函 数都 是线性 函 数 由 于 。 域又 具有 非常好 的 非 线性 区域 行处理 。 对于 因此 ， 神 经 网 络来说 高斯 ） ， 隐含层 采用 的 是径 向 基 函 数 ⑶ 如 反演 网 络和 网络 从 而 使 其 既 能 对 小 信 号 进 行 处 理 又 能对大信 号 进 函数 ？ 。 函 数既具有非常好 的 线性 区 神 经 网 络 隐 含 层 的 激励 函 数 一 般 选 择 ， 函数 正切 型 — ） 函数 ？ 函数 ， 。 常用 的有 以 下三种 ： 电子 科技大学硕 士 学位 论文 二 拟多 二次 函数 ） 一严 ▽ 是一个 常数 上面三个 式 子 中 常数或宽度 。 、 是这个 函 数 的对 称轴 ， 时三种径 向 基 函 数 的波形 图 如 图 当 这三个径 向 基 函 数 具 有 一个共 同 的 性 质 于无穷大 ， 函 数值都趋近 于零 函 数 的 有效 区 间 就越小 函 数具有径 向 对称 ， ， 。 通过上 图 可 以 看 出 ， 解 析性 好 ， 。 ， 。 上述三种 函 数 中 任 意 阶 导 数存在 的 特 点 ， ， 随着 ， ， 且 由 自 趋 越小 径向 基函数的宽度 分布 所 以 被广泛采用 为 相 当 多 的统计分布都服从 也 就 是 隐 含层 的 激励 函 数 所示 它 们 都 是局 部 化 的 函 数 ： 说 明 函 数 的 选择性 就 越 强 光滑 性好 称为 该函 数 的扩展 ￠ 三种 常 用 的 径 向 基 函 数 图 向 ， ， 于 然界中 网 络 的径 向 基函 数 ， ， 。 激励 函 数 实 现方 法 在整个神经网 络 的 设计与 实现 中 ， 激 励 函 数 的 硬 件 设 计 与 实 现起 到 至 第三章 基于 关重要 的 作用 的神经 网 络 实现需要考虑 的 问 题 直接 关 系 到 整 体 设 计 的 成 败 ， 层 激励 函 数采用 的 是 非线 性 的 向基函数 。 函数 这两个 函 数都属 于超越 函 数 能 通 过 某 些 方 法 对 它 们 进 行 逼近 找表 的 方法 不 能够直接在 ， 常用 的 逼近方法有 。 可 以 直接 在 ， 上实现 网络隐含 ， 径 网 络 隐 含层采用 的 是 ， 上实现 因此 。 级数展开法 ： 算 法 以 及 分 段 线 性 函 数 逼 近法 、 的 是线 性 函 数 。 ， 只 基于查 、 而输 出 层 的 激励 函 数 采用 。 级 数 展开 的方法 基于 级数展 开 来对激励 函 数进 行逼 近 的 级 数展 开 法 是 通 过 五 阶 这种 方法虽然精度可 以 比较 高 但 是 以 牺牲 ， 同 样 需 要 很 多 乘法器 来完 成 ， 。 但是神 经 网 络 大 量 的 并 行 运算 有 限 的 硬件 资 源 为 了 节省 。 。 资源 中 大量 的 乘法器来实现 的 中 集 成 了 很 多 硬件乘 法 器 模块 尽管现在 的 种方法 通 过前 面 的 介 绍 可 知 。 ， 一般 不会采 用 这 。 基 于 查 找表 的 方法 查 找表法是 或者是 目 前 实现激励 函 数最 常 用 的 方法之 一 来 实现 的 函 数值写 入 到 的大小 ， 或 中 ， ， 以 此达 到 逼 近 激 励 函 数 的 类似 于 一 个 表 格 是 由 网 络所需 要 的精度 决定 的 的 存储器 资 源就会越 多 。 ， 精度越大 但是 。 工 进行输入和 函 数值 的 设 置 是 十 分不现 实 的 然而 ， 。 所 以 说对精度 要 求 比较高 的 系 统 的 目 所 以 称 为 查 找表法 ， 这种 方法 看起来相对 简 单 且 在 理 论 上 能 够 以 任 意 精 度 逼 近 激励 函 数 耗很多 这种 方法 是通 过 一个 将激励 函 数不 同 的 输入 作 为 这个存储 器 的 地址 ， 输入 与 输 出 之 间 的 关系 。 ， ， ， 。 。 而相 应 的 这样 就建 立起 至于这个查 找表 查找表 的 尺 寸 就越大 当 对精度 的 要求 比较 高 时 ， 消耗 ， ， 不 适合用 查 找表 法来 实 现激励 函 数 ， 手 。 。 算法 的 方法 即 坐 标 旋 转 数 字 计 算 方法 这种 方法最早 是 由 广 到 很 多 复杂 函 数 的计算 于 ， 年提 出 的 ， 刚 开始 用 于 三 角 函 数 的 运算 这 是 一 种 较好 的 硬件实现算法 。 基本 的 算法公式 如 下所示 ： ， ， 后 来推 。 算法本质 上 是通过 一系 列 与运 算有关 的 角 度基底 旋转角 度 并 存储资 源消 查 找 表 法 与 分 段 函 数 逼 近 相 结 合 的 方 法 能 够 很好 的 平 衡 资 源 和 精 度 基于 ， 不 需要设计复杂 的 电路 并 且 查 找表 尺 寸 很 大 ， ， 来逼近任何一个 电 子科技大学硕 士 学位论文 从 … 、 上 式 中 参数 表示 不 同 的 旋转系 统 线 性 系 统和 圆 周 系 统 表示经过 和 的 旋转角 度 附 ， 与 其对 应 的 迭 代 角 度 ， 不涉及 乘 除等运算 ， 的 效率 、 一 、 为第 ； 免 。 次 。 逻辑资源 但精度 不 是很 高 ， 从而可 以 获得更 高 的速度 ， 、 计算过程只 需要简 单 的 移位和 加 ， 大 大节约 了 样 也 可 以 将其与 查找表法相 结合 分 别 代 表双 曲 系 统 、 代表旋转 的方 向 ； 次之后 函 数变量 的 剩 余值 算法 实 质上 是一 种 循环迭代 算 法 减运算 、 分别 为 次 旋 转 在 坐 标 轴 上对 应 的 分 量 为 旋转 ； 可 以 取值 ， 。 同 更 高 的 精度和 更 高 、 。 分段线 性 函 数逼近法 分 段线 性 函 数逼近 法 实 质 上 就 是通 过 一 系 列 的 线 性 函 数 来对激励 函 数进 行拟 合 。 将激励 函 数 分 为 不 同 的 区 间 作 为 本段激励 函 数 的 逼近值 根据 文 献 可 以用 来 实现 。 段线 性 函 数 逼近 的 方法 次幂 的 形 式 来表 示 ， 。 当然 虽 然 这 种 方法 节 省 了 硬件 资 源 ， ， 线性函 数 ， ， 以 上 四 种 方法各 有优缺 点 函 数 逼近 相 结 合 的 方 法 实 现 网络的 函数 ， 中 的 但 是 不 能精准 的 做 到 用 斜率为 ， 所 以 误差相对 比较大 也 可 以 利 用 分段 非线 性 函 数逼 近 的 方 法来 提 高 精 度 综上所述 并 将其 中 间 值 这样 一来 乘法操作 就 可 以 通 过 一 个移位 寄 存器 幕 的 线 性 函 数 来表 示激励 函 数 的 一 小 段 想 ， 。 提 出 的 一种 的 进 行逼近 用线性函数 ， 网络的 ， ， 的 次 精度 不 是十 分理 。 从 而本 文 釆 用 查 找表法和 分段非 线 性 函数 采用 的 方 法来 实现 具体 实现过程将 在 下 一章详细 介 绍 。 数据格式和 精度 方面 的 考虑 数据 格式 和 精度 是 与 源 的 消 耗就越多 越小 收敛 ； ， ， 从而 在面积 一 定 的 然 而 精度 过低 学 习 失败 ， 逻辑 资 源 的 消 耗直接相 关 的 ， 又会 降低神 经 网 络算法 的稳 定性 ， 精度越 高 ， 逻辑 资 芯 片 上 能 够 实 现 的 神 经 网 络 的 规模就 往往采用 下 面两种 数据 格 式 ： 最终可 能导致 网 络无法 ， 因 此 选 取 一 个 合适 的 精 度 是 至 关 重 要 的 神经 网 络 设计与 实现 中 。 。 通常 在基 于 一种 是采用 的 位定点数的 的 神 经 网 络 实现需要考虑 的 问 题 第三章 基于 格式 另 一种 则 是采用 基于 ； 标准 的 上进行浮 点 数 的运算是 非常 困 难 的 资源 研究表 明 。 倍 出 研究指 出 要求是 ， 位定点数 ， 然而在 但是会 消 耗 非 常 多 的 逻辑 通过对 一 些 典 型应 用 的 参考 文献 。 对于 联接权值 来 说 最小 的 精度 ， 对 于神 经元 的 输 出 来说最 小 的 精 度要求 是 位 定 点 数 来进行神 经 网 络 的 位符号位 包括 ， 。 采用 定 点 数 表示 的 神 经 网 络 比 釆用 浮 点 数表 示 的 在速度 上 要 高 ， 为 了 不削 弱 神经 网 络 的信息处理能力 ， 本文 决定采用 所示 虽 然 精度 比 较 高 ， 而在逻辑 资 源消 耗上是其 ， 位浮 点 数 的格式 ， 符号位 位 整 数位 以 及 设计 位小 数位 整数位 位定点数 。 所以 具 体数据 格 式 如 图 ， 。 小数位 位 定 点 数 数据 格 式 图 本章小结 的 动 态 可 重构模 型 本章主要 介绍 了 基于 网 络 的 优势 ， 分析 了 网 络和 网 络 的 优缺 点 构 以及 网 络结构 的确 定 作 了 详细 介绍 些 典 型 的激励 函 数 的 实现方法 设计 。 ， 。 最后 ， 并且决 定采用 以及选择 ， 。 另外 ， 来实现神 经 对神 经 网 络 的 拓 扑 结 介绍 了 一些常用 的 激励 函 数 以及一 位 的 定 点 数来进行神 经 网 络 的 电子科技大学硕 士 学位论 文 神 经 网 络 激励 函 数 的 第四章 实现 决 定 人 工 神 经 网 络 整体性 能 的 重要 因 素之 一就 是神 经 元 的 信 息 处 理特 性 各 种 不 同 数 学 模 型 的 神 经 元 信 息 处 理特 性 主 要 是 由 所采 用 的 激励 函 数 决 定 的 此 对激励 函 数 的研 究意义重大 ， 同样 。 网 络 的 实 现 过 程 中 也 具 有 重要 的 意 义 神 经 网 络常用 的 函 数 的 设 计 与 实现进行 了 研 究 神经 网 络常用 的 数和 。 而 因 对激励 函 数 硬件 实现 的 研 究 在整个神 经 ， 本章主 要对 。 ， 函 。 最 小二乘法 与 多 项式拟合 最 小二 乘法原 理 当 用 一个近似 函 数 厂 ， 三 是误差 向 量 范数 的 『 ， 量 的 整体情况 ， 使得 误 差 厂 这便 是最 小 二 乘法原 理 从几何意义上来讲 ， … ， ） ： 。 ， 乂 尸 ‘ ： ， 对误差 一 是 误 差 向 量 范数 ， ； 虽 然 前 两种 方法 比较 简 单直 接 ， ， … ， ， ⑷ ， 其中 的 平 方和 达 到 最 小 — （ 取 ， ① 是我们选取 的 艮 乂 。 ， 使 得 这条 曲 线 与 给 定 数据 点 就是寻求一条 曲 线 的 距 离 平 方和 达 到 最 小 点 的 最小 二 乘解或者 是拟合 函 数 的最小 二乘法 即 ， 的 时 ， 。 厂 ； ， 所 以 在 曲 线拟合 中 通常 采用 第 三种 方法来估计误差 向 对给定 的 一组数据 点 、 乃 ， 只 二是误差 向 量 ， 范数 的平方 的 但是 不便于进行微分运算 一组 函 数 组数据 点 的 判 定 主 要 有 以 下 三 种 方 法 乂 尸 。 问 来逼近 ； ， ， 如图 而求取拟合 函 数 所示 。 就称 为 这 组数据 力 的 方法就被称 为 曲 线拟合 第 四 章 神 经 网 络激励 函 数 的 实现 曲 线拟 合 最 小 二 乘法 示 意 图 图 多 项 式拟合原 理 给定 一 组数据 点 ， 多 项 式所 构 成 的 函 数类 乂 。 ） ， … 现求一 凡 。 々 兄 当 拟合 函 数 是多项式时 称 为 最小 二乘拟合多 项式 。 称 为 直 线 拟 合 或 者线 性拟 合 ， 特别 的 ， 兄 时 当 ： 满足 公 式 ， 是一个线 性 函 数 ， 的 （ ， 这时就 … ， 《 的 极值 问 题 。 因此 ， 根 据 多 元 函 数求 ： ￡ 整理之后 转化为 下 式 ， 艮 广 （ — 使得 ， 的 一组 。 极 值 的 必 要条件 可 以 得 到 下 式 公式 七 就称作多 项式拟合 上述 问 题可 以 归 纳 为 求 — 是 由 所有 次数不 高 于 （ ， 其 实 是关于 兄 。 ， 〃 ， … ， 〃 ， 的 线 性方程组 ， ， … ， “ 可 以 用 矩 阵表 示 如 下 ： 电子 科技大学硕 士学位 论文 … 历 … 七兄 “ ； 讲 … 由 于线性方程组 解 从公式 。 凡 的 系 数矩 阵 是 一 个对 称 正 定 矩 阵 （ 中求出 （ 就是求得 的拟合多项式 范数 的 平方重新写 为 下式 的 可得 （ 如下 它 与 数据 点 ， … ， ， ： 的误差 向 量 ： 卜 通过式 从而求得 凡 ， 所 以 有且仅有一组 ， 兄 ： 少 — 综上所述 ， 求取 最 小 二乘拟合 多 项 式 的 具 体步骤 如 下 根据给定 的 数据 点 画 出 拟合 函 数大 体 图 形 计算 和 ： 通过线 性方程组 求得 （ 求得最 终 的拟 合 多 项式 凡 ：。 。 ， 《 ， 确 定拟合多 项 式 的 次数 ， 的值 ； … 。 ； ： ； ； 、 函 数 的 分 段 非 线 性 函 数逼 近 通过 函 数 的 逼近 实现 中 的 曲 线拟合 函 数 的跨度 为 所示 。 ， 可 以 用 来求 取拟 合 多 项式 的 系 数 曲 线拟合 函 数 用 法如 下 是 一个 的向量 ， 具体来说 其中 。 ， 别 是给定 数据集 的 横 坐标和 纵坐标数组 数 取 函 数进行分 区 间 逼近 的 情 况如 表 对 利用 函数 。 ， ， 输入参数 指 明 采用 的拟合多 项式 的 次数 是 ” 的系数 ， 是 和 ， 的系数 分 输出 参 ， 依次 第 四 章 神 经 网 络 激励 函 数 的 类推 是 常 数项 ， 实现 。 表 函 数 分 区 间 逼 近 函 数表 达 式 逼近 函 数表 达 式 区间 — — 少 少 少 少 ； 少 卜 ； ； ， — ， ， 少 少 ； ， 少 ， ； ， 少 ； ， 函 数分 区 间波形 图 如 图 所示 ， 下面对 分 区 间 逼近情 况进行 讨论 。 电 子 科 技大 学硕 士 学位论 文 ！ —— ‘ 一 厂 — ； ： ； ！ ■ ： 函 数分区 间波形 图 在区间 上 即区间 ， 通过 图 数 ， 表 明 逼近效果很好 。 ， 本文选择用 二 次 曲 线 逼近 “ ， 绝对误差仅为 误 差 就会越 小 ， 中 有 限 的 硬件 资 源为 代 价 的 衡 函 数在这个 区 间 上 的 曲 线 其 中 星形 线 是拟合 函 数逼近 函 数在这个区 间 上 的真实 曲 线 果 采用 次 数 越 高 的 曲 线 逼近 ■ 求得 的 二 次拟合 函 可 以 看 出 采用 的 曲线与 几 乎重合 彳 ； ： ； 。 ， … ； 。 ！ ； ； ： ； ； — 逼近函数 ： … ； ：■ ： ： ■ … … … ？ ： ； … … …… ‘ 图 ‘ ‘ 函数区 间 ， 实线是 当然 ， 如 但是这样 是 以 牺牲 硬件 资 源和 精度之 间 的 平 为 了 达到 函数 ■ 线 。 精度 就越 高 ， 曲 ‘ 逼近情况 ‘ 第 四 章 神 经 网 络激励 函 数 的 通过 图 可 以看 出 函 数在 区 间 此可 以通过 实现 上接 近于 线 性 函 数 因 即区间 ， 函 数求 取 一个 线 性 函 数来 进行拟 合 中的 拟合 曲 线 为 绝对 误差 为 逼近情 况 如 图 。 其 中 星形线 是拟 合 函 数逼近 曲 线 实线 是 函数 … 丨 丨 ； 丨 ： 丨 丨 过直线 来逼近 上 ， 是拟合 函 数逼近 曲 线 。 ： ： 丨 丨 丨 ： 逼近情况 逼近情 况 如 图 ！ ！ ； ； ； ： ： ■ ； ： ■ … ： ； ！ ： ； ； ： ： ： 图 所示 ， ‘ ‘ 函数区间 “ —— 逼 近情 况 ■ ■ 所 以通 ， 其 中 星形 线 函 数在这个区 间 上 的真实 曲 线 实线是 ‘ 丨 函 数 值越 来 越 逼 近 于 数 值 ， 绝对 误差 为 ， 丨 ： 函数区 间 图 即区间 丨 ■ ； 丨 ： 在区间 。 ■ 丨 二 ， … … 丨 ■ 所示 …— ！ …… 求得的 函 数这个 区 间 上 的 真实 曲 线 ， ； 。 。 电 子 科技大 学硕 士 学位 论 文 函 数 分 区 间 逼近误差 分析 按照上述逼近算法分 区 间 进行逼近 绝对误差 所示 如表 ， 。 通过 仿真可 以 得 到 各 区 间 最大 最 大误 差 的 计算方法 如 下 逼近 曲 线 的 系 数矩 阵 本文 中 得 到 逼近 曲 线 的 值 通过函 数 ， 大误差 ， 首先 通过 函 数 其中 尸 ， ， 从而利用 是 得到 函数 。 计算 出 最 。 表 函 数分 区 间 逼近最 大绝对误差 最 大 绝 对 误差 区间 最 大 绝 对误 差 区间 ； ； ， ￡ ； ， 通过上表 可 以 看 出 ， 误差最 大 的 区 间 在线 性逼近 区 间 其它 区 间 绝对误差都小 于等 于 神经网络 ， ， 最 大绝对误差 为 能够满足神 经 网 络对精度 的 要求 。 函 数 的硬件实现 函 数 硬件 实 现 流 程 根据表 过常数 ， 所示 的 函 数 分 区 间 逼 近情 况 线 性 函 数 和 二 次 曲 线 来进行逼近 。 ， 可 以 在不 同 的 区 间 上分别通 根据 不 同 的 区 间 去 查 找 不 同 的逼近 函 第 四 章 神 经 网 络激励 函 数 的 数 这 种将 查 找表和 分 段 非线 性 函 数 想 结合 的 方法 。 难度 ， 达到 了 一定 的 精度 资 源利 用 和 精度 而且 降低 了 对 ， 不 仅 降低 了 激励 函 数 实现 的 ， 硬件 资 源 的 占 用 中 可 以 通过一个 乘法器和 一个 加 法器 来实现 ， 很好 的平衡 了 ， 针对 于常 数逼近 区 间 可 以 将逼近值存在 。 逼近 区 间 线 实现 针对于二次 曲 ； 逼近 区 间 则 可 以 反 复调 用 乘法器和 加 法器来 实现 （ 所示 函 数模块 的 设计流程 图 如 图 针对 于线 性 ； 。 ： 开始 逆、 二 ‘ 常 数逼近值 写入 中 ‘ 入 是否 广 门 数 逼近 区多 按地 近区 性 查找 是 ： 调用 线性 逼近子 程序 、 调 用 非线性 ： 逼近 子 程序 函 数 模 块 设 计 流程 图 图 仿真 结 果 和 误 差 分析 硬件描述语言描 述 了 通过 了 仿真 别为 波形如 图 ， ， 和 所示 输出 等 模块 函 数输入 。 的符号位 — ， 上进行 并且在 ， 的 符号位 ， 整 数位 以 及 小 数位 分 整数位 以 及 小 数位 分 别 为 。 ， —顯 纖■ 图 根据 图 的 仿 真 值进行 了 误差 分析 函 数仿真波形 ， 如表 所示 。 由此可 以看出 ， 在线性 电子科技大学硕 士 学位论 文 计 算 的 理论 值和 仿 真值绝对 误 差 比 较 大 逼近 区 间 。 成了 而 在 非线 性逼近 区 间 误 差 相 对较 小 函 数模 块 的 设 计 。 这表 明 我们 成功 完 。 表 丛 输入 最大仅 为 ， 最大绝对 误差 达到 ， 误差分析表 、 仿 真值 理论 值 绝 对误 差 函 数 的 硬件 实 现 神经 网 络 函 数 具 体硬 件 实 现 过 程 函 数 的 具 体表达 式 如 下 网络 ： 冗 上式 中 ， ， ， 则化为 如 果令 化 为 一个 典型 的 指数 函 数 的 计算 个径 向 基 中 心 向 量 … ； 是 。 公式 函数 的 宽度 这样 一 来我们 就将 计算 们 釆用 第 三 章介 绍 的 中 （ ； ， ， ； 是 《 ， 函 数转 维输 入 向 量 的 计算 这种 算法可 以 只 通过 简单 的 加 法 。 、 是第 ； 是 隐含层神经元 的 数量 函 数转化 为 计算 指 数 函 数 算法 将 。 在这里我 减法 以 及 第 四 章 神 经 网 络 激励 函 数 的 移 位 等操 作 就 能 实现 某 些非 线 性 函 数 算法具有线性 因 而欲计算 〃 、 实现 。 圆 周 以 及双 曲 三种 系 统 只 需计算 出 和 沒 便可 ， 。 由于 沒 所 以 在这 里采用 双 曲 系 统 其中 ， 。 又 ： ± 沒 ± 土 々 土 ） 是一个平面坐标旋转 图 图 转沒角度 ， ， 将向量 令 可 以 得 到 一个新 向 量 如 下所示 ； ， ； 旋 ： ■ 沒 可 以将公式 通 过 矩 阵 的 形 式表 达 如 下 （ ： 「 … 尤 ： — 坐 标旋 转 图 图 这样通 过每次只 旋转一个小 角 度 之后 完成整个角 度 的 旋转 。 ， 反 复 进 行 迭代 的 方 法 旋转等式是 由 公式 （ ， 决定 的 最终经过多 次旋转 ， 提取 因子 电子科技大 学硕 士学位论 文 可 以 得到每一步旋转 的 等式 ： 民 」 由于 「 （ 卞 」 」 ： ： 步 的 旋转角 度 ” ） ， 所以 所 以 迭代 应 该从 《 ° 表坐标 的 旋转方 向 ” 开始 ， 所以 ， 《 且 沒 中每一 （ — ± ， 。 由 于 其中 ， 代 。 「 」 广 叫 「 」 「 」 “ 次之后 可 以 得 到 下式 这 样 反 复 迭代 「 的倒数定义为 增益因 子 尸 」 ： 「 将 比例 因 子 公式 ’ ” 记作 ， ， 如 下所示 ： ！ — 戶 主要 由 迭代 的 次数 增益 旋转角 度 所 决定 ， 通 常 被称 作 聚 焦 常 数 后 。 则 是最大 的 。 向 量模 式和 旋 转 模 式 是双 曲 系 统 两种 不 同 的 计 算模 式 式 ， 在这种 模式 中 变为 零 时 ， ， 定义 。 是我们 一 开始所 需 要旋转 的 角 度 公 式转 化 为 下 式 本文采用 的 是 旋转模 ， 当 经过反 复迭代之 ： 狀 ” 丨 公式 （ 时 中 最后得到 的 输 出 结 果 为 ： ， 反之 ， 。 这样经过 次 迭代 之 后 ， 实现 第 四 章 神 经 网 络激励 函 数 的 其中 ， 。 令 尸 。 。 ， 「 ， 上 由 公式 料 的值 卩 ， 仏 丨 可以看出 （ 最终公式 ， ， 的输 出 为 （ 沒 ： ， 算法双 曲 系 统 的 旋 转模式 可 以 求 得 通过 的值 进而可 以 计算 出 指数 函 数 。 仿真 结 果 和 误差 分析 通过 以 上分析 为 了 完成 ， 实现 函 数的 指 数 部 分 的 运算 然 后 就 可 以 直接调 用 模块如 图 。 所示 細 、 ‘ ‘ 了 一 ■ 模块来 实现 ： 妒 ‘ 首先应 该完 成 指 数 函 数 中的 ， 函数 ， 〇 — ； ‘ ‘ 模块示意 图 图 其中 部 分选择 的 是 ， 以 得到 和 明 如表 所示 从而通过 和 这样对于输入 沒 信号 — 输入输 出 引 脚说 明 范围 就可 相 加 就可 以 求得 、 输入输 出 说 。 表 ， 说明 输入双 曲 角 度 输出 输出 电子科技大 学硕 士 学位论 文 其 中 输入双 曲 角 度 位 ， 点数 最 高位 为 符 号 位 ， 位整数位 ’ 输出 ， 所示 通过 现 ， 仿真器得到 至此 和 和 ， ， 的 理论值与经过 的仿 仿真得到 的值 最 大 的 绝对误差 为 我们 成功 的 完成 了 完 全 可 以 满足神 经 网 神经网络 函数的 。 表 仿真 值 位定 仿真波形 和 ， 我们 进行 了 误 差 分析 络对精度 的 要 求 位整数 ： 针对 于 不 同 的 输入 ， ， 。 调用 图 见表 位定 点数 也 是用 二 进制 补 码表示 的 ， 最 高位 为 符 号 位 针对不 同 的输入 真波 形 如 图 是用 二进制 补 码表 示 的 — 理论值 误 差 分 析表 绝 对误 差 矩 灯误 左 仿真 值 理论值 绝 对进 芸 絕 灯误 差 实 第 四 章 神 经 网 络激 励 函 数 的 实现 本章小结 本章主要 介 绍 了 实现 函数的 。 结合 的 方法 并 且用 ， 核实现 的 其中 ， 神经网络 函 数 采 用 的 是 查 找 表 和 分 段 非 线 性 函 数 逼近 相 描述 了 模块 做 了 仿 真 和误差 分析 ， 函 数 的 实 现采 用 了 神经 网 络 实现和 函数的 网络 同 样 对其 做 了 仿 真和 误 差 分 析 算法 直接 调 用 ， 。 自 带的 。 电子科技 大学硕 士 学位 论 文 的 神 经 网 络 的 设计 与 实现 基于 第五章 人 工神 经 元 的 硬件设计 要想实现神 经 网 络 的 硬件设计 —人 工 神 经 元 的 硬 件 设 计 ， 是 单个神 经元运 算 过程 示 意 图 图 。 首要 的 任 务就是完成神 经 网 络基本 处理单元 。 控制参数 ‘ 控制模 、 ‘ 神 经▼元 枚 激活 函 数 ▼ 模块 乘累 加 模块 输入 向 量 ■ 模块 — — 「 ‘ 态模块 — 单个神 经元运算 过程 数 据 流 首 先 是 从 权 值 存 储模块和 输入 层 存储 模块 开 始 的 进行 乘 累 加 计算 （ 。 。 其中 可 以 存储 为 模拟 形式 下 ） ， 。 。 在乘 累 加 模块工 作之前 本文 中 网 络 硬 件 性 能 的 。 使用 的 激励 函 数 是 ， 评 估 权值只 能被加 载 一次 为 了 测 试 训 练 的 速 度 。 、 （ 静态情况 。 线性函数 函 数和 函 数 或者 、 函数 最 重 要 的 参 数 就 是 每 秒 的 联 接 率 ， （ 。 对神 经 ： 它 是 由 在前 向 处理 阶段每秒 钟乘 累 加 的 次数所决定 ， 往往通过每秒钟联接 的 更新率 来评估 关的 ， 激励 函 数可 以 是 阈 值 函 数 ， 。 的 。 权 值和 神 经 元状态 模块 的 输 出 既 可 以 存储 为 数 字 形 式 也 ， 在不 同 的神经 网 络 中 函数 权值和 输入 值被送 控制 模 块控制 的 是 数据 流在 。 它 们 也 可 以 通过 主机或者 是 在学 习 阶段进行动 态 更新 是 ， 然后将 累 加 的 总 和 送往激励 函 数模块 接 下 来 经 过激励 函 数 的 计 算 传输 到 神 经元状态模块 模块之 间 的传输 ‘ 人 图 到 乘 累 加 模块 — 。 （ 另 外 学 习 的 速率 也 是与 选用 的 学 习 算法有 的 神经 网 络 的 设计与 实现 第五章 基于 神 经元 具 体 的 硬件 设 计 如 图 ： 又值 所示 ： 控制信号 叫 「 二二二二 二二二二二二： 、 ① — — 输出 警 丨 —— — — — ！ ： ‘ 神 经 元硬件 设计 结 构 图 图 基于 神 经 网 络 的 设计 的 神经网络的 整体设计 前面 已 经证 实 一个三层 的 有足够 隐含层 神 经元数 ， 神经 网 络 和图 所示 。 输入层 、 隐含层和 输 出 层 它 就 能 以 任 意精度逼近任何 连续 的 非 线 性 函 数 神 经 网 络通 常用 来进行 函 数逼近和 分类 问 题 具 体 实现过程 （ 。 下 面介 绍 一个 神 经 网 络 算法 的 计算过程和 计 算 隐层 输出 ‘ — 计算输 出 层输 出 一 更 新输 出 层 权值 图 “ 输出 — 一 更 新 隐层 权值 ， ， 如果具 所以 神经网络 训 练 的 流程 图 分 别 如 图 。 … 的 ） 计算 隐层 误差 神 经 网 络运算过程 计算输 出 层误差 电子 科技 大 学硕 士学位论 文 上电 ， 配置 ￡ 从片 外 存储器读 初 始权 值 至 片 内 存储器 片 内 存储 器 的 权 值分配 到 相 应端 ‘ 識 口 新 权 值存 入 片 内 存储器 前 向 网 络开始运 算输 出 各 节点 的 结果 “ 训 练次数 训 练模 块 工 作 输 出 修正后 的权值 小于指定值 及 网 络输 出 误差 于指定值 大于指定值 器 训 练结束 图 根据 网 络 的 结构 隐含层输 出 向 量 矩阵 ， ， 神经 网 络 训 练流程 图 我们 可 以 设 定 四 个 向 量和 两 个权 值矩 阵 输 出 层输 出 向量 和 隐 含层 到 输 出 层 的 权值矩 阵 目 ， 。 标输 出 如 公式 向量 （ ， ： 输入层 向 量 ， 输入层 到 隐 含层 的 权值 和 （ 所示 ： 的神经 网 络 的 设计与 实现 第 五章 基于 少 ； ▽ ， ’ 少 广 ， ， ， ” ， 从 输入层 向 量 ， 两 个权值 矩 阵 神 经 网 络训 练 的 时候必须给定 过前 向 运算 阶段得 到 神 经元 阈 值 根据 。 步骤如 表 所示 从 —开始就是 已知 的 和 而对于 隐含层输 出 向 量 。 和 向量 。 ， 中 的 。 向 量 在 可以通 分 别 是 隐 含 层 神 经 元 阈 值和 输 出 层 、 ， 这个神 经 网 络具 体训 练 ： 网 络具体训 练步骤 表 涉及 公 式 训 练步 骤 隐含层第 “‘ 丨 神经 元乘 累 加 计算 ” … ： 激励 函 口 杜 输出 层第 入 运算 （ 个神 经元净输 … 入 士 个 神 经 兀 净输 ， 经元输 出 输 出 层 第 个神 经 元输 出 输 出 层误差计算 谷 反 向 灰差计算 、 标输 出 和输出层 向量 神 经 网 络算法 的 内 容 小节 目 ， 隐含层误差 计算 输 出 层 权 值修 正量 ， 计算权值修正量 么巧 也 广仏 一 彳 ； 曰 隐 含 层 权值 修 正 量 输 出 层 权值 更 新 ‘ 隐含 层权值 更新 、 根据表 中 的 公式和 步骤 络进 行 了 一 次 完 整 的 训 练 到 的 运算有加 法 数 的运算 ， 、 减法 、 ， ， 完 成 前 向 运算 和 误 差 反 向 运 算 最终权值矩 阵得 以 修 改 乘法 以 及激励 函 数 的 运算 函数 ， 输 出 层用 到 的 函 数 是线性 函 数 。 这样就对神 经 网 通 过 上 表 可 以 看 出 主 要 涉及 。 其 中 最 难 实现 的 就 是激励 函 。 本文 已 经在第 四 章 中 进行 了 详细 的 阐 述 ， ， 隐含层用 到 的 激励 函 数是 可 以 将神 经 网 络 的 整个 计算过程 总 电 子科技 大学硕 士 学位 论 文 结 为 以 下 几个功 能模块 神 经元乘 累 加 模 块 ： 权值修 正 与 更新模块 误差 计 算 模块 以 及 各 个存 储模块 实现整体结构 图 如 图 网络的 从结构 图 可 以 看 出 行运算 的 最大特性 所示 隐 含层 神 经 元 的 计算 中 的 权值 ， 函 数模块 送到 模 块进行 乘 累 加 运算 运算 阶段结 束 将 隐含层 的 输 出 中 ， ， 。 以 及对应 的 隐 含层权值 计 算 完 的 结 果 送 到 激励 和 。 ， 就 能得到输 出 层输 出 中的 。 至此 ， 前 。 、 输 出 层 的 输 出 送人误差计算单元 至此 ， 误差反传阶段完成 ， 分 别 计算输 出 层 误 。 输入 以 及 隐含层 输 出 送到 权值修 正和 更 新单元 和 ， 。 进而得到 新 的权值 ， 整个神经 网 络完成一次训 练 或者 是达 到 指定 的 训 练步数为 止 ， 重 新存 入权值 和 ， 重复训练其它样 本 廳 ！ ， 直 到 误差达 到 要求 。 ■ 输入 隐层 输 ‘ 、 广一 — ■ ■ — ” — ■ 換层 初始权 。 至此 丨 。 以 及 对应 的 输 出 层 权值 模块进行乘 累 加 计算 差 八 和 隐含层误差 将得 到 的 误 差 中 中 读 出 隐含层 输 出 送到 得到 作 为 训 练使用 。 从 隐 含层 输 出 向 ， 模块 中 中 的 输入 模块计 算 的 结 果 存入 隐 含层 输 出 权值 这 也 体现 出 神 经 网 络 并 ， 中 和 输 出 层 权值 读 取 输入层 ， 。 ： 首 先 将 我们 训 练 用 到 的 样 本 集存放在 输入层 值 分 别 存 放 在 隐 含层 权值 ， 。 神 经 网 络 的 层 内 是 并行执 行 的 ， 整个 网 络 的 硬件 实现过程如 下 。 激 励 函 数 计 算 模块 ， 值 薩 二 ■ 丨 图 上图 中第 — 权 ； 神经网 络 阶 段 为 前 向 运算 阶段 ， 实现整休结构 图 第 阶段 为 误差 反 传阶段 ， 第 阶段为 权 的 神 经 网 络 的 设计 与 实现 第 五章 基于 值 更 新 阶 段 三个 虚线 框代 表 的 是 隐 含 层 的 三 个 神 经 元 隐 含 层 输 出 之 后 两个 。 。 单元 的 输 出 便是输 出 层 的 输 出 块进行详细 介绍 。 下 一小节将对 实现涉及 到 的 模 神经网络 。 神 经 网 络各个模块 的 设计 模块 、 模 块 实 现权 值和 输 入 变 量 的 乘 累 加 运 算 于 乘 累 加 运 算 的 实现 可 以 通 过 ， 是神 经元计算 的 核 心 部件 来 实现 的 模块 ， 所示 具 体 实 现框 图 ， 。 乘 法 输入 加 法 器 器 寄存器 一 其 中 输入 和 模块 结 构 图 层 激励 函 数来 说 位定 点 数 都是 位 送 到 激 励 函 数 模块 累加之后 的 位定点数 出 结 果仍然是 次数 的 乘 累加 运算 ， ， 相 乘之后 的 结 果 为 时 其输 出 结 果 就近似 为 当 输入大于 ， 截位 输出有 效信 号 图 ， 但是对 隐含 因 此 没 有 必 要 直接 将 乘 所 以 对 累 加 后 的 结 果进行截位操 作 ， 另 外 还 需要 一个计 数器模块 。 位数 ， 将最 终得到 的 结 果送到 激励 函 数 ， 最终输 用 来 判 断 是 否 完成 相 应 模块 。 模块 、 这个模块实现激励 函 数 的 运算 激励 函 数我们 定 义 为 线性 函 数 ， 主 要 是 隐 含层 激励 函 数 的 实 现 ， 它 的输入就是它 的 输 出 实现输 出 层 神 经元 的激励 函 数 而 隐 含层激励 函 数 。 程 已经在第 小 节进行 了 详 细 介绍 。 它 的输出 也为 ， ， 因为输出层 所 以 不 需要特意来设计 函 数 的 具 体 设 计 实 现过 位定 点数 。 模块 、 模 块 为 反 向 误 差 计 算模 块 的计算和 隐含层误差 的 计算 现 对 但 是 为 了 便 于我们 控制 整 ， 个 计 算 流 程 通 过 使 用 一 个 乘 法 器 和 一 个 加 法器 来 实 现 如图 。 。 。 。 反 向 误差 的 计算分 为 两个 阶段 ： 输 出 层误差 输 出 层 误 差 的 计 算 可 以 简 单 的 通 过 一 个减法器 来 实 而 隐 含层误 差 的 计算 比较麻烦 ， 根据 隐含层误 差计算公式 （ 可知 ， 涉及 电 子 科技大学硕士 学位论文 到 的 变量有 隐 含层 的 输 出 有 减法 、 乘法 、 、 乘累 加 运算 。 具 体 实现结 构 图 如 图 、 便是隐含层 的 输 出 其中 — 输 出 层 的 权值 输 出 层 的 误差 所示 。 。 — 器 ‘ ‘ 忽值 」 敝 ： 器、 乘 ： 减 士 ■ 醫 、 隐含层 的 误差 、 是 目 标输 出 值 是 隐含层 的 输 。 送 到 权 值 更 新 模 块 进行 权 值 更 新 。 模块 模块 为 权值 更 新 模块 ， 它包 括权值修 正量 的 计算和 权 值 更 新两 个阶段 权值修 正 量 的 计算只 涉及 到 乘法运算 结构 图如 图 」 模块获得 最终得到 输 出 层 的 误差 么 和 由 输 出 层权值 ， ’ 模块 结构 图 是输 出 层 的 输 出 是常数 法 器 器 图 ， 乘 ， — 出 巧 涉及 到 的 运算 ■ “ 上 图 中 输入信 号 。 所示 ： ， 权 值更 新 只 涉 及 到 加 法运 算 。 。 具体 的 实现 的 神经 网 络 的 设计与 实现 第五章 基于 — 输 出 层权 值 器 ‘ ‘ 只 需 要 将 乘法器 的 输入 换 为 同 样对于更新 隐含层权值 、 换 为 隐含层权值 各存储 便可 。 我们 知道 、 隐 含层 的 输 出 结 果 分为单 在 同 一 时 间 只 能进行读或者 写 因 此在这里选择单 口 的 到 单口 输出层 的 更新 。 ， ， 能够 同 时进 行 读 写 操 作 而双 口 。 。 不 需 要 同 时进行读 写 操 作 ， 都可 以利用 所示 核 示意 图 如 图 的 。 ■ — 一 — — ‘ ， ■ 鐘 ？ 二 一驗 ■ 二 双口 单口 图 ， 单 由 ， 不 但要 读取权值还要 将运 算得到 的 新 的 权值存储 还 是双 口 中 而 不论是单 口 的 两种 而 对 于 隐 含 层 权 值 矩 阵 和 输 出 层 权 值矩 阵 来 说 就 比 。 它们 在权值更新阶段 和双口 以 及 隐 含层 权 、 和双 口 口 于输入层 样 本集和 隐含层 涉及 到 的 运算 都 比 较 简 单 ， ， 模块 值矩 阵和 输 出 层 权值矩 阵 较麻烦 和 这样就 能 实现 隐 含层 权值 ， 各存储模块 主 要用 来 存储输入 的 样 本集 口 人 模块 结 构 图 图 权值 器 单 口 和双 口 核示意 图 核来实现 。 电 子科技 大学硕 士学位论文 从上 图 可 以看 出 单 多 出 一套独立 的地址线 比单 口 口 对存储器进行访 问 而相互并不影响 ， 不 同 之 处就 是双 ， 数据 线和 时 钟信 号 、 ， 允许两组操作 。 地址产 生 模块 、 既然有存储模块 信号 的 结构 是十分相似 的 和双 口 口 自 然 就 有对 应 的 地址 产 生模块 从而 进行 正 确 的 读 写 操 作 ， 本文 中 的地址 的产 生 是通过 累 加 计数器来实现 。 对地址进行 累 加 计算便 能 依 次读取 ， 器主要分为 两种 数器 有 效 控 制 存 储器 的 读 写 操 作 ， 中 的 值和 将 值 写 入 进行读操 作 时 的 计数器和 对 即对 ， 为 存储模块提供有 效 的 地址 ， 。 进行 写 操 作 时 的 计 。 另 外还会用 到 的 一些计数器模块 以 及 判 断模块没 有在 框 图 中 画 出 主 要 判 断输 出 层 的 误差 有没有满足 要 求 神 经 网 络训 练阶段 是否 结束 至此 ， 完 成 了 整个 训 练 次数有 没有达到 要求 ， 小 节进行介绍 基于 神经网络的 设计 基中 心的调整 和 神经 网 络算法 函 数 的 运算 。 对于一个 也 定 义 四 个 向 量和 一个权值矩 阵 目 我们 将用 设计 的 这个 。 标输 出 向 量 在这里 就不再赘述 ， 。 的 具 体 的 仿真 结 果 和 误 差 分 可 以 将整个 网 络 的 学 习 过程分为 ， 中 心 距 的 计算 即 输入层 样本和 径 向 基 中 心 之 间 的 欧 氏 距 离 ； 出 层权值 的 调 整 。 整体设计 小节介绍 的 ： 以 此来判 断 神 经 网 络 的 设计 神经 网 络的 以 下 几个 过程 判 断模块 。 的 根据 ， ， 。 神 经 网 络 来逼近 非线 性 的 正 弦 函 数 析将在 累加 计数 输 出 层神经元 的 运算 ； 神经 网络 的 输入 层 向 量 ： ， ， ， 径向 ； 如 公式 所示 （ 々 ， ， 。 知 ， 具体训 练步骤 以及涉及 到 的 公 式如表 所示 。 输 神 经 网 络 的 设计类似 参考公式 （ ， ， 输出层向量 到 （ 神 经 网 络 没有 了 输 入 层 到 隐 含 层 的 权 值 矩 阵 不同的是 ， 输 出 层误差 的 计算 隐含层输 出 向 量 隐 含 层 到 输 出 层 的 权 值矩 阵 多 出 了 径 向 基 中 心矩阵 与 ； ； ， ， 的 神经 网 络 的 设计与 实现 第五章 基于 网 络具体训 练步骤 表 训 练步骤 涉及 公式 为 输 入 层 向 量 中广 阳 、 、 咖 卜 宣 ， 为 隐含层原径 向 ？ 基中心 为计算出 的 ， 最 小 中 心距 、 ， — 、 。。 ， 巾心 — ， 是隐含层节点输 出 、 、 为 原径 向 基中 心 函 数运算 为 输入 向 量 向量 ‘ 输 出 层运算 为 高斯 函 数宽度 ， 含层输 出 少； … 、 神 经 网 络 的 设计流程框 图 如 图 卜 输入 中 心距 目 ① 为 原 先 的 权 值 士更 苗 新后 的 的 权值 估 为 标值 ： 更 新输 出 基中心 层 权值 ‘ 丨 高斯 函 数 层输出 出 ， ， 不 需要 隐含 层权值矩 阵 出 送 到 输 出 层进行线 性 累 加 得到 输 出 层输 出 ， ， 所 以从 送到 隐 含 层 进行 中 心 距 的 计算和 径 向 基 函 数 的 计算 得到 隐 含 层最 终输 出 结 果 最后经过 误差 计 算 只 是简 单 的 减法运算 一 神 经 网 络 运算 过 程 神 经 网 络 只 存在 输 出 层 权值矩 阵 ， 为 输出层 调整径向 输入 层 到 隐含 层 只 进行输入信 号 的 传递 中心的调整 ， 一 图 于 为输出层 ， 计算 “ 由 所示 为隐 ， 为输 出层实际值 输 出 层权值更 新 整个 ， 为 中 心值 ， 为 输 出 层输 出 反 向 误差计算 ， 为 现径 向 基 中 心 — ， 。 将 隐含层输 由 于输 出 层激励 函 数是线 性 函 数 最后 进 行输 出 层 权 值 的 调 整和 更新 。 ， 电子科技 大学硕 士学位论 文 整个 从结构 图 可 以看出 行运算 的 最 大特 性 神经 网 络 的 层 内 是 并 行执行 的 ， 整 个 网 络 的 硬 件 实 现 过程 如 下 。 值存放在输 出 层权值 模块 中 读 取 输入层 ， 基中心 调整径 向 基 中 心 ⑷ 模块 中 完成 的 ， 作 为 训 练使用 中 的 输入 ▽ 中 以及中 心值 ： 中 ， 中 的径向 ， 也是在 中 模块进行 运算得 到 隐 含 层 单 元 。 中 读 出 隐含层 输 出 送到 以 及对应 的 输 出 层权值 模块进行乘 累 加 计算 只 是 一个减法器 ， 就能得到 输 出 层输 出 中的 。 ， 计算输 出 层误差 ；； ， 前 ， 这其实 。 将 得 到 的 输 出 层 误 差 。 以 及 隐 含层输 出 送 到 权值修 正和 更 新单 元 到 权值修 正 量 ， 整个神 经 网 络完成一 次训 练 的 模块进行详细 介 绍 。 ， ， 重新存入输 出 层权 值 进 而得到 新 的 权值 或者是达 到指定 的 训 练步数为 止 重复 训 练其它样本 下一小节将对 ， ； “ — “ — 输 出层 权 —— ■ 图 神经网络 实现整 体结构 图 中 。 实现涉及 到 神经网络 出 得 直到 误差达到 要求 。 — — 至此 。 将输 出 层 的 输 出 送 人误 差 计 算 单 元 ， 。 并通过 比 较 ⑷ 存入 中 心值 免 存在 隐含层输 出 向 运算 阶段 结 朿 至此 初始权 ， 。 从 隐含层输 出 权值 ， 初 始径 向 基 中 心存放在 中 心值 ， 将 调 整 后 的 径 向 基 中 心 和 输入 样 本 送 到 的输出 中 。 ⑷ ？ ， 这也 体现 出 神 经 网 络 并 ， 模块 中 计算 欧 氏距离 在 器求 出 最小 中 心距 。 ： 首 先将 我 们 训 练 用 到 的 样 本 集 存 放 在 输 入 层 中 心距 的 计算 所示 实现整体结构 图 如 图 神经网络的 的 神 经 网 络 的 设计与 实现 第五章 基于 阶段 为 前 向 运算 阶段 上图 中第 阶 段 为 误 差 计算 阶 段 第 ， 第 ， 阶段为 权 值更 新 阶段 三个虚线 框代表 的 是 隐含 层 的 三个 神 经元 隐 含层 输 出 之 后 两 个 。 。 单元 的 输 出 便 是输 出 层 的 输 出 模块 进行 详 细 介 绍 。 下 一小 节将对 实现涉及 到 的 神经 网 络 。 神经 网 络各个模块 的设计 神经网络 的 ， 设计 中 用 到 的 很 多 模块跟 模块 比 如 说输入层 层权值调 整模 块 （ 、 输 出 层权值 。 模块 中 心值 、 模块 以 及地址产 生模 块等等 、 及 到 的 几个模块进行设计 网 络 的 设计是相 同 节 ， 主 要 包括 以 下模块 。 模块 、 输出 本节只 对 涉 。 模块 、 模块主 要完成两个任 务 一个 就是 中 心距 的 计算 另 外 一个就 是径 向 基 ， 中心 的调整 隐含层第 。 输入 … — 一 乘 中 心值 加 法 — 计数器 — 一 器 广 牛 〕 模块主 要涉及 的 运算有减法 由 上 图 可知 小于 地址计数器 的 作用 是确 保输入 。 的径向 基中心 向 量同步 中 的 公式可知 ， 模块主 要 。 ， 所 以 没有必 要进行开平方运算 有 最 小 中 心 距 的 隐 含层 节 点 模块进行 牛 。 ， 、 乘法和 加 法 为 学习 率 ， 中 的 样本值和 中 心 值 的 是为 了 节省 资源 ， 中 根据表 心 的 调 整 都会用 到 加 法器和 乘法器 但是在 ， 。 本 函 数模块 中 还要 进行平方 因 此可 以 通过 比较 中 心距 的 平方来获得 具 。 模块 的 输 出 为 中 心 距 的 平方 这样 在 中 心 距 的 计 算 阶段 到 目 中 心距 的 计算和 径 向 基 中 来 欧 氏 距 离 的 计算要涉及 到 开平方运算 运算 — 器 模块 结 构 图 图 大于 截位 法 器 — ： — 广 地址 所示 模块具体 实现 的 结构 图 如 图 个神 经元 — ， ， 函 数 的计算 ， 它 的 表达式 如 式 （ 所示 ， 。 将直 接 送 电 子科技大 学 硕士 学 位 论文 在径 向 基 中 心 调 整阶段 主要 用 到 一个 比较器 ， ， 将 隐含层三个神 经元 计算 的 中 心 距 输入 到 一 个 比 较 器 中 计 算 出 具 有最 小 中 心 距 的 隐 含 层 节 点 利 用 公 式 ， ， 只 对具有最小 中 心距 的 隐 含层节 点 进行径 向 基 中 心 向 量调 整 向 量保持不变 。 对 于 后 面 的 样本 重新利 用 模 块进 行 中 心 距 的 计 算 和 径 向 基 中 心 向 量 的 调 整 。 模块 、 这个模块实现径 向 基 函 数 为式 将 都设为 的 宽度 （ 函 数 的 运算 将公式 ， 模块输 出 的 中 心 距 带入这个 公式 中 ￠ 函数 中的 （ ， 公式就简 化 。 公式 在第 就 是一个简单 的 指数 函 数 （ 小 节进行 了 详细 介 绍 。 而对于指数 函 数 的 设计与 实现 ， 它的输 出 也为 位定点数 ， 己经 。 模块 、 神经网络的 对于 器将 其它的径 向 基中 心 ， 目 标输 出 值和 实 际输 出 值相 减 即 可 至此 完成 了 整个 网络的简单的 多 模块要 比 ， 得到 误 差 函 数 逼近 的 结果进行 比较 。 少 。 。 神 经 网 络来逼近非线 性 的 正 弦 函 数 的 只 需要 用 一 个减法 设 计 阶 段 我们 将 用 设 计 的 这个 神经网 络的 ， ， 和 ， 具 体 的 仿 真 结 果 和 误 差分析将 在 神经网 络 并且 与 小 节进行 介 绍 。 仿 真 结 果 与 性 能 评估 网 络仿 真结 果 及 误 差 分析 为 了 在区 间 一些准备 工作 率 的选取 、 次 数 的 选取 。 上用 主要 是 训 练样 本和 测 试样本 的 选取 隐含层 和 输 出 层神 经元 阈 值 的选取 。 接 下 来对 上 面 的 参 数 一 一 介 绍 样本值 的 选取 本文 中 以 ： 网 络逼近非线性 函 数 ： 、 、 和 ， 首先要做 初 始 权 值矩 阵 的 选取 、 学习 输 出 层 允许 的 最大误差 以及训 练 。 具 有 高 精 度 的 典 型 样 本 是 采 用 神 经 网 络 方 法 建 模 的 首 要 前提 为 间隔从 选取 到 个值 。 个训 练样本 测 试样本选 ， 将这 些样 本值转 换 为 ， 位 定 点 数存 在 。 ， 的 神经 网 络 的 设计 与 实现 第 五章 基于 中 。 初始权值 的选取 根据激励 函 数 ： 之 间 的 随机数 本文 中 。 出 层 的 初始权值矩 阵 选为 函 数 的特性 初始权值一般选择 ， 输 入 层 到 隐 含 层 的 初 始 权值 矩 阵 ， 和 隐含层到输 ： 「 「 ， ， 」 阈 值 的选取 隐 含 层 阈 值选 为 ， 学 习 率 的 选取 正 得就越 大 ， 习 过程 的 收敛性 但学 习 时 间 会较长 ， 输 出 层 的 学 习 率选 为 训 练次数选 为 通过 。 一个计数器 学 习 率越大权值修 因此 学 习 率越小 。 为 了 保证学 ， 本 文 中 隐 含层 的 学 习 率 选 为 ， ， 输 出 层 的 期望误差 为 权值 修 正 越 完 善 ， 误差就越小 和 ， 所示 的 仿 真值和 误差 值 分别 为 函 数 是 ， 。 — ■ — 一 网 络 训 练 阶 段仿真波形 图 图 由 于 训 练样本值 比较 多 析 ， 。 的 仿 真值和 分别 为 函 数 — ， 。 仿真得到 训 练阶段 的波形如 图 ， 和 ， 。 。 。 。 为 输入样本 误差值 不 过可 以 保证收敛 之间 的值 当 然 训 练 次 数越 多 语言描述 其中 ， 位 定 点 数 中 用 后 十位表示 小 数位 本文 采用 的 。 但 是过大 的 学 习 率可 能 导致不 收敛 ， 通常学 习 率取 ， 输 出 层 阈 值选 为 系 统最终 能 否 收敛 与 学 习 率 的 大 小 有关 ： 虽然 学 习 速度 快 权值修 正得就越 小 ， 误差 分析表如 表 所 以 选 取 前 七 个 样 本 值 和 后 七 个 样 本 值 进行 误 差 分 ， 所示 。 通过下表可 以 看 出 ， 刚 开始误差 比较大 ， 随 着 权值 电 子科技大 学硕 士 学位论 文 的不断调整 是很理想 ， ， 误差不 断减小 最终没 能收敛 ， 但 是最终误差 基本上都 大 于 表 ， 体现 出 神 经 网 络 的 学 习 能 力 绝对误 差 网络 测 试阶段 的 ， 了■ — “？ 搬 图 彼 死 和 训 练阶 段最 后 的 情 况一致 脱 —咖 ■ 〔 —■ 疏 。 ， 如表 所示 ， 。 ！ 也 网 络测 试阶段 仿真波 形 图 同 样 对 测 试 样本 进行 了 误差分 析 ， 所示 仿真波形 图 如 图 — —— — 左右 。 绝 对误 差 — ■ ， 网 络训 练阶段误差分析表 训 练样本 对训 练好 的 表 明 逼近情况 不 可 能 与 初 始 参数 的 选取 或 者 隐 含层 神 经 元 个数 有关 ， 但是整个过程误差 的 大体趋势是不 断减小 的 料 。 最 终 绝对误 差值 都在 姬棚 — 的神 经 网 络 的 设计与 实现 第五章 基于 网 络 测 试 阶 段 误 差 分 析表 表 狐样本 離 绝 对误 差 绝 ； 賴 ； 网 络仿真 结 果 及误 差 分析 同 样在 区 间 些准备 工作 本值 向量 、 ▽ 阈值 网 络 类似 很 多 参 数 的 选取 和 ， 、 网 络逼近非线性 函 数 用 误差 以及训 练步数与 「 「 其中 ， 语言描述 值和 误差值 是一个计数器 和 一 ， 另 外 两个参数就 是径 向 基 中 心 如式 ， （ 所示 。 “ ， 」 ， 和 ， 的 仿 真 值和 误 差 值 顺 擺顯 ， 丨 丨 冊 呼 — 翔 “ 图 ‘ “ ■■ ■— 网 络训 练阶段仿真波 形 图 。 的仿真 分别 为 函 数 分别 为 函 数 一 所示 。 ！ ？ 训 练 样 本值 和 测 试样 仿真得到 训 练 阶段 的 波 形 如 图 ， 为 输入样本 — ， 。 也要做一 ， — ， 」 。 的 选取 ， ” 通过 就不 再赘述 ， 网 络 的 一样 的 选取和 隐含层 到 输 出 层权值矩 阵 和 电子 科技大学硕 士学位论 文 可 以看 出 通 过上 图 和 误差分析表 并 且最 终 通 过训 练达 到 了 收 敛 网络的要强 比 ， 误差都在 左右 。 表明 网 络快 ， 网 络 的 学 习 能力 。 网 络训 练阶段误差分析表 表 序号 网 络逼近 的 速度 要 比 ， 謝 绝 賴 纖 麟误差 冗 对训 练好 的 网络 ， 测 试 阶段 的 丨 霜 隱 麵■理 卿 圆 丨 丨 酬 基本满足对误差 的 要求 — 网 络测 试阶段仿真波 形 图 ， 。 丨 — 同 样 对 测 试 样 本进 行 了 误 差 分 析 ， — 所示 —— 、 图 左右 ■■ 隨 仿真波 形 图 如 图 ， 如表 所示 网 络 可 以 很好 的 收敛 ， 。 最 终绝对误 差值都 在 的 神 经 网 络 的 设计 与 实 现 第 五章 基于 网 络测试阶段误差 分析表 表 测 職 識 绝 对误差 绝对 误差 斤 性 能评估 本文在 平 台 上釆用 的 分 别 对 前面基 于 设计的 神 经 网 络和 析 。 具体 的 硬件 资 源 消 耗情况 。 所示 如表 神 经 网 络进 行 了 综 合和 性 能 分 系 列 芯 片 是 因 为 这个系 列 的 芯片 能够 实现动 态 可 重 构 之所 以 采用 的功能 芯片 系列的 、 最 高 时钟频率 以 及用 分析得到 的 功 耗 。 性 能 分 析表 表 资源消耗 网 络类 型 最 高 频率 网络 功耗 。 。） 网络 在 这款 和 占 求 。 芯片 上 实现 。 时 钟 频率 也 比 较高 功 耗 也 比 较低 分别 为 ， 络 芯片 应用 在 医 学领域等 的 ， 网络资源消 耗不是很多 网 络和 左右 在 和 ， ， 只 基本上 可 以 满足 实 时 性 的 要 将来 可 以 进一 步 改进 做成神 经 网 。 神 经 网 络之 间 动 态 可 重构 的研 究 神 经 网 络 阶 段之 间 的 动 态 可 重构 神 经 网 络和 前面介绍 的 即 ： 前 向 运算阶段 、 神 经 网 络 的 工 作 过程 都 可 以 分 为 三 个 阶 段 误差 反 传 阶段和 权 值 更新 阶 段 。 可 以 通过 ， 来配置 电 子 科 技 大 学 硕 士 学位 论 文 每 次 只 配 置 一个阶段 重构 具体实现 图 如 图 。 利 用 具有动态可 重构 功 能 的 ， 所示 实现阶段 间 的 。 阶段 间 重构过程 神 经 网 络 阶段 间 重 构 示 意 图 图 首先 ， 将上述三个 阶段所 需 要 的 配 置 文 件存入 片 外 的 阶段产 生 的 输 出 值 、 误差还有 更新 的 权值也 要存入 重构 时成 数据 的 丢 失 。 配置文件下载到 神经网络 行的 中 中 资 源 的 利 用 率 要 高 于 静态 结 构 对性能有所影响 ， ， 构 时 间 不变 ， ； ， 当 片数 比较少 时 ， ， 计算 时 间 的 比 重就会增 加 这 样 一 来 重 构 时 间 占 的 比 例 就会 降低 络 适 应 于 大规 模 的 神 经 网 络 动态可重构 的 尤其 是对 于 规模 比 较 小 的 神 经 网 络 ， 片数 比较 多 时 当 。 中的 但 是 由 于三个 重构 阶段 是顺序执 片 数 的 多 少 决定 着 动 态可 重 构 神 经 网 络 的 性 能 所 占 的 比例 比较大 并且每 个 将片外 完成整个神经 网 络阶段 间 的 重构过程 ， ， 以 免造成在阶段 间 的 ， 接下 来可 以 通过控制信号利 用 所 以 重构需要 时 间 ， 中 。 所以 ， 。 重构 时 间 ， 但是重 动态可重构 的神经 网 。 神 经 网 络 之 间 的 动 态 可 重构 目 前动 态可重构 的 神 经 网 络 大 多 是基于 的 就 是提 高硬件 资 源 的 利 用 率 的 动态切 换 不变 的 了 ， ， ， 也 就是说将设定 好 的 神经 网 络下载 到 如果想更改 网 络 的 结构 灵活性不够 之 间 的动态可重构 目 前 ， ， ， 主要 的 目 但 是还 不 能够 实现 不 同 网 络 结 构 和 网 络 模 型之 间 。 就 必须对神 经 网 络进行 重新设计 多 不足 的 动 态 可重构 技 术 ， 通用 性 不 强 ， 中 比如 网 络 的层数 生成新 的 配置文 件 ， 、 。 ， 它 的 结构就是 固 定 各层神 经 元 的 个数等等 显然 ， ， 这 种 结 构 还是有很 不 能够 实 时 的 实现神 经 网 络 结 构和 神经 网 络 。 由 于片 上 网 络 技 术 的 发展和 不 断成 熟 （ 们 实现动 态可 重构 的 神 经 网 络 提供 了 一 种 新 的 思 路 成大量 的 计 算 资 源和 通信 网 络 并非利用 传统 的 片 上总 线结构 。 ， 为我 能够 在单个 芯片 上集 通信任 务 的 完 成 是通过 分 组 路 由 技 术来 实现 的 ， 】 。 由于 具有 ， 良 好 的 并行通信 能力 以 及计 算 资 的 神 经 网 络 的 设计与 实 现 第 五章 基于 源 的 可扩展性 这样一来在 ， 上不 仅 能够 实现 实 时动 态可重构神 经 网 络 将神 经 网 络 分 布式 并 行 计算 的 特 点 体现 的 淋漓 尽致 所示 神 经 网 络结构 图 如 图 元 “ 主要有两种 单元组成 。 和 具有路 由 通信功 能 的 单元 ” 网 络 不 仅 能够 实 现神 经 网 络层 数 ， ” ， 具 有计 算 能 力 的 神 经元单 （ 。 这种动 态 可重构 的 各层神经元个数 的 实 时动态调 节 神 经 网 络 模型 之 间 的 动 态切 换和 通信提供 了 可 能 并且 结构 的 动态可重构 基于 。 ， ， 并且为 不 同 。 國 國 國 图 基于 结构 的动态可重构神经 网 络 本章小结 本章首 先介 绍 了 单个神经元 的 ， 其 次对 神 经 网 络和 整体设 计过程 以 及各个模块 的 设 计进行 了 详细 的 介绍 网络的 好 的 神 经 网 络对非线 性 函 数 功 能仿真 设计 、 和 进行 了 逼近 平 台 进 行 了 综 合 和 性 能 评估 以 及 误 差 分 析 的 动 态 可 切 换 的 神 经 网 络进 行 了 研 究 。 ， 并且用 设计 利用 ， ， 神经 最后对基于 进行 了 结构 电子科技大学硕 士学位论文 总结 与 展望 第六 章 总结 本文 以 典 型 的 神经 网 络和 神经网络为例 神 经 网 络 的 硬件 实 现方 法 并 且进行 了 设 计 现 不仅 能 够 进行 实 时 的信 息 处 理 ， 分 的 体现 出 来 ， 主要研究 了 基于 。 神 经 网 络和 并且取得 了 一 定 的 成 果 ， 神 经 网 络 的 算法进行 了 仔细 认 真 的研 究 的 设计与 实现奠定 了 数学理论基础 函 数 的 设计 了 神 经 网 络对 精度 的 要 求 采用 。 神 经 网 络和 分别完成了 核 实现 了 进行 了 仿真 同 样利 用 硬件描述 语 言进行 了 描述 进行 了 仿真 ， ， ， 做 了 误差分析 对非线 性 函 数 达到 ， ， ， 函数的 设计 利用 进 行 了 逼近 利用 ， 并 且进 行 了 误 差 分 析 结 构 的 神 经 网 络之 间 可 动 态 重构 的 网 络 结 构 神 经 网 络分 布 式 并 行 计算 的 特 点 。 。 和 做 了 综合和 性 能 评估 体现 出 可能 做 了 误差分析 神 经 网 络 各个模块 的 了 了 ， 神经 网 络激励 函 数 神 经 网 络激励 函 数 最后提 出 一种基于 为 后面 ， 这 种 方法很 好 的 平衡 了 精度和 硬件 资 源 的 问 题 算法 的 ， 进行 了 仿真 并且利 用 ， ： 。 采用 查 找表和 分段 非线 性 函 数逼近相 结 合 的 方法 实 现 了 设计 硬件上 实 使得神 经 网 络 得 以 在 ， 的 还将神 经 网 络 分布 式 并行计算 的 最大特 点 充 本 文 主 要进 行 了 以 下 几个方 面 的 研 究 对 ， ， 。 充分 并 且使得神 经 网 络之 间 的 通信成 为 。 展望 对于神 经 网 络 硬件 实现 的研 究 是 当 今神 经 网 络研 究 的 热 点 空间 ， ， 也 是 神 经 网 络将 来 能够 在现 实 生 活 中 得 以 广 泛应用 的 前提 水平和 时 间 的 限制 几 个方面 ， 在 很 多 方面还有待 于进一步 的研究和 改进 ， 还有很大 的研究 。 由 于本文作者 主要归纳为 以 下 ： 神 经 网 络 数据 格 式 和 精度 方 面 的 研 究 ， 虽 然 现在 普 遍 认 为 位定 点 数是不 削 第六章 总 结与展望 弱 神经网 络 计算能力 的 最小精度 的进一步发展 ， ， 超大规模集成 电路 但 是 随着 完全可 以 进一步提 高神经 网 络 的 精度 比 较高 的 领域得 以 应用 ， ） 技术 可 以 在更 多 对 精度 要 求 。 神 经 网 络拓 扑 结 构 的 研 究 ， 到底 需 要 多 少个 隐 含层 ， 每层 需要 多 少个神 经元才 能 使神 经 网 络 的 性 能达到 最优 因 此 网 络 结构 动 态 可调 的 神 经 网 络 的 机制 有待 ， 进一步研究 。 神 经 网 络激励 函 数 的 实现方 式 可 以 设 计成专 门 的 通 过调 用 不 同 的 基于 基于 核来实现 核 ， 不 同 的神经 网 络可 以 。 的 动 态可重构神 经 网 络 的 可重构 机制 有待进一 步研究 。 结 构 的 动 态 可重 构 的 神 经 网 络 的 实现方法有待进一步 的 研究 神 经 网 络 之 间 的 通 信机 制 同 样 需 要 进 一 步 的 研 究 。 ， 还有 电子科技大学硕 士学位论文 致 谢 这篇 论文 的 完 成得到 了 很 多 老师和 同 学 的 帮 助 表示最诚 挚 的 谢 意 首先 实 事求 是 ， ， 在学术上一丝不苟 宝贵 的 建议 其次 ， 乐 天 等老师 ， 。 还 是在 生活 中 合作 ， 它同学 使我受益 匪 浅 ， 我的关爱 ， ， 给我 留 下 了 深刻 的 印 象 。 在此 ， 、 林水 生 教授 、 、 给我提 出 阎 波 副 教授 、 ， ， 他们 讲述 的 课程 以 及谆谆 教 诲 都 会对 我 产 生 重 要 和 积 极 的 影 响 ， 博士 还要 感谢纽卡斯 尔 大 学 的 ， 还有我们项 目 组 的 林凌鹏 、 ， 我还 耍 深深 的 感谢我 的 父母 。 ！ 郭志 勇 。 、 黄 还有 让 我们 能够和 他 们 展 开 李 世强 以 及 整个教研室 的 其 鼓 励 和 支 持 是 我 幸福 的 源 泉和 最 大 的 学 习 动 力 ， 很多 ！ 他们给予 了 我生命 与 父 母从始 至 终 的 无私 付 出 是 离 不 开 的 了 将来不论 是在 工作 中 ， 谢谢你们 ， 给 我们 树 立 ， 谨 向 李强老师致 以 最诚 挚 的谢意 有 了 他 们 的 关心 和 帮 助 才使我顺利 完成本 论 文 的 内 容 ， ， 工作认真 ， 他们 在 我平 常 科研 以 及 生 活 中 都 给 予 了 我 很大 的 指 导 和 帮 助 进行课题 的研 究 最后 士学业 ， 兢兢业业 李 老师 治 学严谨 。 不 论是在科研还 是 生活 中 都给予 了 我 很大 帮 助 电子科技大学 的很 多 老师 另外 ， 要 感谢教研室 的 李广 军教授 。 谨 向 他们 ， ！ 我 要 衷 心 的 感 谢 我 的 导 师 —李 强 教 授 了 很好 的榜样 在 即 将 毕业之 际 ， 。 ， 。 这 么 多 年 来他们对 我能够顺利 的 完成硕 衷心 的 感谢我 的 父母 ！ 参 考文 献 参考 文献 蒋 宗 礼 人 工 神 经 网 络 导 论 北京 高 等 教育 出 版 社 ： 韩 力 群 人 工 神 经 网 络 教程 北 京 北京 邮 电 大 学 出 版 社 ： ， 动 态可 重构 技术及 其应用 电子产 品 世界 朱明程 ， 年 月 电 子科技大 学硕 士学位论文 “ 出 版社 设计指南 ” ： 器件 、 工 具和 流程 杜 生海 邪 闻 译 北京 人 民 邮 电 ： ， ， 林祥金 张志利 朱智 人工神经 网络 ， 程 ， ， ， 李利歌 阎保定 侯忠 基于 ， 报 ， 的 神 经 网 络控 制 器 设 计 方 法研 究 ， ， ， 硕士学位论文 南 昌 南 昌大 ： ， 杨银涛 汪海波 张 志 等 基于 用 的神经 网 络硬件可重构 实现 河南科技大学学 ， 谢真真 基于 学 实现研究进展与 发展趋势 控 制工 ’ ， ， 的人工神经 网 络实现方法 的研究 元器件 与应 参考文献 ， ， 盛 荣 菊 马 建伟 人工神经 网 络 硬 件 实现 的 研 究进展 电 气 自 动化 ， 的 神经 网 络硬件 实现 硕 士学位 论 文 青 岛 中 国 海洋 大学 闫明 基 ： 薛维琴 李莉华 戴明 基于 ， ， ： ， ， 的 人工神经 网 络系统的 实现方法 电子设计工 程 李 昂 王沁 李 占才 等 基 ， ， 罗 作煌 基于 州 广 东 工业大学 ： ， 的 ， 的 神经 网 络硬件实现方法 北京科技大学学 神 经 网 络 设 计及 其 在 水 质 预 测 中 的 应用 研 究 硕 士 学 位 论 文 广 电子科技大 学硕 士学位论 文 张 智 明 张仁 杰 神 经 网 络激活 函 数及其 导数 的 ， 实现 现代 电 子技术 李 丽 许居 衍 片 上 网 络 技 术 发 展现 状及 趋 势 浅 析 电 子 产 品 世 界 ， ， ， 攻硕期 间 取得 的研究成果 攻硕 期 间 取 得 的 研 究 成 果 刘培龙 黄 乐 天 林凌鹏 基于 ， 与 计算机 已 发表 ， 刘 培 龙 黄 乐 天 林 凌鹏 基 于 ， ， 与 计算机 已 发 表 仿 真 的 神 经元 锋 电 位 序 列 的 生 成 微 电 子 学 ⑶ 的 神 经元 相 关性 分析 的 设 计与 实现 微 电 子 学