摘 要 ： 深 度 学 习 是 一 类 新 兴 的 多 层 神 经 网 络 学 习 算 法 ， 因 其 缓 解 了 传 统 训 练 算 法 的 局 部 最 小 性 ， 引 起 机 器 学习 领 域 的 广 泛 关 注 。 首 先 论 述 了 深 度 学 习 兴 起 渊 源 ， 分 析 了 算 法 的 优 越 性 ， 并 介 绍 了 主 流 学 习 算 法 及 应 用 现 状 ， 最 后 总 结 了 当 前 存 在 的 问 题 及 发 展 方 向 。

关 键 词 ： 深 度 学 习 ； 分 布 式 表 示 ； 深 信 度 网 络 ； 卷 积 神 经 网 络 ； 深 凸 网 络

引言：

深 度 学 习 的 概 念 源 于 人 工 神 经 网 络 的 研 究 ， 含 多 隐 层 的 多

层 感 知 器 （ ＭＬＰ） 就 是 一 种 深 度 学 习 结 构 。 深 度 学 习 通 过 组 合低 层 特 征 形 成 更 加 抽 象 的 高 层 表 示 （ 属 性 类 别 或 特 征 ） ， 以 发现 数 据 的 分 布 式 特 征 表 示 ［ １］ 。 ＢＰ 算 法 作 为 传 统 训 练 多 层 网 络的 典 型 算 法 ， 实 际 上 对 于 仅 含 几 层 网 络 ， 该 训 练 方 法 就 已 很 不理 想 ［ ２］ 。 深 度 结 构 （ 涉 及 多 个 非 线 性 处 理 单 元 层 ） 非 凸 目 标 代

价 函 数 中 普 遍 存 在 的 局 部 最 小 是 训 练 困 难 的 主 要 来 源 。

Ｈｉｎｔｏｎ 等 人 ［ ３ ～ ５］ 基 于 深 信 度 网 （ ＤＢＮ） 提 出 非 监 督 贪 心 逐

层 训 练 算 法 ， 为 解 决 深 层 结 构 相 关 的 优 化 难 题 带 来 希 望 ， 随 后提 出 多 层 自 动 编 码 器 深 层 结 构 。 此 外 Ｌｅｃｕｎ 等 人 提 出 的 卷 积

神 经 网 络 （ ＣＮＮｓ） 是 第 一 个 真 正 多 层 结 构 学 习 算 法 ［ ６］ ， 它 利 用 空 间 相 对 关 系 减 少 参 数 数 目 以 提 高 ＢＰ 训 练 性 能 。 此 外 深 度学 习 还 出 现 许 多 变 形 结 构 如 去 噪 自 动 编 码 器 ［ ７］ 、 ＤＣＮ［ ８］ 、 ｓｕｍ ｐｒｏｄｕｃｔ［ ９］ 等 。

当 前 多 数 分 类 、 回 归 等 学 习 方 法 为 浅 层 结 构 算 法 ， 其 局 限

性 在 于 有 限 样 本 和 计 算 单 元 情 况 下 对 复 杂 函 数 的 表 示 能 力 有限 ， 针 对 复 杂 分 类 问 题 其 泛 化 能 力 受 到 一 定 制 约 ［ ２］ 。 深 度 学习 可 通 过 学 习 一 种 深 层 非 线 性 网 络 结 构 ， 实 现 复 杂 函 数 逼 近 ，

表 征 输 入 数 据 分 布 式 表 示 ， 并 展 现 了 强 大 的 从 少 数 样 本 集 中 学习 数 据 集 本 质 特 征 的 能 力 ［ １， １０］ 。 本 文 意 在 向 读 者 介 绍 这 一 刚刚 兴 起 的 深 度 学 习 新 技 术 。

0 深 度 学 习 神 经 学 启 示 及 理 论 依 据

1 1 深 度 学 习 神 经 学 启 示

尽 管 人 类 每 时 每 刻 都 要 面 临 着 大 量 的 感 知 数 据 ， 却 总 能 以一 种 灵 巧 方 式 获 取 值 得 注 意 的 重 要 信 息 。 模 仿 人 脑 那 样 高 效准 确 地 表 示 信 息 一 直 是 人 工 智 能 研 究 领 域 的 核 心 挑 战 。 神 经科 学 研 究 人 员 利 用 解 剖 学 知 识 发 现 哺 乳 类 动 物 大 脑 表 示 信 息的 方 式 ： 通 过 感 官 信 号 从 视 网 膜 传 递 到 前 额 大 脑 皮 质 再 到 运 动

神 经 的 时 间 ， 推 断 出 大 脑 皮 质 并 未 直 接 地 对 数 据 进 行 特 征 提 取处 理 ， 而 是 使 接 收 到 的 刺 激 信 号 通 过 一 个 复 杂 的 层 状 网 络 模型 ， 进 而 获 取 观 测 数 据 展 现 的 规 则 ［ １１ ～ １３］ 。 也 就 是 说 ， 人 脑 并 不是 直 接 根 据 外 部 世 界 在 视 网 膜 上 投 影 ， 而 是 根 据 经 聚 集 和 分 解过 程 处 理 后 的 信 息 来 识 别 物 体 。 因 此 视 皮 层 的 功 能 是 对 感 知信 号 进 行 特 征 提 取 和 计 算 ， 而 不 仅 仅 是 简 单 地 重 现 视 网 膜 的 图像 ［ １４］ 。 人 类 感 知 系 统 这 种 明 确 的 层 次 结 构 极 大 地 降 低 了 视 觉系 统 处 理 的 数 据 量 ， 并 保 留 了 物 体 有 用 的 结 构 信 息 。 对 于 要 提取 具 有 潜 在 复 杂 结 构 规 则 的 自 然 图 像 、 视 频 、 语 音 和 音 乐 等 结构 丰 富 数 据 ， 深 度 学 习 能 够 获 取 其 本 质 特 征 。