《下一代空间计算:AR与VR创新理论与实践》

书籍简介:

本书以基本概念、理论为主,以行业应用案例为辅,介绍空间计算中的交互设计、艺术设计、计算机视觉技术、ar/vr 开发框架、跨台应用开发技术、机器学与数据可视化、人工智能等领域的知识图谱,并展示了空间计算在医疗保健、体育娱乐、教育培训等行业的实际应用案例。本书提供了对空间计算的庞大知识体系的广阔概览。

本书适合那些在技术开发、艺术设计、产品策划方有经验的读者,可作为他们入门空间计算领域的指引之书 ;也适合那些在空间计算领域已有实践经验的从业者,作为梳理知识体系与开拓创新思路之用。

作者简介:

(美)erinpangilinan(艾琳·潘希利南),stevelukas

出版日期:

2020年09月

章节目录:

序言……………………………………………………………………………….xv
前言………………………………………………………………………………xvii
第 1 部分 跨越数字和现实的设计与艺术
第 1 章 人类与计算机的交互……………………………………………………3
常用术语 …………………………………………………..3
概述 ……………………………………………………………………4
历代的人机交互模态 :20 世纪之前 ………………………………..4
历代的人机交互模态 :第二次世界大战期间 …………………………6
历代的人机交互模态 :第二次世界大战之后 ………………………………7
历代的人机交互模态 :个人计算机崛起的时代 …………………………… 10
历代的人机交互模态 :计算机微型化的时代 ………………………………. 11
为何要回顾这些历史 ……………………………………….. 13
常见的 HCI 模式 ……………………………………………………………. 13
新的人机交互模态 ………………………………………………………… 18
空间计算设备的人机交互模态现状 ……………………………………. 19
沉浸式计算系统当前所用的控制器 ………………………………………. 19
身体追踪技术 ……………………………… 21
关于手追踪和手势识别的注记 …………………………….. 22
下一代语音输入、手势输入和硬件输入 ………………. 22
第 2 章 为感官而设计,不要为设备而设计. …………………………………26
展望未来 ………………………………………………………………… 26
感知技术概览 ……………………………………………………………. 27
我们为谁打造这样的未来 ……………………………………………. 29
女性在 AI 中扮演的角色 …………………. 32
感官设计 ……………………………………………… 33
感官设计概述 ……………………………… 33
五项感官设计原则 ……………………………… 35

  1. 直觉体验是多感官的 ………………………………………………… 35
  2. 3D 将会触手可及 …………………………………………….. 36
  3. 设计要自然而符合物理原理………………………………………. 37
  4. 设计无法完全可控 ………………………………………… 37
  5. 释放空间协作的力量 …………………………………………… 38
    Adobe 的 AR 故事…………………………………………. 38
    结语 ……………………………………………. 39
    第 2 部分 扩展现实如何改变数字艺术
    第 3 章 VR 艺术. ……………………………………………………………….43
    一种更自然的 3D 艺术创作方式 …………………………………………… 43
    VR 动画 ………………………………………………. 49
    第 4 章 3D 艺术优化……………………………………..52
    概述 …………………………………………………………. 52
    建议 ………………………………………………………… 53
    理想的解决方案 ………………………………………….. 54
    拓扑结构 ……………………………………………………………. 55
    烘焙 …………………………………………………………… 58
    绘制调用 ……………………………………………………… 63
    使用 VR 工具进行 3D 艺术创作 ………………………………… 63
    使用现成的 3D 模型与重新制作 ……………………………………… 64
    结语 …………………………………………………. 64
    第 3 部分 硬件、SLAM、追踪
    第 5 章 计算机视觉如何让 AR 成为可能……………………………………67
    我们是谁 ………………………………………………… 67
    AR 简史 ………………………………………………………. 68
    为何以及如何选择 AR 平台 ………………………………………… 70
    作为开发者,我应该选择哪个平台,为何要如此选择 …………….. 70
    AR 效果具有不确定性 ………………………………………. 70
    软硬件集成………………………………………………………………. 72
    光学校准 …………………………………………………………. 73
    惯性校准 ……………………………………………………. 74
    追踪技术的未来展望 …………………………………………………. 76
    AR 计算机视觉技术的未来展望 ………………………………. 78
    地图 …………………………………………………………………………………………. 80
    多人 AR 的工作原理 ………………………………………………………. 84
    最具挑战性的部分 ……………………………………………………………. 85
    重定位的工作原理 ……………………………………………………………. 86
    AR 中重定位的研究现状 ………………………………………………… 87
    重定位问题会有消费级的解决方案吗…………………………………….. 88
    难道谷歌公司或苹果公司无法给出消费级的解决方案吗 …………….. 89
    重定位不等于多人 AR ……………………………………. 90
    当前 App 的重定位实际是怎么做的 ……………………. 91
    AR 平台 ………………………………………. 94
    苹果的 ARKit ………………………………………………… 94
    解密一些谜团 ………………………………………………… 95
    ARCore 是不是轻量级的 Tango ………………………….. 96
    应该开始基于 ARCore 构建 AR 应用吗 ……………………….. 98
    Tango、HoloLens、Vuforia 以及其他 AR 平台 ………………….. 98
    其他开发建议 ……………………………………………. 99
    光照 …………………………………………………… 99
    多人 AR — 到底难在何处 …………………………………. 100
    用户通过 AR 进行社交活动 …………………………………………… 101
    AR 应用如何连接现实世界并确定自身位置 …………….. 101
    AR 应用如何理解现实世界的事物并与之连接 ……………. 102
    AR 云 ………………………………………………………… 103
    我所想象的 AR 云 ………………………………………… 104
    AR 云有多重要 ………………………………………………. 104
    AR 云到底是什么 ………………………………………………. 104
    为什么媒体对 ARKit 和 ARCore“不感冒” ………… 105
    构建出色的 AR 应用还缺少什么 …………………………. 105
    今天的移动云能否胜任这项工作 ………………………. 106
    离开 AR 云,ARKit/ARCore 是否毫无用处 …………….. 106
    AR 云的黎明 …………………………………….. 106
    更大的图景 — 隐私数据和 AR 云数据 …………………….. 108
    术语表 ………………………………………………………111
    第 4 部分 创建跨平台的 VR/AR 应用
    第 6 章 VR/AR 跨平台方法论………………………………………………115
    为什么需要跨平台 ………………………………………………. 115
    游戏引擎的作用 ………………………………………………………….. 117
    理解 3D 图形 …………………………………………………… 118
    虚拟相机 ……………………………….. 118
    自由度 ………………………………… 119
    游戏设计的可移植性教程 ………………………………….. 121
    简化控制器的输入 …………………………………………. 123
    开发步骤 1 :设计基本界面 …………………………… 123
    开发步骤 2 :平台集成 ……………………………….. 125
    总结 ………………………………………………….. 128
    第 7 章 VRTK :社区开源框架……………………………………………..130
    什么是 VRTK,为什么大家会使用 VRTK …………………… 130
    VRTK 的历史 ……………………………………………………… 131
    SteamVR Unity Toolkit 的诞生 …………………………………… 131
    VRTK v4 ……………………………………………. 133
    VRTK 的未来 ……………………………………………………… 133
    VRTK 的成功 ……………………………………………… 134
    开始使用 VRTK v4 ………………………………………. 135
    第 8 章 三项 VR/AR 最佳开发实践………………………………………..140
    VR/AR 开发的难度大 …………………………………….. 140
    处理移动 …………………………………. 141
    VR 中的移动机制 ……………………………………………. 142
    AR 中的移动机制 ……………………………………………. 147
    有效地利用音效 ………………………………………………….. 149
    VR 中的音效 ……………………………………………….. 150
    AR 中的音效 ……………………………………………….. 152
    常见的交互范式 ……………………………………………………….. 153
    VR 背包系统 ……………………………………………….. 153
    AR 射线检测 ……………………………………….. 156
    结语 ………………………………………………….. 158
    第 5 部分 增强数据表示 :空间计算中的数据可视化与人工智能
    第 9 章 数据与机器学习可视化在空间计算中的开发与设计…………….161
    概述 ………………………………………….. 161
    理解数据的可视化 ………………………………………………. 162
    空间计算中数据与机器学习的可视化法则 ……………………… 163
    为什么数据与机器学习的可视化能在空间计算中发挥作用 ………. 164
    数据可视化设计随着 XR 的出现而发展 …………………….. 164
    在 XR 中呈现 2D 数据与 3D 数据 ………………………… 166
    空间计算中的 2D 数据可视化 VS 3D 数据可视化 ………… 166
    空间计算中的数据可视化交互 ……………………………… 167
    动画 …………………………………………………………….. 168
    失败的数据可视化设计…………………………………… 169
    良好的数据可视化设计能够优化 3D 空间 …………………………. 169
    “节省时间感觉就像一切变得简单了” ………………………. 170
    数据表示、信息图表与交互 ………………………………………. 170
    什么是数据可视化 …………………………………….. 171
    数据可视化与大数据或机器学习可视化之间的区别 ……………….. 171
    如何创建数据可视化 :数据可视化的构建流程 …………………….. 172
    WebXR :在 Web 端构建数据可视化 …………………………………… 172
    数据可视化在 XR 中遭遇的挑战 …………………………………………… 173
    数据可视化的行业案例…………………………………………………………….. 174
    3D 重建与直接操作真实数据 :XR 中的解剖结构 …………………. 176
    近距离了解 Glass Brain…………………………………………………… 176
    TVA Surg 医学成像 VR 模块 …………………………………… 177
    人人都能做数据可视化 :XR 中的开源数据可视化 …………………. 177
    生物大分子数据的可视化 ………………………………………………… 179
    实践教程 :如何在空间计算中创建数据可视化 …………………… 179
    如何创建数据可视化 :资源 ……………………………………………. 181
    结语 …………………………………………………………………………….. 182
    参考资料 ……………………………………………………………………….. 182
    资源 ……………………………………………………………………….. 183
    数据可视化工具 …………………………………………………………… 184
    机器学习可视化工具 …………………………………………….. 184
    数据新闻的可视化 ……………………………………………… 184
    术语表 …………………………………………………………………. 184
    第 10 章 AI 角色与行为……………………………………………………..186
    概述 ………………………………………………………………………….. 186
    行为 ………………………………………………………………………………….. 189
    现状 :响应式 AI……………………………………………………………. 191
    适应性 ……………………………………………………… 192
    复杂性与普遍性 …………………………………………………………. 193
    可行性 ………………………………………………………………………… 193
    赋予系统更高的智能 :慎思式 AI ………………………………….. 194
    机器学习 …………………………………………………………………….. 200
    强化学习 ……………………………………………………………… 201
    深度强化学习 ………………………………………………………….. 202
    模仿学习 ……………………………………………………………. 203
    自动规划与机器学习相结合 ………………………………………… 204
    应用 …………………………………………………………………………….. 204
    结语 ……………………………………………………………………………… 205
    参考资料 …………………………………………………………………………… 206
    第 6 部分 体验现实的应用案例
    第 11 章 VRAR 医疗保健生态系统……………………………………213
    VR/AR 医疗保健技术应用设计 ……………………………………………….. 214
    标准用户体验并不直观………………………………………… 215
    布置安定的环境 ………………………………………………….. 216
    便利性 …………………………………………………………………… 216
    指导案例 :帕金森综合征项目 Insight ……………………………… 216
    Insight 的做法 ………………………………………………………….. 217
    Insight 的构建 …………………………………………………….. 217
    企业 …………………………………………………………………………… 221
    医疗规划与指导 …………………………………………………. 222
    与医疗教育相关的体验 …………………………………………. 222
    与患者相关的体验 ……………………………………………………………. 224
    主动式医疗保健 ………………………………………………… 226
    前沿学术机构的研究案例 ……………………………………… 226
    第 12 章 体育爱好者的 XR 体验………………….231
    概述 ……………………………………………………… 231
    第 1 部分 :体育 ARVR 的五大关键法则 …………………..234
    没有绝对的实时 ………………………………………………. 235
    第 2 部分 :体育领域产品体验的进一步发展 …………………. 238
    第 3 部分 :打造未来 …………………………………………………. 240
    所有权 ………………………………………………………….. 243
    忠告 ………………………………………………………. 245
    结语 ……………………………………………………………. 246
    第 13 章 VR 企业培训案例. …………………………………………………247
    概述 :企业培训的重要性 ………………………………………….. 247
    VR 培训有用吗 …………………………………………………….. 248
    案例 :洪水屋培训 ………………………………………………… 250
    VR 培训适合什么场景?“RIDE”准则 ……………………. 253
    什么是良好的 VR 培训 ……………………………………….. 254
    3D 全景视频 ………………………………………………………… 255
    3D 全景视频的优势……………………………………….. 256
    3D 全景视频面临的挑战 …………………………. 256
    3D 全景视频的交互………………………………. 256
    案例 :工厂车间培训 ………………………………………………… 260
    叙事的重要性 ……………………………………………………….. 261
    案例 :商店反抢劫应急培训 …………………………………….. 261
    XR 培训的未来 :超越 3D 全景视频 …………………………. 263
    计算机图形………………………………………….. 263
    案例 :职场软技能培训……………………………………………… 263
    展望 :摄影测量技术 ……………………………………. 265
    展望 :光场 ………………………………………………….. 266
    展望 :AR 培训 ………………………………………………….. 266
    展望 :语音识别 ……………………………………………………. 267
    展望 :最理想的培训体验 ………………………………. 267
    参考资料 …………………………………………………… 268
    后记………………………………………………269
    关于作者…………………………………………….271
    关于封面……………………………………………….274

封面图:

发表评论

相关文章