新闻资讯

    近年来,3D 计算机视觉和人工智能两个领域都取得了飞快的发展,但二者之间如何实现有效的结合还有很长的路要走。基于此,英伟达于今日推出了 库,借助于这个库,只需几步即可将 3D 模型迁移至神经网络的应用范畴。此外, 库还可以大大降低为66054053bec416d6cbc32f9001894f3d准备 3D 模型的工作量,代码可由 300 行锐减到仅仅 5 行。

    作为一个旨在加速 3D 深度学习研究的 库, 为用于深度学习系统中的可微 3D 模块提供了高效的实现。 不仅能够加载和预处理流行的 3D 数据集,而且具有操作网格、点云、符号距离函数和体素栅格(voxel grid)的本地功能,因而可以减少编写不必要的样本代码。

    库包含渲染()、高光()、暗影()和视图合成(view )等几种不同的图形模块。此外, 库还支持一系列用于无缝衔接评价( )的损失函数和评价度量,并提供可视化功能来渲染 3D 效果。重要的是,英伟达创建了包含诸多当前最优 3D 深度学习架构的 model zoo,从而作为未来研究的起点。

    此类工具可以使得机器人、自动驾驶、医学成像和虚拟现实等诸多领域的研究者获益。随着人们对 3D 模型的兴趣日益高涨,英伟达的 库可以在该领域产生重大影响。在线存储库(repo)现已拥有很多 3D 数据集图片转换工具,这在一定程度上得益于世界各地所使用的、能够捕获 3D 图像的约 3000 万个深度摄像头。

    地址:

    那么 库的具体展示效果是怎样的呢?英伟达给出了以下几个实际应用示例:

    在 3D 场景中,通过分类功能来识别对象(图中识别出了椅子)。

    3D 组件分割功能可以自动识别 3D 模型的不同组件,这使得「装备」动画角色或自定义模型以生成对象变体更加容易(图左的 3D 模型在图右穿上了衣服、鞋子等)。

    图像到 3D(Image to 3D)功能可以根据训练的神经网络识别出的图像来构建 3D 模型(图右生成了椅子的 3D 模型)。

    目前,英伟达推出的 beta 版 库包含几项处理功能,用于网格、体素、符号距离函数和点云上的 3D 深度学习。加载的几个流行的数据集(如 、 和 SHREC)支持开箱即用。此外,英伟达还实现了几种 3D 迁移和转换操作。

    库支持的 3D 任务如下:

    库的安装与使用

    支持的平台

    已经获得了 Linux 平台的官方支持,并已在 18 上进行构建和测试。 和 Mac 平台上也应考虑展开试验性的支持。

    安装步骤

    英伟达推荐用户在虚拟环境中安装 库(如利用 conda 或 创建的虚拟环境)。 要求 版本在 3.6 以上图片转换工具,并且目前在构建时需要启用 CUDA 的机器(即需要安装 nvcc)。

    首先创建一个虚拟环境。下例展示了如何为创建安装 库所需要的 conda 虚拟环境:

    $ conda --name =3.6$ conda

    接着安装相关依赖(numpy 和 torch)。注意,设置文件并不能自动安装这两种依赖。

    conda numpy

    然后安装 ,这样就可以安装 库了。最后根据 repo 的根目录(即包含 文件的目录),运行:

    $ setup.py

    在安装过程中, 包管理器将 nv-usd 包下载到~/-repo/中,后者包含阅读和编写通用场景描述( Scene ,USD)文件的必要包。

    验证安装

    为了验证是否安装完成 库,用户可以启动 解释器,并执行以下命令:

    >>> as kal>>> print(kal.)

    创建文档

    为深入研究 库,用户可以创建文档。根据 repo 的根目录(即包含 文件的目录),执行以下命令:

    $ cd docs$ -build .

    运行单元测试

    为运行单元测试,用户可根据 repo 的根目录(即包含 文件的目录)执行以下命令:

    $ tests/

    库的主要功能模块

    repo:支持的 3D 资产表征包括三角网格、四边形网格、体素栅格、点云和符号距离函数;

    转换:支持所有流行 3D 表征的转换;

    实现的模型包括:

    图形:库为构建可微渲染器提供了灵活的模块化框架,使得单个组件易于实现替换。此外, 库还提供了以下可微渲染器的实现:

    度量:实现的度量和损失函数如下:

    参考链接:#cid=--us

    重磅!CVer学术交流群已成立

    扫码添加CVer助手,可申请加入CVer-目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪&去雾&去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索等群。一定要备注:研究方向+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡)

    ▲长按加群

网站首页   |    关于我们   |    公司新闻   |    产品方案   |    用户案例   |    售后服务   |    合作伙伴   |    人才招聘   |   

地址:北京市海淀区    电话:010-     邮箱:@126.com

备案号:冀ICP备2024067069号-3 北京科技有限公司版权所有