步骤 4:启动智能摄像头加速应用 (PetaLinux)

Xilinx 凭借 Kria™ KV260 视觉 AI 入门套件向用户推出 “加速应用” 的概念。这些是为 AI 及软件开发者预先构建的应用,可帮助他们领先一步开发目标终端应用

您可以快速运行一款我们的加速应用,甚至可以使用不同的人工智能模型或传感器对其进行定制。听起来让人很振奋!我们来试用一下智能相机加速应用

xilinx-smart-camera-tile

智能摄像头加速应用简介:

内置机器学习并能执行面部/行人检测的超高清摄像头,支持从各种视频源(Mipi 摄像头、视频文件 & USB 摄像头)捕获信息,能够通过基于 ROI 编码的视频的 HDMI、DisplayPort 或 RTSP 传输功能输出处理过的视频。

最普及的使用案例:智慧城市应用(面部、行人检测和交通管理)和视频分析功能。

smart-camera-diagram

启动智能摄像头加速应用:

您已经在步骤 3 中创建了启动该应用所需的连接

在运行目标上动态安装智能相机应用软件包

Xilinx 能够采用运行时软件包管理 (rpm) 格式为用户提供软件包馈送,使他们能够在使用 dnf 软件包管理器实用程序命令“dnf install”运行 Linux 启动器映像的基础上,动态加载 Xilinx 加速应用。此外,Xilinx 还可提供 xmutil 实用程序 (xmutil getpkgs),用于搜索软件包馈送并查询针对 Vision AI 入门套件提供的加速应用软件包组。命令如下:

1) 运行以下命令,获取所提供的应用软件包组列表。
  
    sudo xmutil getpkgs

 

2) 运行以下命令,从上表安装智能相机加速应用软件包组。 出现提示时,按“是”,等待大约 2 分钟,安装 204 个软件包。

    sudo dnf install packagegroup-kv260-smartcam.noarch

加载智能相机加速应用固件

在执行 /opt/xilinx/bin 上提供的新安装应用之前,需要使用 xmutil 实用程序命令加载 FPGA 固件(PL 位流 + 设备树覆盖 + PL 驱动程序)。按照以下步骤在 Vision AI 入门套件上加载智能相机加速应用固件。

1) 运行以下命令,列出 Vision AI 入门套件上可用的现有应用固件。

    sudo xmutil listapps

 

2) 运行以下命令,卸载默认的“kv260-dp”应用固件。

    sudo xmutil unloadapp

 

3) 运行以下命令,加载智能相机加速应用固件。

    sudo xmutil loadapp kv260-smartcam

运行智能相机加速应用

将 AR1335 摄像头模块对准用户面部并运行智能相机加速应用。要使用 IAS 摄像头模块运行加速应用,请使用以下命令:

    sudo smartcam --mipi -W 1920 -H 1080 -r 30 --target dp

 

我们已成功启动智能相机加速应用!在 DisplayPort/HDMI 显示器上显示的输出视频中,一个边界框应该会出现在用户的面部周围。

另外,如果您使用的是 USB 网络摄像头,请将推荐的 USB 网络摄像头指向用户的脸部,然后运行以下命令:

    sudo smartcam --usb 0 -W 1920 -H 1080 -r 30 --target dp

 

注: “--usb”的参数 0 取决于 USB 网络摄像头在 Vision AI 入门套件上运行 Linux 时检测到的媒体节点。在本案例中,它是 /dev/media0,所以我们使用“--usb 0。

您也可从 Jupyter Notebook 控制智能相机应用。Linux 启动完成后,请通过在浏览器中输入 SOM 的 IP 地址来启动 Jupyter 笔记本。通过该笔记本的单元来练习 Kria SOM 的智能相机功能。

如需了解有关智能相机加速应用和定制选项的更多详情,请访问 GitHub 页面