运行认证测试用例

在运行测试用例之前,请确保所有测试设备(黄金级和 DUT)均已通过已安装的 GRL 自动化测试框架和自动化测试框架自动化工具连接到 Windows 机器。

使用自动化测试框架自动化工具

所有测试用例均从 tools/harness-automation 目录运行。有两种方法:

  • start.sh - 使用与 Windows 版 Git 捆绑在一起的 Bash
  • start.bat - 通过 Windows 命令行 (cmd) 运行

如需运行所有测试用例,请执行以下操作:

Bash
./start.sh
Windows cmd
./start.bat

如需运行单个测试用例(名称区分大小写),请执行以下操作:

Bash
./start.sh Router_5_1_1 Leader_5_1_1
Windows cmd
./start.bat Router_5_1_1 Leader_5_1_1

使用 GRL 自动化测试框架

配置测试平台后,系统会根据所选 DUT 角色运行批量测试用例。Test Selection 部分列出了 Test Plan 下所选角色的所有可用测试用例:

OT 认证自动化测试框架

根据需要选择测试用例,然后点击绿色的播放按钮来执行。

手动测试操作

在一些测试用例中,自动化测试框架会提示用户手动输入。

网络凭据

对于测试计划第 5、6、7 和 9 部分中的测试用例,必须进行带外配置网络凭据。例如:

设备启动期间的参数配置:

panid 0xface
Done
channel 20
Done
networkname GRL
Done
extpanid 000db80000000000
Done

“DUT as Leader”(配置 Leader)配置,然后启动界面:

dataset activetimestamp 1
Done
dataset commit active
Done

“DUT as End Device”配置:

mode rsn
Done

“DUT as SED”配置,其中 pollperiod(以毫秒为单位)设置为自动化测试框架中的默认 SedPollingRate

mode s
Done
pollperiod 5000
Done

启动 Thread 接口和堆栈:

ifconfig up
Done
thread start
Done

调试器角色设置

对于测试计划第 8 部分中的测试用例,请配置 Commissioner 角色。

在启动 Thread 堆栈后启动调试器:

commissioner start
Done

添加方向盘数据:

commissioner joiner add eui64 THREADJPAKETEST 200

eui64 是出厂分配的 IEEE EUI-64 标识符,通过 eui64 CLI 命令获取。THREADJPAKETEST 是联接凭据,用于为设备生成预共享密钥 (PSKd)。在配置的超时后,系统会从转向数据中移除联接。

在 8.2.x 调试器测试用例中,我们建议将 500 用作超时值。

启动线程接口后,使用 Joiner 凭据默认值 THREADJPAKETEST 启动 Joiner 角色:

joiner start THREADJPAKETEST

在启动 Thread 接口后,使用指定的配置网址启动 Joiner 角色:

joiner start THREADJPAKETEST www.threadgroup.org

其他输入

自动化测试框架可能会提示您执行其他手动操作,并提供要在这些操作中使用的值(例如 IPv6 地址)。如果系统提示,请使用以下 OpenThread CLI 命令:

Prompt CLI 命令
详细地址 extaddr
IPv6 地址 ipaddr
连接方出厂 MAC 地址 eui64
设置调试器配置网址 commissioner provisioningurl www.threadgroup.org
恢复出厂设置 factoryreset
获取所有 TLV dataset mgmtgetcommand active address ipv6-address
获取 Network ChannelMask (0x35)、MeshLocal ULA 前缀 (0x07)、网络名称 (0x03) dataset mgmtgetcommand active address ipv6-address binary 350703
获取网络通道 (0x00)、MeshLocal ULA 前缀 (0x07)、网络名称 (0x03)、扫描时长 (0x38)、能耗列表 (0x39) dataset mgmtgetcommand active address ipv6-address binary 0007033839

如需查看所有 CLI 命令的列表,请参阅 OpenThread CLI 参考文档

认证提示

为混合测试平台启用设备选择

在 Thread Certification 测试期间,系统会使用混合测试床,其中包含来自 ARM、NXP、Silicon Labs 和 OpenThread 的参考堆栈。测试类拓扑在 C:\GRL\Thread1.1\Thread_Harness\TestScripts\TopologyConfig.txt 文件中定义。

如需启用设备选择,以便使用 Thread Group 的 ATL 所用的完全相同的参考平台执行测试用例,请将 C:\GRL\Thread1.1\Config\Configuration.ini 文件中的 EnableDeviceSelection 参数设置为 True

EnableDeviceSelection = True

射频防护

对于测试用例 9.2.9(Leader、路由器)和 9.2.10(路由器、ED1、SED1),需要特别注意确保拥有正确的设备受 RF 屏蔽。假设所有设备都配置了角色,因为每个测试都需要:

  1. 在仅连接 Windows 机器的 NXP Sniffer 的情况下启动自动化测试框架。这有助于避免自动化测试框架自动发现设备。
  2. 逐一插入测试设备,并记下它们对应的串行端口。
  3. 将以下一组设备放入射频防护箱:
    • 对于测试 9.2.9:
      • 主管和专员
      • Router1、路由器 2 和 Sniffer
    • 对于测试 9.2.10:
      • 主管和专员
      • 路由器、ED、SED 和 Sniffer
  4. 在自动化测试框架的配置测试平台页面上,根据测试用例,在测试平台部分中为每种设备配置以下排序顺序:
    射频防护测试用例的最终设备排序顺序
    9.2.91. 路由器 2
    2. 调试器
    3. 路由器 1
    4. 领先者
    9.2.101. SED
    2. ED
    3. 路由器 1
    4. 调试器
    5. 领先者
    1. 清除所有现有设备的测试平台部分。
    2. 将特定测试用例拓扑的适当设备从左侧的支持的硬件部分拖动到右侧的测试平台部分。请务必按照最终排序顺序的反向顺序拖动这些图片。例如,对于测试用例 9.2.9,请先拖动 Leader,再拖动 Router1,依此类推。如果您拖动了错误的设备,请清除测试平台部分中的设备并重新开始。
    3. 测试平台部分中,按最终排序顺序填写每台设备的序列号或 IP 信息。例如,对于测试用例 9.2.9,拖动后,第一个设备是 Router2,第二个设备是“Commissioner”,依此类推。
    4. 选中支持的硬件列表下方的启用自动 DUT 设备选择复选框。
    5. 选择 DUT 的设为 DUT 单选按钮。
    6. 选择 Connect All 以启动设备发现流程。
  5. 执行测试用例(9.2.9 或 9.2.10)。根据自动化测试框架的提示,为每组设备提供防护和防护功能。