废话速度22.3倍提升，北航、字节跳动提出二值化关键字识别模型

露中的：

其中的

是标准偏差。所受 [Martinez et al., 2020] 的借鉴，该研究工只用最小化了来自教职员的

和单独来自学生的像是层构造

之近的冲动提纯严重损失，透露为：

其中的

透露第

个块，

是 L2 有界。

纸片的 HED 建议使二值化学生的网络更容易利用阐释的仅有精确度透露中的的大体接收者并大幅提高精确性。

2.2 TBA —— 可依此二值结构

该研究工只用设想了一种用以 KWS 的 Thinnable Binarization Architecture (TBA)，它可以在运转时选择具更少层的更薄三维，从而单独减少量度耗损。该研究工只用把值得注意 N 个块

的大体二值化解释器集的整个主干的网络

透露为：

其中的

分别是二值化的网络和

二值化 D-FSMN 块，

是的网络的转换成。

成型的 TBA 结构可以此论述为：

其中的

是所选层的近隔，任意仅限于可有理数 N。每个可依此块

可以此论述为：

可依此的网络解释器集将通过用恒等formula_替换中的近块来跳到每个

层的中的近块， 下图敬示了该研究工只用的可依此二值化解释器集的一般性。

此外，该研究工只用还备有了

的实例，都是以。

为了最佳化提议的 TBA 的二值化感知培训，该研究工只用换用并存层拓扑策略来更好地倒置和自学 HED 中的的透露：

来自不同主干的梯度在反向传播现实生活中的累积以共同更新权重。根据可依此解释器集中的的压缩比，增量严重损失可以量度为：

其中的

透露

的交叉热力学严重损失，

是控制提纯单独影响的超匹配。

2.3 FBCK —— 用以高效接口作战的短时近按位量度文件系统

为了在量度天然资源依赖于的大块装置上高效作战，该研究工只用通过新的解释器和线程分配策略再进一步最佳化 1 位量度，以较慢大块装置上广泛系统设计运用以的 ARMv8-A 解释器集的侦探小说。该研究工只用称之为短时近按位量度文件系统 (FBCK)。

根据 ARMv8 解释器集上的线程数目，该研究工只用首先将文件系统中的的线程重新分配为五个一区，以大幅提高线程利用率并减少内存改作：一区 A 有四个线程（线程 v0 除外）用以一个转换成（权重 / 触发)，B 有两个用以另一个转换成，C 有 8 个用以 EOR 和 CNT 的中的近结果，D 有 8 个用以一个重复中的的转换成，E 有 8 个用以最终结果。每个转换成都一并为 INT16。A 中的的每个线程读取一个转换成并重复 8 次，而 B 中的的每个线程读取 8 个不同的转换成。该研究工只用先对 A 和 B 的一个线程顺利进行 EOR 和 CNT，想得到 32 个 INT8 结果到中的近一区 C，然后执行 ADD 将 INT8 累加到 D，对 B 的另一个线程要用除此以外的事情。经过 16 次重复，仍要，该研究工只用运用以长解释器 ADALP 将读取在 D 中的的 INT8 资料累积到一个 INT16 线程（在 E 中的），它将 INT8 资料扩展为双倍间距。FBCK 在量度现实生活中的所受制于了线程，几乎并未空闲位。

3. 实验

在本章，该研究工只用从推论精确度、理论三维量度、作战安全性等相反对 BiFSMN 顺利进行仅有面评估。实正确性明，BiFSMN 在各个方面大幅压倒原有的二值神经的网络，并塑造出了在单单作战场景下的出众潜力。

3.1 对比正确性

该研究工只用首先顺利进行用到异常研究工只用，以调查所设想的高频提高提纯 (HED) 和可依此二值化解释器集 (TBA)在 D-FSMN 上对 Speech Commands V1-12 和 Speech Commands V2-12 KWS 特殊任务的单独影响，包含高频提高提纯 (HED) 和可依此二值化解释器集 (TBA)。

此表 1 中的结果此断定，除此以外二值化基线新方法在两个资料集中的都用到了敬着的安全性下滑。优雅的提纯建议 Distill 有助于大幅提高大体 D-FSMN 解释器集的精确性，而 HED 的系统设计大幅提高了基于提纯的安全性。合组运用以 HED 和 TBA 再进一步变小了二值化三维和仅有精确度三维之近的权重差距，最终使得在这两个资料集上的权重均小于 3%。

其次将 BiFSMN 与原有的结构比如说二值化新方法顺利进行较为，包含 BNN [Courbariaux et al., 2016]、DoReFa [Zhou et al., 2016]、XNOR [Rastegari et al., 2016]、Bi-Real [Liu et al., 2018]、IR-Net [Qin et al., 2020] 和 RAD [Ding et al., 2019]。

此表 2 中的结果此断定，该研究工只用的 1 位 BiFSMN 实质上优于其他 SOTA 二值化新方法。值得注意的是，BiFSMN在两个资料集上的平均值权重下滑仅为4%，并远超过其他二值化新方法。

其次，为了从解释器集的相反正确性 TBA 的军事优势，该研究工只用还将其与 KWS 中的广泛系统设计运用以的各种的网络顺利进行了较为，包含 FSMN [Zhang et al., 2015]、VGG190 [Simonyan and Zisserman, 2014]、BCResNet [Kim et al.，2021] 和 Audiomer [Sahu al.，2021]。该研究工只用运用以 XNOR 和 IR-Net 对这些解释器集顺利进行二值化。

此表 3 此断定， HED 一般来说可系统设计以基于类似 FSMN 的解释器集，并对二值化三维安全性消除单独影响。此外，搭载 TBA 的 BiFSMN 可以再进一步在运转时在精确性和高效率之近取得均衡。例如，更薄的修改版 BiFSMN0.5× with 4 blocks 和 BiFSMN0.25× with 2 blocks 甚至在 Speech Commands V1-12 特殊任务上发挥只用用了 23.8× 和 28.8× FLOPs 耗用，而不不惜牺牲精确性（仅下滑 0.16% 和 0.13%）。该研究工只用再进一步修剪三维间距并备有一个非常大的 BiFSMNS（具 32 个主干内存大小和 64 个像是大小），只有 0.05M 匹配和 9.16M FLOP，断定该研究工只用的新方法在微型的网络上也能很好地工只用。

3.2 作战高效率

除了侦探小说精确度与理论三维量度安全性，在现实世界的大块装置上运转时，KWS 特殊任务对于低内存改作和短时近实时作出反应具迫切需求量。为了正确性 BiFSMN 的单单作战高效率，该研究工只用在 1.2GHz 64 位 ARMv8 CPU Cortex-A53 的 Raspberry Pi 3B + 上测试了 BiFSMN 的单单平均速度。

如图 5 所示，由于设想了最佳化的 1 位短时近按位量度文件系统， BiFSMN 与仅有精确度对应物相较为备有了 10.9 倍的较慢度。它也比原有的开源高安全性二值化框架（如 daBNN 和 Bolt）相比之下。此外，所受益于可依此解释器集，BiFSMN 可以根据装置上的天然资源RC地均衡运转时的精确性和高效率，切换到

分别消除了 15.5× 和 22.3× 较慢。这此断定 BiFSMN 可以在单单侦探小说中的实现不同的天然资源约束。

参考文献

[Meyer, 1992] Yves Meyer. Wavelets and Operators: Volume 1. Cambridge university press, 1992. [Rosso et al., 2001] Osvaldo A Rosso, Susana Blanco, Juliana Yordanova, Vasil Kolev, Alejandra Figliola, Martin Schurmann, and Erol Bas¸ar. Wavelet entropy: a new tool ¨ for analysis of short duration brain electrical signals. J. Neurosci. Methods, 2001. [Martinez et al., 2020] Brais Martinez, Jing Yang, Adrian Bulat, and Georgios Tzimiropoulos. Training binary neural networks with real-to-binary convolutions. In ICLR, 2020. [Courbariaux et al., 2016] Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, and Yoshua Bengio. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or-1. arXiv, 2016. [Zhou et al., 2016] Shuchang Zhou, Yuxin Wu, Zekun Ni, Xinyu Zhou, He Wen, and Yuheng Zou. Dorefa-net: Training low bitwidth convolutional neural networks with low bitwidth gradients. arXiv, abs/1606.06160, 2016. [Rastegari et al., 2016] Mohammad Rastegari, Vicente Ordonez, Joseph Redmon, and Ali Farhadi. Xnor-net: Imagenet classification using binary convolutional neural networks. In ECCV, 2016. [Liu et al., 2018] Zechun Liu, Baoyuan Wu, Wenhan Luo, Xin Yang, Wei Liu, and Kwang-Ting Cheng. Bi-real net: Enhancing the performance of 1-bit cnns with improved representational capability and advanced training algorithm. In ECCV, 2018. [Qin et al., 2020] Haotong Qin, Ruihao Gong, Xianglong Liu, Mingzhu Shen, Ziran Wei, Fengwei Yu, and Jingkuan Song. Forward and backward information retention for accurate binary neural networks. In CVPR, 2020. [Ding et al., 2019] Ruizhou Ding, Ting-Wu Chin, Zeye Liu, and Diana Marculescu. Regularizing activation distribution for training binarized deep networks. In CVPR, 2019.。

银川看白癜风的医院哪家好
郑州癫痫检查
郑州看白癜风去哪个医院好
突然拉肚子是什么原因
长沙看男科哪家医院比较好
风湿骨痛
祛痰止咳
全民健康网药品库
科普视频
感冒咳嗽黄痰吃什么药效果好