ElectronicDesignEngineering2018年2月Feb.2018基于XC7A35T与STM32F103RCT6的智能语音小车系
统设计
陶睿杰,章征宇,陈蕾
(苏州大学电子信息学院,江苏苏州215006)
摘要:该设计以FPGA为小车运行部分主控,嵌入式系统为小车控制部分主控完成了智能驾驶小车的系统设计,该系统可由非特定人声控制,具有人声控制和实体遥感控制两种驾驶方案,其特色在于采用FPGA而非STM32实现对LD3320的控制,以达到语音识别效果,并完成了实物的制作,同时配备倒车雷达和自动避障功能。实物制作结果表明,该系统较为完整稳定,有较好的实际运用价值。
关键词:自动语音识别;智能驾驶小车;FPGA;STM32;LD3320中图分类号:TN912.34
文献标识码:A
文章编号:1674-6236(2018)03-0170-05
Designofsmartvoice⁃controlleddrivingsystembasedonXC7A35Tand
STM32F103RCT6
TAORui⁃jie,ZHANGZheng⁃yu,CHENLei
(SchoolofElectronicandInformationEngineering,SoochowUniversity,Suzhou215006,China)Abstract:ThispaperdesignedasystembasedonFPGAasthemaincontroloftherunningpartforthecarandtheembeddedsystemasthepartofthecontrollingsegmentforthecar.ThesystemcanbefunctionofAutomaticSpeechRecognition.Themodelwiththefunctionofparkingsensorsandautomaticobstacle-avoidhasbeenmade.Theresultofthetestingexperimentshownthatthesystemisreliableandstable,thatmightbeusedwidelyinthepracticalapplication.
Keywords:automaticspeechrecognition;smartdriving;FPGA;STM32;LD3320智能驾驶技术作为当今科技研究的创新点和热点所在,其具有感知周边环境,自动设计行车路线及控制汽车行驶等多种技术,具有安全稳定,方便快捷的特点,在此分支下有多种智能驾驶的方案。本系统设计的方案是以语音控制系统为核心实现声控智能驾驶,而作为该系统的重点,语音识别技术同样为当今研究的热点所在,可以在人机交互环节有较为广泛的运用[1-4],本系统将语音识别技术应用于汽车驾驶之中,并以智能小车为核心设计制作相应模型,以实验的方式来实现其功能,从而提出一个较为完整新颖的智能驾驶方案[5-7]。
本项目将小车运行部分和小车控制部分分开,以收稿日期:2017-02-24
稿件编号:201702135
智能小车为模型展示全系统:以FPGA芯片XC7A35T-1CPG236C作为小车运行部分主控,该部分安装于智能小车上;嵌入式芯片STM32F103RCT6作为控制部分主控,该部分作为手持遥控设备。将语音识别,无线通信等多部分进行串联,以实现功能。用户可以通过选择手动驾驶或语音驾驶以改变驾驶模式,在语音驾驶模式下,通过语音识别对小车发出行进指令,同时在建立模型时完成倒车雷达,自动避障,光控车灯等智能化功能,从而使设计具有系统化,完整化,实用化的功能特点,具有较为广泛的运用前景[8]。
controlledbythevoiceortheremotesensing,anditcanbecontrolledbytheindependentspecificvoices.
ThecharacteristicisthatitusedFPGAinsteadofSTM32tocontroltheLD3320,inordertoachievethe
1智能语音小车系统硬件结构
本系统致力于以实验的方式通过智能小车实现
作者简介:陶睿杰(1996—),男,江苏苏州人。研究方向:智能仪器。
-170-
陶睿杰,等基于XC7A35T与STM32F103RCT6的智能语音小车系统设计
对应功能,以较为明晰地展示整个系统的工作方式,对于语音识别部分,目前常用的方式是利用STM32实现对它的控制,在这方面已有较为详尽的研究;而本系统的重点为对目前研究较少的FPGA控制方式进行实验制作,利用其并行高速的特点实现对语音识别系统的控制,系统各硬件如下。
1.1FPGA芯片及嵌入式芯片本系统小车运行部分主控为Basys3开发板,该
开发板采用FPGA芯片XC7A35T-1CPG236C作为主控,内部晶振最高可达100MHz,可较为便捷的以其I/O并行高速工作的特点可以直接控制不带口产生PWM波控制小车电机,并且利用fifoFPGA(frist的in
fristout而)小的摄像头拍摄图像。
车控制部分的主控采用的是STM32F
103RCT6MHz的I/O,口及内置内置嵌256入式kB芯12位闪存和片,该芯片工作频率最高达72A/D模块,48kB可控制语音识别模块
的SRAM,具有丰富和遥感控制模块。
1.2语音识别芯片LD3320本项目采用的是ICROUTE公司在国内运作的
一款基于SPI通信的语音识别芯片LD3320,该芯片由语音识别处理器与外部硬件电路集成而成,具有语音识别和mp3播放两种功能,内部有数百个寄存器,工作时通过外部MCU配置寄存器实现对应功能,其内部电路逻辑图如图1所示。
图1LD3320内部电路逻辑图
本芯片在使用过程中不需要外接辅助芯片,即可实现语音识别功能。并且,识别指令的内容可由用户任意自主编辑,可同时存放最多50条指令信息。为非特定人声识别,无需提前录音,其内部电路
逻辑图如图1所示[9-11]。
1.3在2.4nRF24L01无线模块nRF24L01GHz到2.5是GHz一款的由ISMNORDIC频段的公无司线生收产发的器工芯作
片,芯片内部包括了频率发生器、晶体振荡器、功率放大器、调制器、增强型“SchockBurst”模式控制器和解调器等模块。可通过SPI通信方式传输数据,工作有效距离较小,具有成本低,功耗低,工作稳定的特点[12-15]。
1.4摄像头OV7670及2.8寸ILI9341液晶屏本系统设计了一种基于FPGA的图像采集、显
示系统,图像传感器部分使用OmniVision公司生产的CMOS数字图像传感器OV7670,显示部分使用2.8寸的TFTLCD,使用FPGA对其进行初始化以及数据转换传输,将OV7670采集到的图像最终在液晶屏上显示出来。采用FPAG控制的系统相比与常用的单片机和STM32控制的系统,具有传输速度快,帧数高,稳定性强等优点[16-17]。
1.5其余硬件部分其余硬件部分包括:遥感模块,红外避障模块,
光敏电阻,L298N电机,高亮LED,继电器,智能四轮小车,LM2596S电压稳压器及12V锂电池。本系统采用两个遥感模块作为手动驾驶状态下的工作方式,由STM32控制;红外模块用于实现自动避障;光敏电阻、高亮LED及继电器用于实现光控车灯;12V可充锂电池和LM2596S降压模块用于智能小车的供电。
2智能语音小车硬件实现方式
本系统整体分为两个部分:小车运行部分、小车控制部分,整体框图如图2所示。本系统在实物制作过程中设计了两套方案:
方案一:用户通过手持设备由按键选择工作模式为手动控制或语音控制;在手动控制模式下,用户通过两个遥感模块产生两个模拟信号,通过STM32内部ADC转化为两路数字量表示控制小车左右和前后的移动;而在声控模式下,用户通过对语音识别模块发送事先设定的指令(如“前进,后退,加速,减
速,左转,右转等”),通过STM32控制语音识别模块识别语音信息并转化为指令码。接下来当有控制信号输入时,手持设备通过nRF24L01发送该信息,小车运行系统由FPGA控制,其控制nRF24L01接收发送的信号,FPGA根据收到的指令码完成相应的指令。
-171-
《电子设计工程》2018年第3期
图2智能系统总体结构图
方案二:由FPGA开发板控制所有部分,XC7A35TLD3320作为主控芯片置于小车上,用FPGA号(内容同方案一)进行语音识别,,由直接对小车发出语音控制信控制FPGA接收并识别发出的信号从而控制小车电机完成相应的动作。
另外,为达到更高的智能化,系统化效果,本设计在智能小车后端安装OV7670摄像头,通过FPGA控制,将拍摄到的画面实时在液晶屏上显示作为对倒车雷达功能的实现;另外该系统还加入了红外避障模块和蜂鸣器达到自动避障的效果,当小车遇到障碍物时自动停车报警;加入了光敏电阻控制高亮LED夜晚或进入隧道时开启车灯)达到光控车灯的效果(外界光较强时关闭车灯,,用12V锂电池通过降压给电机和FPGA供电。
3智能小车控制系统软件部分
该系统软件思路与其硬件部分结构(图1)相对应,本文将分模块介绍各软件部分的工作原理。
3.1语音识别软件部分软件部分的重点内容为LD3320语音控制部分,
该芯片资料多为基于STM32和51单片机的识别程序,在该方面已有较为广泛的研究[5-19]。因此本项目中将着重讨论方案二中的编程方式,以利用FPGA并行高速的特点控制语音识别模块工作。该设计中通过对芯片的SPI时序,寄存器配置方式以及工作模式进行了细致研究后,成功实现了对LD3320的配置和操控,设计中以FPGA开发板Basys3作为主机,-172LD3320-
作为从机,实现了语音识别功能,这一过
程中所要用到的部分主要寄存器及对应功能如表1所示[18-19]。
表1
LD3320主要寄存器及对应功能
寄存器编号
对应功能
05FIFO_EXT数据口37写04H:通知DSP要添加一项识别句
写06H:通知DSP开始识别语音B2查询到闲时可进行下一步操作0x21表示闲,B9当前添加识别句的字符串长度
(拼音字符串)BAValue0或者大于:1-4:有C5读取ASR4:N的最佳结果
没有识别候选个识别候选;及查询方式LD3320[20-工作方式主要有两种,21],考虑到FPGA的并行特点,中断触发方式以
我们选用了查询方式控制语音识别模块,达到了较为稳定
的识别效率和速度,其方法如下:重启1LD3320)系统初始化,等;
包括配置时钟,设定工作模式,方式写入寄存器中,2)添加识别列表,该部分流程图如图将需要识别的内容以拼音的3(b)所示;
Recognition3)打开自动语音识别(AutomaticSpeech4)当芯片检测到声音时,,ASR),设置识别灵敏度及响应时间等参数;发生变化,以查询模式查询寄存器寄存器BABA中的值,中的值就会
当寄
存器BA中的值为1到4时(即有对应个正确的备选答案),代表识别到有效数据,此时读取C5寄存器中的数据,即可得到对应的最可能正确的指令编码,
语音识别系统总流程图如图3(a)所示。
图3LD3320软件流程图
3.2OV7670倒车雷达软件部分摄像头主要分为两种,配备fifo的摄像
陶睿杰,等基于XC7A35T与STM32F103RCT6的智能语音小车系统设计
头与不配备fifo的摄像头,配备fifo的摄像头主要利用fifo来解决低速率单片机传输速度较慢的缺点,从而提高传输的效率和质量,但价格较为昂贵;而不配备fifo的摄像头则对控制器的速度有较高要求,考虑到本系统主控为较为高速的频率为100MHz的FPGA像头,并以及成本问题,输出采用QVGA,RGB565我们采用了不配备格式,以便适应显示fifo的摄用TFTLCD,其通过SCCB协议与控制器进行通信,进行内部寄存器配置以确定工作参数,随后通过8位并行数据传输口进行数据的传输
[22-23]
。
图像采集到液晶屏部分软件代码采取的是间接采集的办法,将摄像头输出的数据直接送到显示屏进行显示,而数据本身并不会通过MCU主控制器,对于控制器而言属于间接采集,正因为如此,省去了储存再发送的过程,整个系统可以达到较高的帧速。软件部分框图如图4所示,该系统采用FPGA中的自顶向下的方法,将整体功能分为多个模块设计,主要包括:分频模块,SCCB读写模块,OV7670初始化模块,TFTLCD初始化模块,数据接收、转换、输出模块。
图4倒车雷达系统软件框图
3.3nRF24L01无线传输部分及遥感控制部分1采用SPI2)系统初始化nRF24L01通信方式,后检查其是否在位;软件流程如下:应的编码,3))在主函数中配置模块为接收模式或发送模式;若在发送模式中,若接收端收到应答,系统间隔一定时间发送对
则说明发送成功有效;若在接收模式下,mcu查询模块寄存器07的值判断是否收到信息,若收到,mcu读取寄存器61的值即
为收到的结果,根据接收到的数据控制智能小车执行对应指令。
所要用到的部分主要寄存器及对应功能如表2所示。
对于遥感控制模块,stm32接收两个遥感手柄模块产生的两个模拟量并通过内部12位AD转化为数字量,当对应信号幅度大于设定的阈值时,及视为完成相应的前进,后退,左转,右转的动作(当两遥感同时有信号输入时优先发送前后遥感数据),从而产生
表2
nRF24L01主要寄存器及对应功能
寄存器编号
对应功能
00配置寄存器地址:bit0:1接收模式,0发送模式
07状态寄存器:bit5:数据发送完成中断;
读RXbit6:有效数据,数据接收数据中断
1-32字节A061
写TX有效数据,1-32字节对应的指令。
4系统测试
全系统实物图如图5所示。
图5智能小车系统实物图
测试过程中给语音识别模块写入的初始列表内容为“开车,左转,右转,倒车,停车”,系统在不同的识别距离内对各指令在相同环境下测试100次,测试结果如表3所示。
表3
语音识别测试结果
指令内容识别距离开车97\\1005cm93\\10020cm50cm100倒车左转98\\10089\\10082\\100cm右转98\\10093\\10088\\10089\\10084\\100停车
96\\10094\\10087\\10085\\10093\\10092\\10089\\10084\\10083\\10079\\100考虑到实际应用时将语音识别模块作为手持设备测试,此时工作距离约为20~50cm左右,经测试在20cm处综合识别正确率为92.2%,50cm处为87.0%虑到测试时的车轮噪音),且实际车内较为安静,,且实际运用中后期可加入
噪音应比测试时小(考去噪算法[24-25]。因此本系统工作较为可靠;实际作品中液晶屏幕传输得到的画面,颜色饱满,无明显失真与抖动,实时显示无延时或卡壳,同时该系统完成了光控车灯和避障报警的功能。各部分连接处用热熔胶固定,各模块采用铜柱固定在小车模块上,保证了系统的机械稳定性。
-173-
《电子设计工程》2018年第3期
5结论
本系统以语音识别系统为基础设计了一较为完善的智能驾驶小车的方案,并通过实验的方式制作完成并测试成功,以此证明了设想的可实施性和有效性。相信随着语音识别技术的不断发展和相应成本的不断减少,各种智能科技对语音识别技术的需求性也会随之增加,类似本系统介绍的智能驾驶技术等许多的智能科技必定会在未来得到更加广泛的研究与应用。
参考文献:[1]US5638487[P].ChigierB.Automatic1997.speechrecognition:US,[2]谭保华,郧阳师范高等专科学校学报,熊健民,刘幺和.语音识别技术概述2004,24(6):266.[J].[3]陈勇,系统设计李晶皎,[J].石鑫,电子技术应用,等.基于FPGA2012的说话人识别,38(11)[4]于俊婷,18.:16-综述[J].刘伍颖,计算机光盘软件与应用,易绵竹,等.国内语音识别研究78.2014(10):76-[5]金鑫,统设计实现田犇,阙大顺[J].电脑与信息技术,.基于LD3320的语音控制系22-25.2011,19(6):[6]陈致远,智能家居控制系统朱叶承,周卓泉,[J].电子技术应用,等.一种基于STM322012,的38[7](Krishna9):138-140.controlYJournalsystemB,NagendramforsmartS.home[J].ZIGBEEInternationalbasedvoice2012,3(of1)Computer:163-168.Technology&Applications,[8]谢檬,微系统,郭霞2016.智能小车控制系统设计,35(13):110-112.[J].传感器与[9]何侃,田亚清,李强,等.基于LD3320的语音识别[10]IC.Route.LD332X34智能垃圾桶设计(6):85-88.[J].国外电子测量技术,2015,http://www.icroute.com/doc/LD3320数据手册[EB/OL].[2010-9-11].[11]姜杰文,姜彦吉,邴晓环,等.基于数据手册LD3320.pdf.的非-174-
特定人识别声控灯系统设计2015,38,442(11):27-30.[J].现代电子技术,[12]王涛计[J]..基于无线电通信技术,nRF24L01的2.4GHz2011,37无线通信系统设[13]刘志平,(3):4-7.据传输[J].赵国良应用科技,.基于nRF24L012008,35(3的近距离无线数[14]胡慧.基于STM32无线数据采集单元的设计):55-58.电子设计工程,2016,24(18):97-100.[J].[15]韦积慧[D].长春:.基于吉林大学,nRF24L01的无线网络设计与实现[16]张玉杰,测量系统设计陈志磊[J]..基于2012.电子技术应用,CMOS图像传感器的亮度48-50,57.2016,42(1):[17]张卫华,端的研究马孝义[J].农机化研究,.基于STM322013的灌区图像采集终[18]苏宝林.(4):191-194.[J].现代电子技术,基于AVR单片机的语音识别系统设计[19]IC.Route.LD332X开2012发手,35册(11[EB/OL].[2011-):136-138.13].http://www.icroute.com/doc/LD3320开发手册10-pdf..[20]陈喜春语音控制.基于[J].电子技术,LD3320语音识别专用芯片实现的[21]付蔚,唐鹏光,李倩.智能家居语音控制系统的2011,38(11):20-21.[22]杨帆,设计[J].张皓,自动化仪表,马新文,等2014.基于,35(FPGA1):46-50.的图像处理[23]Teixidó43系统(2)[J].:119-123.华中科技大学学报:自然科学版,2015,Real-TimeM,FontOV76703DLook-cameraredpeachD,PallejàUptables[J].,ARMdetectionT,etal.AnEmbeddedCortex-systemSensors,M42012processorbasedon,12(10andan):[24]Manikandan14129-14143.timeautomaticJ,VenkataramanimodifiedonespeechB.Designofarealagainstrecognition&MicrosystemsallSVMsystemusing568-578.Microprocessors,2011classifier[J].,35(6):[25]韦晓东,别技术[J].朱杰,上海交通大学学报,胡光锐.汽车噪声中自动语音的识1998(10):10-13.
因篇幅问题不能全部显示,请点此查看更多更全内容