1) 采用了人工智能计算机视觉与语音技术+嵌入式Linux技术+物联网技术+机械臂控制技术+AR技术的融合;
2) 同时满足了“人工智能+嵌入式”、“人工智能+物联网” 、“人工智能+机器人”的基础教学需求;
3) 设计了多个创新教学项目:AI计算机视觉仓库货物分拣、整理;AI语音机械臂控制、货物分拣;AR仓库货物分拣;基于AI开放平台的图像识别+抓取;无线物联网模块拓扑图;RFID模块拓扑图等;
4) 百度AI开放平台调用,实现在线图像识别;
5) 视觉摄像头结合机械臂,采用了移动侦测目标方式(非固定摄像头方式);
6) 采用了高性能的人工智能计算单元;
7) 设置了全键盘,可实现直接在实验箱上的Ubuntu系统中进行应用程序开发;
8) 配套设计了系统的“嵌入式人工智能”课程体系;
9) 配套系统的Python、PaddlePaddle(为主)、TensorFlow(为辅)及人工智能机器学习相关理论及应用实验;
10) 配套系统的STM32开发、机械臂开发以及物联网技术开发的相关理论及应用实验;
11) 产品荣获山东省物联网协会科技进步二等奖。
12) 物联网与边缘计算的项目。
功能单元 参数 功能描述 整体功能 系统融合人工智能技术+嵌入式系统技术+工业机械臂应用技术+AR技术+物联网技术;通过丰富的基础实验和项目案例,实现从人工智能基础学习到应用实践的完整过程。 实验箱结构 实验箱尺寸570*430*175(mm),铝合金包边,承重抗压不易变形。 嵌入式AI运算单元 人工智能边缘计算终端 采用多核心处理器,处理器包含四个Cortex-A53核心和两个Cortex-A72核心,ARM Mali-T860MP4 GPU 支持OpenGL ES1.1/2.0/3.0, OpenCL1.2, DirectX11.1,4GB DDR3内存,16GB eMMC,配备10.1寸分辨率为1920*1200的液晶屏。 (1)集成Linux、Python、机器学习、深度学习,满足人工智能视觉、语言、机器控制等算法、硬件、应用的开发学习。 (2)能够直接执行Python程序,实现语法教学、嵌入式控制、上位机编程、AI视觉、语音应用等知识的教学和实训。 (3)本地化部署Python环境与人工智能深度学习框架Paddlelite (4)网络构建,并且学习如何调节超参数(学习率、学习步长) (5)如何训练并保存模型 (6)如何通过保存的模型去预测结果。 人工 智能网关 (1)集成Linux、Python、机器学习、深度学习系统等运行环境,满足人工智能视觉、语言、机器控制等算法、硬件、应用的开发和学习。 (2)实现在线的识别语音识别、图像识别、文字识别、人脸检测等等。 AR联动 控制终端 通过AR增强现实技术实现图像识别,创建与现实中物体相关联的虚拟模型,实现虚拟到现实的联动策略。 嵌入式AI 运算单元主板 四路USB 2.0 HOST接口,一路USB 3.0 HOST接口,一路TF卡接口,一路Type-C接口,一路音频输入,一路HDMI接口,两路 CSI 摄像头接口,一路10/100/1000M以太网接口,一路EDP显示屏接口,两路MIPI DSI显示接口(最高点4K屏),十路空余GPIO接口,两路TTL 3.3V串口,一路 PCIE 4G 接口(USB),一路 RTC备用电池接口,一路 SPI 接口;一路SDIO 2.4G/5G/WIFI+蓝牙4.0,二路功能按键,一路用户自定义LED ,两路3W喇叭输出接口,一路重力传感器。 配置外围硬件模块接口。 嵌入式AI控制单元 工业机械臂控制终端 Cortex-M3内核的STM32F103系列处理器,最高主频72MHz,LQFP64封装,具有64KB的RAM和512KB的FLASH。主要用于工业机械臂、无线传感网、QWER全键盘等的控制。 连接网络,传输数据,用于六自由度工业机械臂的学习开发、完成机器人的学习开发。 物联网网关 完成无线传感网控制学习开发,包括(LoRa 、ZigBee、蓝牙、IPv6、Wi-Fi、NB-IoT)六种网络。 嵌入式AI 控制单元主板 1)一路USB-HUB从AI运算单元引出,拓展出三个USB接口;一路串口用于AI运算单元与AI控制单元通信,一路串口用于工业机械臂控制;RFID模块接口,支持多种不同频段的RFID模块;两组无线传感网络接口,两个无线传感网仿真接口,可自动识别多种传感网络;板载50pin标准Arduino拓展接口,用于外接传感器进行实验;一个AI控制单元仿真器接口; 2)板载蜂鸣器、LED灯等常用资源; 3)可拓展50pin标准Arduino接口拓展板,包括:Arduino电机板,包含直流电机及驱动电路、步进电机及驱动电路、舵机及驱动电路;Arduino键盘板,包括数码管、矩阵键盘、LED灯;Arduino传感器板,包含酒精传感器、光强传感器、温度传感器、气体传感器、光电门、火焰传感器、继电器、蜂鸣器; 配置外围硬件模块接口。 识别物 带有标识的木块模拟仓库货物; 项目图像识别载体 工业级 USB免驱摄像头 4位图像色彩,MJPEG图像下:输出分辨率1920*1080时31帧成像,输出分辨率1280*720时60帧成像,输出分辨率800*600时60帧成像,输出分辨率640*480时120帧成像,120°广角无畸变; 图像识别相关实验及源代码 音频输入MIC MIC模块; 人工智能语音相关实验及源代码 工业机械臂 带反馈的可编程机械手臂,包含 6 个高寿命串行总线舵机,每个舵机可以反馈位置、电压、温度等数据; QWER全键盘 搭配QWER全键盘,方便进行本地开发。可以利用该全键盘直接在嵌入式主控上进行编程操作,无需PC机参与即可完成编程操作。 物联网 无线通信模块 1) 搭配物联网无线传感网节点底板,带一键还原功能,插入配套的的一键还原卡,不用PC和仿真器参与,通过板载按键即可还原。 节点带1.44寸TFT低功耗液晶屏,用于显示传感器数据及通信信息。可扩展标多种传感器模块和通信核心模块,且可以自动识别。标配ZigBee、wifi两种传感网络,并能支持LoRa、BLE、IPv6、NB-IoT网络,方便以后设备升级。 2) 配备4个无线通信核心板,任何一个通信核心模块可以插接到任何一个通信底板上,具体包含:2个基于CC2530方案的ZigBee通信核心板;2个支持AP功能的低功耗Wi-Fi通信核心板; 3) 配备温湿度、直流风扇、光强、继电器,传感器及控制模块。支持接口兼容的光电传感、火焰、可燃气、电位器、蜂鸣器、触摸、人体红外、超声波测距等传感器及控制模块。接口兼容,可以直接连接任意通信底板。 4) 配备一键还原卡,可以自动识别传感器和通信模块(NB-IOT、LoRa 、ZigBee、蓝牙、IPv6、Wi-Fi),节点模块种无论插入哪种通信模块和传感模块都可以自动识别并还原; RFID模块 标配13.56M RFID模块,板载低功耗MCU,ARM Cortex-M0核,独立USB转串口, 1.44寸TFT LCD 独立显示,2按键,1路蜂鸣器,10路IO扩展,1路LED灯,SWD下载口,独立复位。 射频方案:MFRC522。模块对外提供USB、RS232、I2C等3种访问式。支持IOS IEC14443A协议。可扩展915M、NFC、2.4G、指纹模块等; 嵌入式操作系统 搭载64位Ubuntu16.04,Qt 5.5,Python3.5,Paddlelite。