人工智能黄瓜分类

准备工作

材料准备

  • ArduCam 扩展板 V2
  • OV2640 摄像头模块
  • MicroSD 存储卡(4G 以上)
  • Arduino / Genuino 101 开发板
  • 手机支架

开发板程序烧写

下载和安装库文件

首先我们下载和安装好相应的库文件:

  • CurieNeurons Pro
    • 可以在 CurieNeurons Kit 中找到,或者在创客大爆炸单独购买。
  • ArduCAM 和 UTFT4ArduCAM_SPI
    • 可以在 ArduCam 官网下载或点击  这里  下载。

下载完成后解压即可看到相应的 ArduCAM 和 UTFT4ArduCAM_SPI 库文件夹,在库管理器中分两次,选择和安装这 2 两个库文件夹即可。

 

库文件配置

在库文件所在目录 ArduCam/memorysaver.h 中,根据提示将下面两段代码取消注释:

==========================
#define ARDUCAM_SHIELD_V2
____________________________
#define OV2640_CAM
==========================

完整文件可以直接在这里下载:memorysaver_h.zip

你可以直接下载这个压缩文件,将解压后的 .h 文件替换进去即可。

这里配置的意思是注明我们所使用的扩展板和摄像头模块型号。

 

程序上传

CurieNeurons Pro 所提供的案例可以帮助你快速了解使用方法:

===========================================================
文件 -> 示例 -> CurieNeuronsPro -> CurieNeurons_ArduCam_Demo_3Feat
===========================================================

这个示例需要使用 ArduCam 扩展板 上的 Shutter 按钮,但不便于固定机位操作,所以我们对其进行了简单的改写,直接在串口监视器界面对其发送操作指令和监视结果。

程序源文件下载地址在这里:CurieNeurons_ArduCam_Demo_3Feat_num2.zip

你可以直接打开,然后上传到 Arduino/Genuino 101 中。


点击上传按钮开始上传。

正在上传中……

如果下方的信息框中显示如下信息,就表示你需要按一下板子上的 MASTER_RESET 按钮:

================================
Flashing is taking longer than expected
Try pressing MASTER_RESET button

================================

上传成功后,信息框中会显示:

=========================================
Starting download script…
SUCCESS: Sketch will execute in about 5 seconds.
=========================================

接下来我们就可以,断开 Genuino101 的电源,进行下一步操作了。

 

硬件组装

首先我们组装 Genuino 101 和 ArduCam 扩展板:

再将 MicroSD 卡装入 ArduCam 扩展板上的 MicroSD 卡插槽中:

再将 OV2640 摄像头模块连接到扩展板上:

最后再将手机支架固定上去:

组装好的硬件一览:

然后,我们把组装好的这一套放在三家脚架上

 

黄瓜样本准备

首先,我们要准备一些黄瓜作为学习样本

大致把他们分为 4 类:

  • 好的-黄瓜
  • 坏的-黄瓜(弯的)
  • 好的-荷兰黄瓜
  • 坏的-荷兰黄瓜(蔫的)

 

Curie 学习

首先,用数据线连接 Genuino 101 ,然后打开电脑上的 Arduino IDE。

然后打开“串口监视器”:

此时连接上串口监视器后,设备会进行初始化,出现下面的界面后表示已经准备就绪:

现在,我们把准备好的四组黄瓜黄瓜样本给 Genuino 101 学习:

比如这个“好的-黄瓜”,我们让 Genuino 101 学习为 分类 1(cat=1),需要进行如下操作:

首先将黄瓜放到镜头中的画面中央区域,尽可能保证学习样本被包裹在屏幕中闪烁的红框中。

然后,在串口监视器中输入“ 1 ”:

点击发送后,Genuino 101 会自动进行数据的采样和学习,并返回目前所占用的神经元数量:

完成后,会自动进行识别:

可以看到已经开始正确识别了。

 

以此类推,我们将四种黄瓜依次给 Genuino 101 进行学习:

  • “好的-黄瓜” 学习为 分类 1(cat=1),发送“ 1 ”;
  • “好的-荷兰黄瓜” 学习为 分类 2(cat=2),发送“ 2 ”;
  • “坏的-黄瓜” 学习为 分类 3(cat=3),发送“ 3 ”;
  • “坏的-荷兰黄瓜” 学习为 分类 4(cat=4)发送“ 4 ”。

 

为了降低画面背景对识别结果产生的干扰,我们还可以发送“ 0 ”,让 Genuino 101 将背景图像数据学习为 分类 0(cat=0 / Forget),即消除影响,这个操作将不会占用神经元:

建议的学习流程:
学习一遍所有黄瓜样本 -> 学习一遍背景 -> 学习一遍所有黄瓜样本 ->  学习一遍背景

这样,基本的学习就完成了。

 

效果测试

让我们测试一下识别的效果:

我们把好的黄瓜放进去:

我们可以在串口监视器中看到,已经正确识别了。

 

我们再把好的荷兰黄瓜放进去:

再把坏的黄瓜放进去:

把坏的荷兰黄瓜也放进去:

全部识别正确!

如果识别出错的也很简单,直接在串口监视器中再教它一次就好啦。

 

技术解析

图像数据是如何给 Curie 进行学习的?

我们让 Curie 进行学习的区域是整个画面中间 121*121 像素大小的区域,基于 CurieNeurons Pro(居里神经元开发工具专业版)的高级功能,在这个案例中每次的学习和识别操作,都有 3 组分类器,将这个 121*121 像素原始数据提取为下面的 3 个特征,让 Curie 学习:

  1. 将 121 * 121 的数据分割成 11*11 像素大小区块,再对这些区块进行平均化处理的数据组;
  2. RGB 直方图;
  3. “Composite Profile“

翻译成人话就是:

我们下达的每一个学习指令,都会同时进行以下三种信息的学习,识别时也会同时通过以下三种信息进行判断。

  1. 形状、轮廓信息;
  2. 物体颜色信息;
  3. 综合信息。

识别时,当 3 个条件中的 2 个条件满足时,即确认识别结果。也就是我们在识别结果中所看到的 “ matches=* ” 信息:

CurieNeurons 与 TensorFlow 原案例的对比

TensorFlow 原案例的相关信息

图像识别部分所使用的硬件:

  1. 树莓派 3
  2. 上方摄像头
  3. 下方摄像头
  4. 侧面摄像头
  5. Windows 台式个人电脑

训练的样本数量和时间:

  • 7000 张图片
  • 总共 2~3 天时间完成训练
  • 约合每张图片训练时间需要 24.7 秒~37 秒。

训练的样本质量:

  • 80 * 80 像素
  • 学习的特征仅为形状相关的信息

 

CurieNeurons 案例相关信息

图像识别部分所使用硬件:

  1. Genuino 101
  2. ArduCAM 扩展板 + 模块

训练所需时间:

  • 神经网络的学习和识别只需要几纳秒(ns,1 纳秒=0.000000001 秒);
  • 每组数据的处理、传输和学习时间总和为毫秒级;
  • 7000 张图片以最慢每张耗时 500 毫秒来计算,只需要 58 分钟即可完成全部样本的学习。

训练的样本质量:

  • 121 * 121 像素
  • 所学习的样本信息
    • 形状、轮廓信息;
    • 物体颜色信息;
    • 综合信息。

CurieNeurons 案例为什么可以这么快速、高效?

Curie 中的神经网络之所以可以在几纳秒(ns,1 纳秒=0.000000001 秒)的时间内完成学习和识别,得益于 General Vision 的 NeuroMem® 技术,完全将神经网络固化到了芯片中,其独特的 Daisy Chain ,使每个入神经网络的数据能够同时到达每个神经元中进行处理。

 

 

所有这些 Curie 隐藏超能力,只有依靠 General Vision 发布的  CurieNeurons Pro(居里神经网络工具专业版) 才可以 完全释放

发布者:Cara,转载请注明出处:http://www.makercollider.com/curie/1230

发表评论

登录后才能评论
QR code