Unindo IOT com Inteligência Artificial

Internet das Coisas com Inteligência Artificial, uma união fantástica, que vou falar aqui hoje. A dupla, até recentemente, era tratada como dois assuntos distintos, porque a AI (Artificial Intelligence) só ficava na nuvem, o que me incomodava muito por saber que existem inúmeras aplicações nas quais não é possível ficar esperando qualquer delay no processamento da informação necessária. Por exemplo, se você tem uma automação industrial e precisa de visão computacional, esta precisa ser muito rápida, o que pode ser possibilitada pela Inteligência Artificial “local”. Por conta disso que gosto demais do chip LoRa e esse que eu vou usar hoje é da Kendryte.

Vamos fazer, então, uma aplicação com o MaixPy (MicroPython) utilizando o sistema de reconhecimento fácil e de imagem Yolo (You Only Look Once), além de um chip da Sipeed – um “cara” bem rápido, de 400 Mega-hertz, dual core e 64 bits. Vamos atualizar o Firmware, mostrar o Maixpy IDE.

Demonstração

Recursos usados

• Sipeed Maix BiT
• Cabo USB tipo C

Sipeed Maix BiT

MaixPy portou o MicroPython para o K210 (processador RISC-V dual core de 64 bits com hardware FPU e acelerador convolucional).

MicroPython - implementação enxuta e eficiente da linguagem Python 3 e é otimizado para rodar em microcontroladores e em ambientes restritos.

K210 - Criado para o uso AIOT (AI + IOT), têm um poderoso desempenho e com um baixo custo.

O MicroPython facilita a programação do hardware do K210.

k210

É um system-on-chip (SoC). Utilizando processador dual-core de 64 bits com uma consumindo pouca energia, para melhor desempenho de energia, estabilidade e confiabilidade.

Este chip fornece principalmente soluções de IA, como, por exemplo:

Machine Vision e machine Hearing

Melhor velocidade de processamento com baixa potência e boa precisão

Acelerador de hardware de rede neural artificial convolucional KPU

Operação de rede neural artificial de convolução de alto desempenho

Suporte a criptografia de firmware (segurança)

Matriz IO programável

Baixa tensão, menor consumo de energia

Super de dupla tensão 3.3V / 1.8V

É um system-on-chip (SoC). Utilizando processador dual-core de 64 bits com uma consumindo pouca energia, para melhor desempenho de energia, estabilidade e confiabilidade.

Este chip fornece principalmente soluções de IA, como, por exemplo:

Machine Vision e machine Hearing

Melhor velocidade de processamento com baixa potência e boa precisão

Acelerador de hardware de rede neural artificial convolucional KPU

Operação de rede neural artificial de convolução de alto desempenho

Suporte a criptografia de firmware (segurança)

Matriz IO programável

Baixa tensão, menor consumo de energia

Super de dupla tensão 3.3V / 1.8V

k210 - Machine Vision

Com recursos de machine vision, o Kendyte K210 pode realizar cálculos de rede neural convolucional em situações de baixa potência.

O chip pode obter sucesso nos seguintes casos:

Detecção geral de alvos baseados em rede neural convolucional

Tarefa de classificação de imagens baseada na rede neural de convolução.

Detecção de rosto e reconhecimento facial.

Obter o tamanho e as coordenadas de alvos detectado

Obter o tipo do alvo detectado em real time

k210 - Machine Hearing

O chip vem com um processador de áudio de matriz de microfone com um alto desempenho para orientação em tempo real.

Machine Hearing com k210:

Orientação da fonte sonora

Imagem do campo sonoro

Beamforming

Reconhecimento de Voz

Voice Wake up  - Bixby, Ok Google, Siri

Download Kflash

Entre no link para baixar o Kflash.

Baixe o zip k-flash.zip

Descompacte e execute o executável kflash_gui.exe.

Atualização do Firmware

Abra o navegador, entre na página:

http://dl.sipeed.com/MAIX/MaixPy/release/maixpy_v0.3.2/

Baixe o arquivo maxpy_v0.3.2_no_lvgl.bin

Abra o Kflash

Selecione o arquivo baixado

Selecione “sipeed maix dock”

Flash
Selecione a porta que está conectado o MaixPy

1500000

Clique em download.

 MaixPy IDE

Para baixar IDE do MaixPy clique aqui.

Clique v-0.2.2/

Clique em cdn_download_links.txt

Depois copie o segundo link

Cole o link no navegador e o instalador da IDE vai ser baixado.

Instale a IDE

Execute.

Conectar - Conecta com o MaixPy pela porta USB.

Start - Roda o script atual, o script que está aberto.

Clique no botão conectar no ícone verde no canto inferior esquerdo.
Selecione a porta que o MaixPy está, e clique em OK.

*Certifique que você não esteja conectado com o MaixPy em nenhuma outra conexão.

Clique no botão start no canto inferior esquerdo para rodar o script.

Trocando Script de Boot

Para trocar o script que abre no boot, basta colocar o script desejado no editor, rodar, clicar em “Tools” na parte superior e depois em “Save open script to board”.

Exemplo

Existem exemplos prontos para serem utilizados.

Abra esse link do github. 

Entre em machine_vision.

Abra o arquivo “demo_find_green_blob”, copie e cole o script no MaixPy IDE.

Clique em start para rodar o script.

Exemplo - Reconhecimento Facial

Para utilizar o script de reconhecimento é necessário baixar um modelo treinado.

Abra o link. 

Clique em “model”

Baixe o “face_model_at_0x3000000.kfpkg”

Gravando o Modelo

Abra o Kflash (lembre de fechar a conexão com a IDE).

Selecione o arquivo baixado

Selecione “sipeed maix dock”

Flash
Selecione a porta que está conectado o MaixPy

1500000

Clique em donwload

Exemplo - Reconhecimento Facial

Abra esse link do github

Entre em machine_vision.

Abra o arquivo “demo_find_face.py”, copie e cole o script no MaixPy IDE.

Conecte ao MaixPy.

Clique em start para rodar o script.

FAÇA O DOWNLOAD DOS ARQUIVOS

PDF