Paper-to-Code

Objectivo | Goal

Este projeto tem como objetivo transformar imagens de instruções desenhadas em cartões em código, permitindo criar pequenos programas de forma tangível e disponibilizá-los, através do wifi, a um robô, depois de fotografados | This project aims to translate images in programming cards or paper to code, allowing to program a robot using a "puzzling" paper-to-code process. The code is sent to the robot via wifi.

Descrição | Overview

  • Usar o Blockly traduzindo para linguagem de programação cada bloco associado à liguangem de programação do robô. | Using Blockly and translate each block to programming language (fig. 1).

  • Traduzir imagens de blocos ou outro sinais em cartão/papel para linguagem de programação | Using image of card/paper blocks to real programming (fig. 2).

  • Disponibilizar o programa ao robô via wifi | Upload to a robot via wifi.

fig 1: Utilização do Blockly para suportar programação por blocos e respetiva tradução em código.

fig 2: Utilização de blocos que são traduzidos em código, utilizando ferramentas de Inteligência Artificial.

Ferramentas | Tools

  • Utilização do robô AZORESBOT modificado para receber programa via wifi (robótica)| Using modified AZORESBOT robot to communicate via wifi to receive a program (robotics).

  • Utilização de redes neuronais profundas para interpretar imagens (IA, aprendizagem)| Using deep neural nets to interprete the images of the programming code (AI, ML).

  • Programação em Python e/ou C (programação, IA, aprendizagem) | Programming in Python or in C (Programming, AI, ML).

Milestones

  • Uma colaboração com Christian Giang, da École Polythecnique Fédérale de Lausanne (EPFL) irá dar impulso a este projeto, estendendo os seus objetivos iniciais irá torná-lo um projeto com colaboração internacional. | A collaboration with Christian Giang form the École Polythecnique Fédérale de Lausanne (EPFL) will provide new opportunities to extend the goals of this project with this international participation (Abril, 2020).

Equipa | Team

Matthias Funk

Armando Mendes

José Cascalho