Камера с функцией слежения за объектом

Хочу сделать автономного дрона, который бы сам мог найти дорогу к цели и обратно, при этом обойти все препятствия ни кого не задев. Решил начать с нейросети и вебки. Так и получился этот проект

Суть проекта — нейросеть, точнее фреймворк imageai написанный на питоне под керас, находит на картинке человека и выдает координаты его бокса. Далее по горизонталь находим центр блока и двигаем туда камеру (естественно оставляя для камеры некоторый гистерезис, что бы она не скакала туда сюда). Далее находим второй центр, но уже по вертикале, прибавляем к нему несколько десятков пикселей, что бы когда человек стоит камера захватывало его лицо. Хотел еще приделать распознавания лиц, но вебка дешевая и поэтому функцию автофокусировки она не имеет.

Для проекта понадобилось

STM32f4discovery — отадочная плата
MT415 пару драйверов движков
2 шаговых двигателя
БП на 24 В 2,5 А
ImageAI

Коротко опишу код на питоне

Инициализация imageai. Выбирается тип нейросеть — yolo и размер картинки — flash. При флеше картинка уменьшается до маленького размера( уже не помню какого) и за счет этого ускоряется работа сети.

detector = ObjectDetection() detector.setModelTypeAsYOLOv3() detector.setModelPath("yolo.h5") detector.loadModel(detection_speed="flash") 

Функции для отправки символа на микроконтроллер для совершения одного шаги по оси горизонтале и по вертикали

def step():     i = 1     u = 0     while i:         while u!=1:              u = ser.write( b'v')          u=0          ff=ser.read(1)         print(1111)         if ff==b'B':             i=0 def step_y():     i = 1     u = 0     while i:         while u!=1:             u = ser.write( b'V')          u=0          ff=ser.read(1)         #print(1111)         if ff==b'B':             i=0 

Функция которая получает на входе положения левой и правой границы бокса, находит центр и решает в какую сторону нужно крутить, чтобы объект был в середине камеры. Опять же на мк отправляются управляющие символы.

 def rotate_x(left, right):     center = (right - left)/2 + left     u = 0     if center < 320:         i=1         while i:             while u!=1:                  u = ser.write( b'r')              u=0              ff=ser.read(1)             #print(1111)             if ff==b'B':                 i=0        # print("right")     if center > 320:         i=1         while i:             while u!=1:                  u = ser.write( b'l')              u=0              ff=ser.read(1)             print(1111)             if ff==b'B':                i=0         #print("left")     global step_right     global step_left     if center > 360:                  step_right = step_right + 1         step_left = step_left - 1         if step_left < 0:             step_left = 0         if step_right < 30:             step()         else: step_right = 30     if (center < 250 and center != 0):         step_right = step_right - 1         step_left = step_left + 1         if step_right < 0:             step_right = 0         if step_left < 30:             step()         else: step_left = 30 

По вертикале функция управления почти такая же. Отличия описаны выше.

В мэйне мы уже получаем от нейросети сети два объекта. Первый это картинка с разрисованным положением объекта, а второй это массив обнаруженных объектов с их координатами.

    detected_copy, detections = detector.detectObjectsFromImage(input_image=frame, input_type ="array", output_type = "array")     for eachObject in detections:         if eachObject["name"] == "person":             str1 = eachObject["box_points"]             str2= str(str1)             n = 1             for i in range(5):                 if str2[i] in [","]:                     detect1 = int(str2[1:i])                     #print(detect1)             print (eachObject["box_points"]) 

Теперь код для МК

Функция по получению данных через виртуальный ком порт.

static int8_t CDC_Receive_FS(uint8_t* Buf, uint32_t *Len) {   /* USER CODE BEGIN 6 */    //USBD_CDC_SetRxBuffer(&hUsbDeviceFS, &Buf[0]); 	  strncpy(buffer,(char*)Buf,*Len);  	/*  if ((buffer[0] == 0x76)&&(h == 0)) 	  { 		 // h=1; 		  //i=0; 		  CDC_Transmit_FS("B", 1); 	  }*/       if (buffer[0] == 0x76)//v       {      	 step = 1; 		  CDC_Transmit_FS("B", 1);       }       if (buffer[0] == 0x73)///s       {      	 step = 0; 		  CDC_Transmit_FS("B", 1);       }       if (buffer[0] == 0x6C)//l       {      	 dir = 0; 		  CDC_Transmit_FS("B", 1);       }       if (buffer[0] == 0x72)///r       {      	 dir = 1; 		  CDC_Transmit_FS("B", 1);       }         if (buffer[0] == 0x56)///V       {      	 step1 = 1; 		  CDC_Transmit_FS("B", 1);       }       if (buffer[0] == 0x53)////S       {      	 step1 = 0; 		  CDC_Transmit_FS("B", 1);       }       if (buffer[0] == 0x4c)////L       {      	 dir1 = 0; 		  CDC_Transmit_FS("B", 1);       }       if (buffer[0] == 0x52)///R       {      	 dir1 = 1; 		  CDC_Transmit_FS("B", 1);       } 	/*  picture[i]=buffer[0]; 	  ///CDC_Transmit_FS("Z", 1); 	  i ++; 	  if(i == 9599) 	  { 		  start = 1; 	  }*/  /// CDC_Transmit_FS((unsigned char*)str_rx, strlen(str_rx));   USBD_CDC_ReceivePacket(&hUsbDeviceFS);   //CDC_Transmit_FS((unsigned char*)str_rx, strlen(str_rx));   return (USBD_OK);   /* USER CODE END 6 */ } 

Управление драйверами шаговиков. Если степ == 1 то тогда делаем один импульс и получаем один шаг. Напрfвление задается в переменной dir

		 if(step == 1) 		 { 			 GPIOC->ODR &= ~(1<<0); 		 HAL_Delay(1); 		 GPIOC->ODR |= 1<<0; 		 HAL_Delay(1); 		 i++; 		 if(i == 1) 		 { 			 i = 0; 			 step = 0; 			/* if(dir == 0) 			 { 				 dir = 1; 			 } 			 else 			 { 				 dir = 0; 			 } 			 ////HAL_Delay(1000);*/ 		 } 		 } 		 if(dir == 1) 		 { 			 GPIOC->ODR |= 1<<1; 		 } 		 else 		 { 			 GPIOC->ODR &= ~(1<<1); 		 }  		 if(step1 == 1) 		 { 		 GPIOC->ODR &= ~(1<<2); 		 HAL_Delay(1); 		 GPIOC->ODR |= 1<<2;  		 HAL_Delay(1); 		 i1++; 		 if(i1 == 1) 		 { 			 i1 = 0; 			 step1 = 0; 			/* if(dir1 == 0) 			 { 				 dir1 = 1; 			 } 			 else 			 { 				 dir1 = 0; 			 } 			 ////HAL_Delay(1000);*/ 		 } 		 } 		 if(dir1 == 1) 		 { 			 GPIOC->ODR |= 1<<3; 		 } 		 else 		 { 			 GPIOC->ODR &= ~(1<<3); 		 } 

Ну вот в принципе и все.

Cсылка на исходники

Большое спасибо Артему Лисину за помощь в написание программы на питоне!