Mit der PiCam aus einem Echtzeitbild die Pixel auslesen

Keritatus · Jan 7th 2020

Guten Tag,

Ich nehme am "Robocup Junior" Teil und habe mich in der Liga "Rascueline" eingetragen.In Dieser Liga geht es darum, dass ein Roboter eine schwarze Linie folgt und einige Hindernisse dabei überwinden muss und am Ende muss der Roboter Kugeln in einem kleinen Abteil einsammeln. Dabei verwende ich den Raspberry Pi 3. Nun habe ich mir sehr viel vorgenommen und das meinste ist auch schon in der Theorie fertig, außer die erkennung der Schwarzen Linie. Dafür wollte ich die PiCam nutzen, denn mein Roboter soll möglichst prazise der Linie folgen. Normalerweise verwendet man, um sowas zu erreichen, einfach mehrere Farbsensoren welche nebeneinander sind und die Farbwerte der Strecke auslesen, aber ich wollte es noch präziser machen. Doch ich habe es nicht hinbekommen ein Echtzeitbild aus der PiCam zu bekomme wo ich auch die Einzelnen Pixel auslesen kann. Theoretisch konnte man das Problem umgehen, indem man viele Bilder schießt, aber egal wie hoch oder tief die Auflösung ist, die Kamera bracuht für jedes Bild

ca. 2 Sekunden.

Kennt vieleicht einer eine Methode dafür?

ps: eine Zeitnahe Antwort wäre super, denn die Qualifikationen sind schon am 15.2.20 an der TUHH!

Andreas · Jan 7th 2020

Hallo Keritatus,

ich glaube kaum, dass Dir hier jemand eine Methode überreicht. Denn es ist ein Wettbewerb von Dir gegen oder mit anderen. Der Wettbewerb heißt nicht "X gegen Best of RPi-Forum".

Du hast mehrere Probleme:

- Deine verwendete Kamera ist zu langsam.

An meinem Teleskop habe ich eine Kamera angeschlossen, die bis zu 128 Bilder pro Sekunde erzeugen kann.

- Die Auswertung eines Photos, um eine Linie zu erkennen kann sehr aufwändig sein.

Dann brauchst Du Zeit, um das Bild auszuwerten. Bei der Auswertung der Ausrichtung eines Wirkstoff-Sprays habe ich es so gemacht, dass die Kamera exakt auf die Höhe der Austrittsdüse fixiert ist (also seitlich davon in Höhe der Düse). Der Wirkstoff verlässt in einem Sprühnebel die Düse.

Ich habe einen Algorithmus programmiert, der letztlich nur den Winkel zwischen auffallend hohen Kontrasten in einem Umkreis um die Sprühdüse ermittelt hat.

Wenn Du diesen Ansatz auf Dein Vehikel übeträgst:

- Vehikel und dessen Fahrtrichtung befindet sich in einem Winkel zur zu folgenden Linie. Damit ist die neue Fahrtrichtung bekannt.

- Das Vehikel fährt ein Stück in die ermittelte Richtung, bis denn mal wieder ein Photo ausgewertet worden ist und die neue Richtung vorgibt. Wenn Du das Photo nicht nur in einem Abstand x um den Startpunkt auswertest, sondern auch um 2*x, 3*x, 4*x dann ist ganz grob auch bekannt, wo und wann ungefähr Richtungskorrekturen erforderlich sein werden. Dann kann ein neues Photo nicht so rasch total überraschende Erkenntnisse liefern.

- Sobald Du die Linie gefunden hast, bedarf es nur noch der Auswertung benachbarter Pixel, um die Richtumg und den Abstand zu ermitteln, leichte Verschiebung der maximalen Kontraste hat dann auch eine geringe Anpassung der Richtung des Vehikels zur Folge.

Ich denke die Vorgehsweise ist hinreichend angedeutet und es bedarf jetzt nur noch der Umsetzung in eine Programmiersprache Deiner Wahl.

Beste Grüße

Andreas

Relbmessa · Jan 12th 2020

Hallo Keritatus,

habe erst jetzt deinen Post gelesen.

Wenn du Assembler beherrschst oder dich in Assembler einarbeiten möchtest,

kann ich dir mein Kamera Programm zur Verfügung stellen.

Die Pi-Kamera Version V2 kann laut der Informationen die ich gefunden habe,

120 fps mit einer Auflösung von 640x480.

Es gibt im Netz auch Infos mit höheren Werten.

Mit der Auflösung 640x480 habe ich Reale Werte von ca 100 fps erreicht.

Somit sind fürs erste 20mSekunden Reaktionszeit möglich.

Ob sich mit einer Halbierung der Auflösung 320x240 schnellere Zeiten

erreichen lassen, ist zu erwarten.

Zur Zeit verwende ich eine Pi4B 4Giga mit Raspbian Buster.

Gruß

RE

PS

Mehr dazu bei Interesse.

"denn die Qualifikationen sind schon am 15.2.20"

Hoch gestecktes Ziel !!

Keritatus · Jan 12th 2020

Hallo Andreas,

ein Konzept, um die Linie zu Folgen hatte ich schon. Mein Problem

war jedoch, dass ich es nicht hinbekommen habe, die Pixel

auszulesen.

mir freundlichen Grüßen: Keritatus

Keritatus · Jan 12th 2020

Hallo Relbmessa,

Danke, dass du mir das Programm zur verfügung stellen würdest.

Also mit dem Assembler habe ich mal eine kurze Zeit gearbeitet, also

kenne ich das Grundprinzip und einiege Befehle. Aber nochmal

reinarbeiten würde ich mich dann wieder.

mit dankenden Grüßen:

Keritatus

Relbmessa · Jan 12th 2020

Hallo Keritatus,

ich habe etwas zusammengestellen.

Du solltest aber deine Hoffnung nicht zu hoch schrauben, den es ist nur ein

Teilprogramm ohne Interface.

Die Kamera kann über den v4l2 Treiber gesteuert werden.

Da ich deine Kenntnisse in Sache Linux nicht kenne,

spare ich mir im Moment erst mal weiter Erklärungen.

Kurz zum Ablauf:

-den Ordner kameraTestBGR-ABCD im Pfad deiner Wahl speichern

- Shell init_Programm.sh ausführen

- in Konsole wechsel und sudo -i eingeben

- dann cd dev/shm

- danach # ./start_rec130V0r6x4PB.sh & ENTER

Nun sollten die Bilder der Kamera in Ordner A bis D zu sehen sein.

Das Programm läuft in einer Schleife.

Das Programm initialisiert GPIO 4 und GPIO 17 als Augang und setzt

bei hellen Bild zur Kontrolle ein High.

Mit 10 KOhm und einer superhellen LED gegen Masse anschließen.

LED Anode an GPIO.

Viel Spaß

RE

PS

sollte man wissen:

Rpi Camera V 2.1 bcm2835_V4l2 Driver

Keritatus · Jan 13th 2020

Danke für die Unterstützung!

Also mein Kenntnis in Sachen Linux sind nicht so groß, doch

das Programm schien gut zu Funktionieren, doch die Bilder waren

föllig Schwarz. Ich denke das liegt daran, dass ich den Treiber

nicht installiert habe. Im Internet habe ich den Treiber gesucht und wollte ihn

installieren, doch ich fand nicht wirklich etwas, was ich auch verstanden habe.

Vieleicht war der Link dafür da, den du mir Geschickt hast, aber leider habe

ich auch nur wenig verstanden. Kannst du mir das mit dem Treiber

mir nochmal erklären?

Ein Problem gibt es noch, denn ich habe alle GPIO's belegt, also kein platz

für GPIO4 und GPIO17. Gibt es eine möglichkeit diese nicht zu nutzen?

Nochmal danke für deine Hilfe

Gruß: Keritatus

Relbmessa · Jan 13th 2020

Hallo Keritatus,

ich verstehe deine Frage zum Treiber nicht?

Raspbian Buster enthält die nötigen Treiber.

Wenn die Bilder schwarz sind, hast du vermutlich das sudo vergessen?

Das Kameraprogramm benötigt für die Ausführung root-Rechte (#)

Wenn du die GPIO Steuerung nicht nutzen möchtest, kannst du sie im Programm

auskommentieren.

Gruß

RE

Keritatus · Jan 15th 2020

Hallo Relbmessa,

Ich hätte gedacht, dass man sich noch den Treiber bcm2835-v4l2 Installieren müsste,

bzw. ich habe Rasbian Buster nicht Instaliert sondern Rasbian Noobs oder so.

Ich habe auch das Programm mit den entsprechenden Rechten gestartet, aber

das Bild blieb immernoch schwarz.

Sonst kann ich auch einfach Rasbian Buster installieren.

Relbmessa · Jan 15th 2020

Hallo,

"Sonst kann ich auch einfach Rasbian Buster installieren."

würde ich sagen.

Ich nutze einen Pi4B, das Programm läuft aber auch auf Pi2 und Pi3.

Nur bei der Nutzung GPIO -Funktion muß Zeile

addressv:

@ .word 0x3F200000 @ Pi 2 B @ = base + gpio controller

.word 0xFE200000 @ Pi 4 B @ = base + gpio controller

angepasst werden!

Teste die Kamera mal mit dem Progranmm " raspistill"

raspistill -o bild.jpg

Das Programm nutzt aber die GPU.

Gruß

RE

Keritatus · Jan 22nd 2020

Hallo Relbmessa,

es tut mir leid, dass ich in den letzten Tagen nicht geantwortet habe.

Ich hatte viel um die Ohren, doch ich werde Morgen endlich

Raspbian Buster installieren und dann melde ich mich

noch mal.

Gruß

Keritatus

Relbmessa · Jan 22nd 2020

Hallo Keritatus,

kein Problem, es gibt hier keine Verpflichtung und Privat geht vor K.....

Habe Zeit gefunden und mein Kamera-Programm überarbeitet.

Wir können dann gerne hier Gedanken austauschen.

Gruß

RE

Keritatus · Jan 25th 2020

Hallo Relbmessa,

nun habe ich das Programm nochmal mit Raspbian Buster getestet,

doch die Bilder waren immer noch schwarz.

Also das gleiche Problem wie davor auch. Fällt die eine Lösund ein?

Gruß

Keritatus

Keritatus · Jan 25th 2020

Hallo Relbmessa,

Nun konnte ich doch, dass Programm zum laufen

bringen. Ich hätte in der Eile, bei dem Test nicht

gemerkt, dass ich das Kabel für die Kamera

nicht richtig herum hineingesteckt habe.

Danke, dass du mir, bei meinem Problem

geholfen hast.

Dankbare Grüße von

Keritatus

Relbmessa · Jan 25th 2020

Hallo Keritatus,

nun viel Spaß und Erfolg bei deinem Projekt.

Es wäre schön wenn du uns an deinem Erfolg teilhaben lässt.

Es ist nicht verpflichtend, wäre aber Nett.

Gruß

RE

PS

Ene Bemerkung sei noch erlaubt.

Ich würde es nicht Echtzeit sondern Zeitnah nennen.

Meine Ergebnisse mit der Raspicamera V2.1

Auflösung BGR 24 Bit (pixelformat=10)

960x720 max 60 fps

640x480 dt. 110 fps

640x240 dt. 150 fps

320x240 dt. 190 fps

Für die Sichtkontrolle über den Bildschirm benutze ich ein

selbstgeschriebenes Framebuffer-Programm (fb)

Keritatus · Jan 26th 2020

Hallo Relbmessa,

Ich habe noch eine Frage, und zwar weiß ich nicht,

wie ich das Ansteuern der GPIO's 4 und 17 aus

dem Programm "löschen" kann bzw. wie ich das

Programm so verändern kann, dass diese GPIO's

nicht mehr angesteuert werden. Kannst du mir

vielleicht da noch mal helfen?

Gruß

Keritatus

Keritatus · Jan 26th 2020

Quote from Relbmessa

Es wäre schön wenn du uns an deinem Erfolg teilhaben lässt.

Hallo Relbmessa,

Ich habe nicht genau verstanden wie du das meinst.

Meintest du damit, dass ich euch den verlauf des Wettbewerbs

erzähle und welchen platz ich zb. erreicht habe?

Auch wenn ich noch nicht weiß wie du das meinst, mache

ich das gerne.

Gruß

Keritatus

Relbmessa · Jan 26th 2020

Hallo Keritatus,

ich meinte mehr deine Programmierung.

Hier der Sourcecode:

Code

@--PiCamera  ca.1 Minute     (110 fps) ncGPIO     ( Das Programm benötigt root! )
@ Raspnian Driver v4l2  Auflösung 640x480 
@  v4l2-ctl --set-fmt-video=width=640,height=480,pixelformat=10  -p 110
@ # RGB24 pixelformat=2  
@  Einstellung Anzahl Bilder      siehe Zeile 154 hier 120*60 (ca. 66 Secunden)
@  Einstellung  Pfad (Anzahl-Ordner) Zeile 230 hier 67 (A-B)
@------------------------------------------------------------------------------
@ r  @ r wie rename
@ gcc -o name name.s
@------------------------------------------------------------------------------
@ as -o name.o name.s -> main ersetzen mit _start sonst Fehlermeldung
@ ld -o name name.o
@------------------------------------------------------------------------------
      .global main    @ gcc -o
@       .global _start  @ as -o -> ld -o
    .section .data
@------------------------------------------------------------------------------   
   res_dword:
    .word 0x0
@     .align 2       
   buffer_ende_r0:
    .word 0x0
@     .align 2 
   buffer_start_r0:
    .word 0x0
@     .align 2     
@------------------------------------------------------------------------------    
   fd_in:
    .int 0x0
   fd_out:
    .int 0x0
    
      file_header:
    .int 0x360A3650
    .int 0x34203034
    .int 0x320A3038
    .int 0x000A3535                    @  "P6.640 480.255."       
   reserve:
    .int 0x0
@----------parameter- sleep---------------------------------------------------
time_value:
    .int 0
    .int 650000      @6000000 @500000 @ 10mS /100mS ??? 100000000
@----Zählen --execve----------------------------------------------------------
execve_value:
    .int 0
@-----------------------------------------------------------------------------
  file_video0:
    .asciz  "/dev/video0"
@  .align 2
@---read----------------------------------------------------------------------
  file_reada:
    .asciz  "/dev/shm/T/B640x480rgb0"   @ mal sehen
@-----------------------------------------------------------------------------
  file_write_u:
    .asciz  "/dev/shm/U/B640x480rgb0"
@-----------------------------------------------------------------------------
@----write--------------------------  
  file_write:
    .asciz  "/dev/shm/A/B640x480rgb0"
@  .align 2
  file_write1:
    .asciz  "/dev/shm/piB640x480rgb1"
@  .align 2
  file_start:
    .asciz  "/home/pi/NeuRec/startlesena.sh"
@  .align 2
@------------------------------------------------------------------------------
  buffer_a:
  .space 1024*901
@@-------------------------------parameter mmap--------------------------------
    .section .data
         
  fd_ing:
    .int 0x0
  fd_outg:
    .int 0x0
  address_map:
    .int 0x0
@-----------------------------
    mem_device:
            .asciz  "/dev/mem"
@    .align  2
       
@-----------------------------------------------------------------------------    
@-Ende section . data---------------------------------------------------------
@-----------------------------------------------------------------------------

main:            @ gcc      
@ _start:              @ as -> ld
@---------allocated Memory----------------------------------------------------

      mov r7 , #45    @ sys brk
      mov r0 , #0    @ (ebx)
      swi 0
      
      ldr r6 , =1024*901*4    @ anzahl byte 
      add r0 , r6        @ Wert r0 (ebx)
      mov r7 , #45     @ sys brk  -> später test ohne  
      swi 0 
@--------address value in buffer sichern--------------------------------------
      ldr r6 , =buffer_ende_r0
      str r0 , [r6]        @ speichern Rückgabe-Wert r0 in buffer_ende_r0
      ldr r6 , =1024*901*4    @ anzahl byte
      sub r0 , r6
      ldr r6 , =buffer_start_r0
      str r0 , [r6]        @ speichern Wert r0 in buffer_start_r0  
@-----------------------------------------------------------------------------
@--header setzen----------------------------------------------------------------
@-buffer_start_r0---header--640x480---------------------------------------------------
    
    ldr r2 , =file_header    @ Zeiger Quelle
    ldr r1 , =15        @ Anzahl Byte (zählen ecx) -> +15 Header
@-----------------------kopieren----------------------------------------------
    ldr r6 , =buffer_start_r0    @ 
    ldr r3 , [r6]        @ Zeiger Ziel 
@                               @ ohne offset    
schleife_h:
    ldrb r4 , [r2]        @ Quelle 
    strb r4 , [r3]        @ Ziel
    add r2 , #1
    add r3 , #1
    sub r1 , #1
    cmp r1 , #0
    bne schleife_h 
@------------------------------------------------------------------------------
@--header setzen---------------------------------------------------------------
@-buffer_start_r0---header--640x480  plus offset 1024*901 ---------------------
    ldr r2 , =file_header    @ Zeiger Quelle
    ldr r1 , =15        @ Anzahl Byte (zählen ecx) -> +15 Header
@-----------------------kopieren----------------------------------------------
    ldr r6 , =buffer_start_r0    @ 
    ldr r3 , [r6]        @ Zeiger Ziel 
    ldr r0 , =1024*901        @ offset
    add r3 , r0            
schleife_ha:
    ldrb r4 , [r2]        @ Quelle 
    strb r4 , [r3]        @ Ziel            
    add r2 , #1
    add r3 , #1
    sub r1 , #1
    cmp r1 , #0
    bne schleife_ha 
@------------------------------------------------------------------------------
@--open the file for reading--------------------------------------------------
      ldr r0 , =file_video0      @ -> zeile 228
      mov r1 , #2         @ read
      ldr r2 , =0x0444        @ all
      mov r7 , #5        @ syscall 5 open file
      swi 0 
      ldr r1 , =fd_in
      str r0 , [r1]        @ Rückgabe-Wert
@-----------------------------------------------------------------------------
    mov r12 , #1                                             @ r12 start (frame nr.)
    ldr r3 , =120*60                                     @  90*60*12        @ anzahl frame x ANZAHL BILDER
@-----------------------------------------------------------------------------
@---buffer quelle ziel r6 -> r1 grundwert ------------------------------------
    ldr r4 , =buffer_start_r0    @ ziel quelle
    mov r5 , #0            @ offset ziel quelle
    mov r6 , #65            @  A oder B pfad  
    mov r8 , #0
    mov r9 , #0
@-----------------------------------------------------------------------------    
schleife_blink:            @ hier werden reg gesetzt
schleifea:
@-- read from file------------------------------------------------------------
     ldr r1 , =fd_in        @ hier file_video0 -> zeile 142
     ldr r0 , [r1]        @ deskriptor fd_in
@      ldr r4 , =buffer_start_r0
      ldr r1 , [r4]        @ Zeiger -> Anfang der Daten
      add r1 , #15        @ offset platz für header
      add r1 ,    r5        @ offset 1024*901    
      mov r2 , #1024*900    
@    add r2 , #15        @ Anzahl Byte hier (900,0kiB 921615 Byte)
      mov r7 , #3        @ syscall 3 -> read file
      swi 0
@-----------------------------------------------------------------------------
    ldr r9 , =1024*900    @ anzahl rgb-punkte 640*480*3
    ldr r2 , [r4]        @ basis address [buffer_start_r0)
    ldr r0 , =1024*901*2    @ zweite offset ->ziel für memo
    add r2 , r0     
    mov r7 , #4        @ r7 value 4
@-------r5 offset -------- null -> anfang -------------------
    cmp r5 , #0        @ quelle kein offset
    beq q_kein_offset

@------ erstmal einfacher test -----------------------------
q_kein_offset:
    ldr r0 , [r1]        @ quelle
    str r0 , [r2]        @ ziel
    add r1  , r7        @ +4
    add r2  , r7        @ +4
    sub r9  , r7        @ -4
    cmp r9  , r7
    bne q_kein_offset 


@--crate file ----------------------------------------------------------------
    ldr r0 , =file_write    @ file name
   strb r6 , [r0,#9]        @ pfad A B usw
    ldr r1 , = 0x4444                @   0x0777
    mov r7 , #8            @ syscall create
    swi 0
    ldr r1 , =fd_out
    str r0 , [r1]        @ r0 sichern (deskriptor)
@--write file-----------------------------------------------------------------    
    mov r2 , #1024*900        
    add r2 , #15          @ Anzahl Byte hier (900,0kiB 921615 Byte)
    ldr r1 , [r4]
    add r1 , r5            @ offset r5 -> 1024*901    
    str r12 ,[r1,#15]        @ r9 zähle frame nr.
    add r12 , #1              
    mov r7 , #4            @ syscall 4 write file
    swi 0
@--close the file ------------------------------------------------------------
    ldr r1 , =fd_out
    ldr r0 , [r1]
     mov r7 , #6        @ syscall 6 close file
     swi 0
@-----------------------------------------------------------------------------
@-------test der pfad info----------------------------------------------------
    add r6 , #1
    cmp r5 , #0
    beq weiter_r5
    mov r5 , #0        @ reset r5
    b weiter
weiter_r5:
    ldr r5 , =1024*901
weiter:
@@    cmp r6 , #85        @ #85 (A-T)        @ ende
    cmp r6 , #67     @ #67 (AB)                          @ #69 (ABCD) 
    blt weiter_a         @ ende Pfad 
    mov r6 , #65    
@-----------------------------------------------------------------------------
weiter_a:
@----------------zaehlen execve-----------------------------------------------
    ldr r0 , =execve_value
    ldr r1 , [r0] 
    add r1 , #1
    str r1 , [r0]
    cmp r1 , #10    
    bne execve_no
    mov r1 , #0
    str r1 , [r0]
@-----------------------------------------------------------------------------
@---Rename syscall 38---------------------------------------------------------
    mov r7 , #38
    ldr r0 , =file_reada       @ quelle 
    ldr r1 , =file_write_u       @ ziel
    swi 0
execve_no:    
@---Test mit Sleep------------------------------------------------------------
    mov r7 , #162
    ldr r0 , =time_value
    mov r1 , #0
    swi 0
@----------------------------
    sub r3 , #1
    cmp r3 , #0
    bne schleife_blink
@ -----------close the file-----------------------------------------------
@--close the file-------------------------------------------------------------
     mov r7 , #6
    ldr r1 , =fd_in
    ldr r0 , [r1]        @ deskriptor fd_in
     swi 0
  @--close the file-------------------------------------------------------------
     mov r7 , #6
    ldr r1 , =fd_ing
    ldr r0 , [r1]        @ deskriptor fd_ing
     swi 0
@---lesen Ende----------------------------------------------------------------
test:
@--syscall exit 1 ------------------------------------------------------------
    mov r7 , #1
    mov r0 , #0
    swi 0            @ Ende

Display More

Gruß

RE

Keritatus · Feb 18th 2020

Hallo Relbmessa,

Danke nochmal für den Sourcecode. Und nochmal Schuldigung, dass ich nicht mehr geantwortet habe.

Leider ist mir mein Raspberry Pi zwei Tage vor dem Wettbewerb, bei einem Test mit einer platine Kaputt gegange, also

habe ich es leider nicht bis zum Wettbewerb geschaftt den Roboter zu Programmieren. Alles war

ein bischen sehr knapp. Wie auch immer, dadurch kann ich jetzt auch nicht mein Programm posten, denn es

existiert ja noch nicht, aber auf jedem fall danke für deine Unterstützung. In naher zukunft werde ich mich nochmal mit dem Programm für die Kamera auseinandersetzen und es dann vielleicht noch posten. Wie auch immer.

mit dankbaren Grüßen:

Keritatus

Relbmessa · Feb 19th 2020

Mein Beileid.

Ich schaue öfter hier vorbei.

Gruß

RE

Mit der PiCam aus einem Echtzeitbild die Pixel auslesen

Tags

Users Viewing This Thread