Kameraelektronik

BitSim utvecklar elektronik åt produktföretag, ofta med fokus på Imaging och Edge Computing. Vi ser ett ständigt inflöde av nya sensorer, gränssnitt och nyckelkomponenter. Med dessa korta rader vill vi berätta vad vi tycker är intressanta på marknaden, men även ta upp erfarenheter, svårigheter och saker att tänka på.  Och vi diskuterar förstås gärna dina särskilda behov och lösningar.

 

Sensorer
Det kan vara riktigt svårt att få igång sensorer med all konfiguration, som ibland till och med är odokumenterade. Som exempel har redan gamla sensorn Omnivision 5645, hundratals register som till stor del måste vara konfigurerat på helt rätt för att få ut en bild.

  • BitSim har utvecklat en kamera med Sonys IMX290-sensor som har väldigt goda ljusegenskaper, dvs klarar av svåra ljusförhållande. Den har 10/12-bitars ADC, MIPI-gränssnitt, upplösningen upp till 1080p, upp till 120 fps. På högkant blir det 1109×1945 pixlar. Den har även ett par HDR-varianter för ytterligare ljusförbättrande egenskaper.
  • FLIR:s IR-sensor, Lepton, är en förhållandevis billig variant som kan användas separat eller ihop med vanliga CMOS-sensorer för att extrahera ytterligare information i bilden genom s.k. image fusion.
  • CCS Vi på BitSim hoppas att sensor- eller modulleverantörerna anammar MIPI:s egna initiativ, CCS – Camera Command Set: https://mipi.org/specifications/camera-command-set. Idén är att snabbt få igång en sensor med dess basfunktionalitet utan specifika SW-drivrutiner. Typiska kommandouppsättningar kan vara att ändra upplösning, frame rate och exponeringstid, men även mer avancerade funktioner såsom autofokus och single eller multiple HDR.

Adapterkort
Ständigt en komplicerande faktor i utvecklingsprojektet med extremt små kontakter som lätt går sönder, sitter fast för dåligt, med mera, särskilt under utvecklings- och prototypfasen.

  • Vi har tagit fram ett tiotal olika sensordapterkort som passar utvecklingskort från Xilinx, NXP och Technexion m fl, för snabb prototyping. Det är en hel del att tänka på innan dessa små adapterkort fungerar bra, då det oftast är olika typer av kablar, kontakter och storlekar som behövs.

Gränssnitt

  • 4K Video BitSim har implementerat 4K@60 Video, dvs HDMI ut från en FPGA. I det projektet delade vi upp kameran i två fysiskt separerade delar, Front end (kamerasensor) och Back end (processingsenhet) med Aurora emellan, dvs Xilinx höghastighets-serieprotokoll.
  • MIPI CSI-2 Vi har vidareutvecklat vårt egna kameragränssnitts-IP, som nu stödjer FPGA:er med inbyggda D-PHY IO:n (varken externa motståndsnät eller Meticom-kretsar behövs), t ex Xilinx UltraScale+/MPSoC. Nu kan ni få 2.5Gb/s per lane!

Processing (plattformar & algoritmer)
Ett alternativ för att processa bildkedjan är en kombinerad CPU och FPGA-krets, t.ex. Zynq/MPSoC med processning i C/C++ och VHDL.

  • Vi har arbetat med Python och C/C++ och det öppna bildbiblioteket Open CV för att behandla innehållet i bilden.  Med Xilinx Vision (HLS Video bibliotek) finns även möjlighet att använda hårdvaruaccelererade OpenCV-anrop.
  • Ett annat alternativ är att processa i en SoC-krets, dvs med en ARM-CPU, programvara och inbyggda fasta acceleratorer. NXP (fd Freescale) har haft stor framgång med i.MX6-familjen. Sedan ett par år tillbaks finns nästa generation, i.MX8. Vi  har jobbat med den i över ett år nu, och nu börjar NXP:s bibliotek, dokumentation och forum, bli riktigt användbara.
  • Vi har en komplett videokedja, dvs från glas-till-glas (sensor till skärm), via MIPI CSI-2, V4L och Gstreamer med H.264-komprimering, via Ethernet till skärmen.

Är du intresserad eller har frågor? Hör av dig!

 

Mipi Phy

Första stegen är nu tagna på nya MIPI A-PHY

Vi har tagit våra första steg med den nya MIPI A-PHY-specifikationen, för bilindustrin. Ethernet blir vanligare i fordon men det är inte lämpligt för varje applikation eftersom det kan vara oförutsägbarhet i överföringstid eller fördröjning när dataströmmen från en sensor till processorn. A-PHY stöder äkta strömmande höghastighetsdata både från sensorerna till processorn och till bildskärmarna.

MIPI-alliansen startar samarbete med experter från bilindustrin

BitSim är sedan tidigare med i ”MIPI Alliance” (www.mipi.org),som framgångsrikt har tagit fram ett flertal industristandarder för olika väl använda och etablerade gränssnitt för kamerasensorer, displayer, lagringsenheter, kraft, audio m m.

Sedan en tid tillbaka pågår ett samarbete från företag verksamma inom bilindustrin, med både biltillverkare och underleverantörer.

För korta avstånd i kameratillämpningar används MIPI CSI-2 redan inom industrin. BitSim har ett eget MIPI CSI-2 IP, Bit-MIPI CSI-2 som används av kunder inom lika industrisegment.
Nu vill detta fordonssamarbete bl a hitta lösningar för längre avstånd, upp till 15 m, för kamera- och radarsensorer.
Då det kommer att behövas upp till åtta kameror i moderna bilar inom en snar framtid, duger inte de 40 cm som MIPI CSI-2 kan hantera idag.

BitSims IP, Bit-MIPI CSI-2 i Flirs nya värmekameror i Exx-serien

Flir Systems använder BitSims FPGA-IP, Bit-MIPI CSI-2, i nyligen lanserade värmekameror. Läs mer

Mobilindustrin har standardiserat gränssnittet mellan bildsensorn och den mottagande elektroniken för vidare bildbehandling via ett seriellt höghastighetsgränssnitt MIPI CSI-2 (Camera Serial Interface).

Marknaden för bildsensorer ökar med över 10% varje år. Framför allt drivs marknaden av konsumentprodukter och fordonstillämpningar. Med MIPI CSI-2 kan leverantörerna nå marknaden snabbare med enklare byte av bildsensor, för en snabbare, mer högupplöst eller mer kostnadseffektiv lösning. Idag används MIPI CSI-2 även inom andra branscher och segment, t ex mätinstrument, tillverkningsindustrin och medicinteknik.

Uttalande från vår kund FLIR

“BitSim har stöttat oss på ett föredömligt sätt och deras IP är en del som möjliggjort att vi kunnat korta utvecklingstiden på våra nya kameror”, säger Rikard Thunell, Vice President Sourcing & Strategic Planning på Flir.

En kort sammanfattning av Bit-MIPI CSI-2

1-4 data lanes
AXI4-Stream Video output
D-PHY protocol decoding included
Clock-lane/data-lanes deskew
Full High Speed/Low Power mode support
Test/debug features

MER OM BitSim and VÅRA IP, LÄS MER: HÄR