Menu
CHIP Speedtest

Snímací čip s umělou inteligencí

18.05.2020 14:24 | Pavel Trousil + Přidat komentář
Snímací čip s umělou inteligencí

Firma Sony představila své inteligentní obrazové snímače s funkcí zpracování pomocí umělé inteligence (AI Processing Functionality). Uplatnění najdou v mnoha oborech a mohou snížit množství přenášených dat i problémy s ochranou osobních údajů.

Sony chystá na trh dva modely inteligentních obrazových snímačů Inteligent Vision Sensor. Jde o první snímače na světě, které disponují funkcí zpracování pomocí umělé inteligence (AI). Integrování funkce zpracování pomocí umělé inteligence přímo do obrazového snímače umožňuje vysokorychlostní zpracování obrazu a extrakci pouze nezbytných dat. Z obrazového snímače se tak pošlou pouze data užitečná pro danou aplikaci a zrychlí se tak přenos dat a vypořádají se problémy souvisejícími s ochranou soukromí, případně se sníží spotřeba energie a náklady na komunikaci.

1-imx500-501-b-nahled

Jde o snímače IMX500 a IMX501 se senzorem o velikosti 1/2,3“ a rozlišením 12,3 efektivních megapixelů. Tyto produkty rozšiřují možnosti vývoje kamer vybavených umělou inteligencí, které jsou vhodné pro celou řadu nejrůznějších použití v maloobchodě či v oblasti průmyslového vybavení. Díky nim se nemusí data zpracovávat až v cloudu, jak je to dnes běžné.

Nové snímače jsou vrstvené a skládají se z obrazového snímače a logického čipu. Signál získaný od obrazového snímače je zpracován pomocí umělé inteligence přímo v čipu - eliminuje se tím potřeba vysoce výkonného procesoru nebo externí paměti. Výstupem ze snímače tak mohou být metadata (sémantická informace náležející k obrazovým datům) místo obrazových informací samotných. Vzniká tak menší objem dat a eliminují se problémy s citlivými údaji. Kromě toho umožňuje umělá inteligence vytvářet různé funkce pro různá využití.

 

Klíčové specifikace

Název modelu

IMX500 (samotný čip bare chip product)

IMX501 (celý produkt) package product

Počet efektivních pixelů

4056 (š) × 3040 (v), přibližně 12,3 megapixelů

Velikost obrazu

Diagonálně 7,857 mm (typ 1/2.3)

Velikost jednotky buňky Unit cell size

1,55 μm (š) × 1,55 μm (v)

Snímková frekvence

Plný počet pixelů

60 sn. / s

Video

4K (4056 × 2288) 60 sn. / s

1080 p 240 sn. / s

Plný /video+ zpracování AI

30 sn. / s

Výkon metadat

30 sn. / s

Citlivost (standardní hodnota F 5,6)

Přibližně 250 LSB

Sensor saturation signal level (minimální hodnota)

Přibližně 9610e-

Napájení

Analogové

2,7 V

Digitální

0,84 V

Rozhraní

1,8 V

Hlavní funkce

Funkce zpracování AI, ISP, snímání v HDR

Výstup

MIPI D-PHY 1.2 (4 lane) / SPI

Barevný filtr Color filter array

Bayerův filtr

Formát výstupu

Image (Bayer RAW), ISP výstup (YUV/RGB), ROI, metadata

Balení

-

Keramické LGA 

125 mm (š) × 15,0 mm (v)

Hlavní funkce a vlastnosti         

První senzor vybavený funkcí zpracování pomocí AI

Jde o CMOS snímač se zpětným osvětlením a rozlišením přibližně 12,3 megapixelů. Logický čip je kromě běžného obvodu vybaven procesorem DSP (Digital Signal Processor) společnosti Sony, který je určen pro zpracování signálu pomocí umělé inteligence. Tato konfigurace eliminuje potřebu výkonných procesorů nebo externí paměti.

 sony1-nahled

Výstup metadat

Signály získané obrazovým snímačem jsou zpracovávány prostřednictvím ISP (Image Signal Processor) a umělé inteligence a výstupem extrahovaných informací jsou metadata, čímž se snižuje množství zpracovávaných dat. Je tím zajištěno, že obrazové informace nejsou předávány dál. Omezují se tím bezpečnostní rizika a řeší to otázky spojené s ochranou soukromí. Kromě obrazu zaznamenaného konvenčním obrazovým senzorem si uživatelé mohou vybrat formát výstupních dat podle svých potřeb a využití - včetně výstupním formátu obrazu ISP (YUV / RGB) a ROI (Region of Interest – oblast zájmu) specifických oblastí získaných obrazů.

 ivs-data-output-nahled

Vysokorychlostní zpracování s využitím AI

Když je video zaznamenáno pomocí konvenčního obrazového senzoru, je nutné odeslat data pro každý jednotlivý výstupní video snímek pro AI zpracování, což má za následek zvýšený přenos dat a snížení výkonu v reálném čase. Nové senzory vyráběné společností Sony provádějí ISP zpracování a vysokorychlostní AI zpracování na logickém čipu. Tím proběhne celý proces na každém snímku videa. Tento systém umožňuje vysoce přesné sledování předmětů v reálném čase během nahrávání videa.

 sony2-nahled

Volitelný model AI

Uživatelé si mohou vybrat, jakou funkci mají snímače plnit a jaký AI model na nich poběží. Při instalaci u vchodu do prostor mohou být například využity pro počítání návštěvníků, kteří vstupují dovnitř; při umístění na poličku obchodu zase mohou sloužit k monitorování stavu zásob zboží a při umístění na strop je lze využít pro sledování množství zákazníků pomocí tepelných map (heat mapping. Zjistí se tak místa, kde se shromažďuje větší počet osob. AI model v dané kameře je navíc možné přepsat například z modelu pro tepelné mapy na model pro identifikaci chování zákazníků a podobně. 


Komentáře

* Hvězdičkou jsou označeny povinné informace.

Zajímavosti ze světa IT v e-mailu

Stačí odeslat svoji e-mailovou adresu


Odesláním formuláře souhlasíte se zpracováním svých osobních údajů a užitím pro marketingové účely vydavatelství Burda International CZ s. r. o.











Komerční sdělení