Snímače - masky a filtry

Narazil jsem na pár zajímavých informací, novinek a patentů, které se týkají nových konceptů senzorů a myslím, že by to mohlo pár lidí zaujmout, tak to (včetně nějakého infa navíc) házím i sem... Hlavně z toho důvodu, že krom tradičního bayera a alternativního foveonu existují i jiná řešení a některá z nich by se měla na trhu objevit v následujících 36 měsících - tedy relativně blízké době. Zajímavé jsou hlavně koncepty plnobarevných senzorů Fuji a Nikonu.


Mozaikové senzory

Bayerův filtr / bayerova maska / RGBG

• koncept roku 1976 dr. Bayera ze společnosti Kodak
• dnes nejrozšířenější typ snímače (resp. typ barevného filtru snímačů)
• výrobně (relativně) levný
• díky mnohaletému vylepšování podává slušné výsledky (zmíním níže)
• používán od mobilů po high-end DSLR
• snímá plošně tři základní barvy: červenou, modrou a 2x zelenou (RGBG)

10 megapixelový senzor s bayerovou maskou nese 5 megapixelů senzorů pro zelenou barvu, 2,5 mega pro červenou a 2,5 mega pro modrou. Jednotlivé senzory jsou rozloženy pravidelně ve čtverci 2x2:

http://www.abload.de/img/4026-sensor4935tye.gif
http://www.abload.de/img/350px-bayer_pattern_gj1.png http://www.abload.de/img/350px-bayer_pattern_3ip.png
- alt. link #1, #2, #3 -

Dvojnásobný počet senzorů zelené barvy je použit z důvodu téměř dvojnásobně vyšší citlivosti lidského oka na zelenou (stejné důvody jako pro zelený bit navíc v 16bit barvách: 5-6-5 pro RGB). Jelikož je obraz získaný bayerovým senzorem barevně nekompletní (pro každý pixel je získána je jedna barevná hodnota), je nutné použít získat chybějící barvy interpolací z hodnot okolních senzorů. Tato interpolace se nazývá demosaic filtering či debayer.

Z důvodu velké vzdálenosti senzorů pro červenou a modrou (a vůbec vzájemnému posuvu senzorů pro jednotlivé barvy) je bayerův filtr náchylný k tzv. barevnému moire:

http://www.abload.de/img/clr_moire8280l4.jpg
- alt. link -

U novějších snímačů je tento nedostatek řešen tzv. OLPF (optical low-pass filter) vrstvou na snímači. OLPF má za úkol odstranit detaily takové úrovně, které způsobují na bayerově senzoru výše popsaný (a další podobné) defekty. Princip spočívá v horizontálním a vertikálním snížení ostrosti, které odpovídá zhruba rozsahu dvou nejbližších zelených senzorů v masce. Větší rozsah by redukoval příliš mnoho detailů, nižší by byl neúčinný. OLPF redukuje především moire v zeleném kanálu a jasové složce (ta ale v pravém slova smyslu vznikne až po debayeru), přičemž červený a modrý kanál jsou ovlivněny minimálně (z principu se spoléhá na to, že redukcí moire v jasu a zelené klesne celková úroveň moire na přijatelnou úroveň).

V souvislosti s OLPF ještě stojí za zmínku tzv. microlenses, jejichž přínos je ale na rozdíl od OLPF veskrze pozitivní (OLPF redukuje moire na úkor ostrosti). Jednotlivé barevné senzory spolu totiž nesousedí úplně těsně, ale jsou mezi nimi nezanedbatelné mezery, které pohltí či odrazí dopadající světlo. To znamená, že část světla dopadající na senzor není zachycena a navíc, že nespojité snímání zvyšuje riziko aliasu v obrazu. Tyto nedostatky řeší právě microlenses, které vychylují světlo (které by jinak dopadlo do mezery) do nejbližšího senzoru. Microlenses se ale netýkají pouze bayerova filtru - jsou přínosné pro všechny koncepty.

Po digitalizaci je nutné provést zmíněný demosaic filtering, který interpolací dopočítá chybějící barvy. Minimální použitelný kernel je 2x2, ale jeho kvalita by byla velmi nízká - častěji se používá 3x3, případně složitější algoritmy. Následně ještě může být provedena dodatečná digitální redukce aliasingu, moire a dalších defektů.

Současné trendy vedou ke zdokonalení či náhradě bayerova filtru pokročilejšími alternativami - největším problémem je, že většina řešení nedokáže tento koncept překonat po všech stránkách, případně se dostává na cenově nepřijatelnou úroveň.

• výhody
  • vysoké výstupní rozlišení
  • nízké výrobní náklady
  • mnohaleté zkušenosti, know-how, vyzkoušená jistota
• nevýhody
  • 2/3 barevné informace nejsou vyfocené, ale získané digitální interpolací
  • ztráta detailů vlivem OLPF
  • náchylnost na barevný alias (především červená a modrá)
  • náchylnost na barevné moire (především červená a modrá)
  • nízká jasová přesnost (jasová informace jednoho pixelu je získána spojením informací z min. tří sousedících senzorů)

RGBE filter

Vychází za bayerova filtru, ale jeden zelený senzor v každé R-G-B-G čtveřici je zaměněn za senzor smaragdové barvy ("emerald", modro-zelená barva):

http://www.abload.de/img/350px-rgbe_filter_oncx9.png
- alt. link -

Dá se říct, že oproti bayerovi zvyšuje až o 50% přesnost pro modrou barvu, což znamená vyšší barevný rozsah, obzvlášť pro "přírodní" barvy. RGBE filtr byl použit pouze v legendární EVF Sony DSC-F828 a méně známé ICX456

• výhody
  • vysoké výstupní rozlišení
  • podobný koncept, jako bayer, tudíž podobný způsob digitálního processingu
  • vyšší barevný rozsah, než bayer
  • obecně nižší šum v modrém kanálu, než u bayerova filtru
• nevýhody
  • téměř 60% barevné informace není vyfocených, ale získaných digitální interpolací
  • ztráta detailů vlivem OLPF
  • náchylnost na barevný alias (především červená)
  • náchylnost na barevné moire (především červená)
  • nízká jasová přesnost (jasová informace jednoho pixelu je získána spojením informací z 2-3 sousedících senzorů)

CYGM filter

Další variace na téma bayer, tentokrát ze základní čtveřice R-G-B-G ponechává pouze jeden zelený senzor a ostatní zaměňuje za žlutou (yellow, Y), modrozelenou (cyan, C, obdoba emerald) a purpurovou (fialová, magenta, M):

http://www.abload.de/img/350px-cygm_pattern_o4tc.png
- alt. link -

Maska CYGM byla využita jen u několika produktů společnosti Canon a Sony kolem roku 2000.

• výhody
  • vysoké výstupní rozlišení
  • podobný koncept, jako bayer, tudíž podobný způsob digitálního processingu
  • přesnější jasová informace (2/3 senzorů snímají dvě základní barvy)
  • pouze 40% barevné informace je získáno interpolací (u bayeru 66%)
  • oproti bayeru nižší barevné moire
  • oproti bayeru nižší barevný alias
• nevýhody
  • výrazně nízká citlivost na modrou a červenou a vyplývající nižší barevný rozsah

RGBW filter

Nová technologie patentovaná v roce 2007. Využívá tzv. panchromatické senzory (panchromatic cells). To jsou v podstatě senzory, které jsou stejnoměrně citlivé na všechny barvy, takže snímají pouze jasovou složku. De-facto černobílý obraz (W = white = bílá). Prvně o jejich využití v barevné digitální fotografii začal mluvit Kodak. Konkrétně šlo o ideu zvýšení dynamického rozsahu bayerova filtru záměnou jednoho zeleného senzoru (R-G-B-G) za panchromatický -> R-G-B-W.

http://www.abload.de/img/350px-rgbw_patternwe8.png
- alt. link -

Tím by došlo téměř ke zdvojnásobení dynamického rozsahu čipu na úkor 50% zelené. Výsledkem by měl být především nižší jasový šum.

Základní RGBW masku zatím nepoužívá žádný fotoaparát.

• výhody
  • vysoké výstupní rozlišení
  • podobný koncept, jako bayer, tudíž podobný způsob digitálního processingu
  • přesnější jasová informace oproti bayeru (u bayeru průměrně 33% na senzor, zde 50%)
  • vyšší dynamický rozsah
  • nižší jasový šum
• nevýhody
  • 75% (!!!) barevné informace je získáno interpolací
  • vyšší náchylnost k barevnému moire i aliasu než bayer

další panchromatické masky

Kodak vyvinul další masky, které hodlá nasadit komerčně. Mění rozložení barevných senzorů (už tolik nevycházejí z bayera) a přidávají více panchromatických senzorů na úkor barvy:

http://www.abload.de/img/350px-rgbw_awqk.pnghttp://www.abload.de/img/350px-rgbw_bd04.pnghttp://www.abload.de/img/350px-rgbw_cd00.png
- alt. link -

výhody a nevýhody jsou bodobné, jako u předchozí masky jen s tím rozdílem, že dynamický rozsah bude vyšší, úroveň šumu nižší a 83%(!!!) barvy vzniká interpolací (pouze 17% je skutečně zachyceno senzorem). Takový senzor je podle mého názoru použitelný spíše pro low-endová řešení, jako levné kompakty, mobilní telefony a webkamery. Barevné moire a alias zřejmě budou za hranicí únosnosti.


Infra-bayerův senzor

Obdoba RGBW s tím, že místo panchromatického senzoru je snímáno infračervené záření pro zvýšení citlivosti senzoru. Patent roku 2007.

Plnobarevné senzory

Foveon X3

Koncept Foveon X3 vychází z patentu společnosti Foveon z října 1999. Zakládá na principu kinofilmu, tedy snímání světla třemi fotosenzitivními vrstvami - jedné pro modrou, druhé pro zelenou a třetí pro červenou barvu.

http://www.abload.de/img/4026-foveonx3794rbf.gif
- alt. link -

Foveon tedy na rozdíl od všech předchozích konceptů snímá pro každý pixel 100% barevné informace, takže není použita žádná interpolace (debayer), ani rozostřující low-pass filter. Dalšími výhodami jsou nulové barevné moire (všechny tři barvy jsou snímány v jednom bodu, takže barevné moire může vycházet principielně pouze z radiálního šíření světelných paprsků z objektivu) a nulový barevný alias. Zvýšený je také dynamický rozsah.

Vlivem tří senzorů "pod sebou" je denzita jednotlivých bodů nižší, takže Foveon nabízí nižší výstupní rozlišení, než mozaikové senzory, za to však s 3x přesnější barevnou informací. Bližší srovnání zde

Menší nevýhodou je nižší citlivost na červenou barvu vlivem uložení červených senzorů v nejhlubší vrstvě. To je kompenzováno vyšším množstvím fotosenzitivního substrátu pro tento kanál.

http://www.abload.de/img/450px-absorption-x35b1t.png
- alt. link -

Zajímavá je situace se šumem - ten je z principu nižší, než u mozaikových filtrů, ale v praxi lze pozorovat výraznější nárůst s vyšším ISO, než u mozaikových filtrů (jde o záležitost související s výrobními technologiemi spíše než se základním principem masky)

Foveon X3 využívá Sigma v DSLR SD-9, SD-10 a SD-14 + v chystaném kompaktu DP-1.

Novější verze (použité v SD-14 a DP-1) jsou doplněny o microlenses pro snížení šumu a luminančního aliasu.

• výhody
  • plné barevné rozlišení
  • nulová interpolace
  • bez OLPF
  • vyšší dynamický rozsah
  • nižší jasový šum (v praxi záleží na implementaci a ISO)
• nevýhody
  • nižší výstupní rozlišení
  • vyšší výrobní náklady

Full-color organic sensor (OCMOS)

Obdoba Foveonu založená na organických barvivech, pochází od Fuji. První informace se objevily v březnu minulého roku (v té době byla Fuji na úrovni prototypů se zeleným barvivem). Finální produkt byl předběžně přislíben na dobu tří-čtyř let od plnění patentu (jsme zhruba v polovině čekací doby).

Krom vysokého barevného rozlišení slibuje Fuji i trojnásobnou citlivost oproti standardním senzorům roku 2006.

• ePHOTOzine

Dichroic mirror-based full-color sensor

Další plnobarevný senzor pochází z dílen Nikonu. Rozložení barevných senzorů je sice mozaikovité, ale světlo, které na ně dopadá, pochází ze stejného "paprsku" (využití technologie microlens) a je mezi ně rozděleno systémem dichroických zrcadel:

http://www.abload.de/img/dichroic_sensor210xgf.gif
- alt. link -

• patent

Výhody budou obdobné jako u Foveonu, nebo organického senzoru Fuji, ale varianta Nikonu se kvůli dichroickým zrcadlům zdá být výrazně komplikovanější a dražší na výrobu.

Pokud jsem na něco zapomněl, zmiňte, doplním :-)

Hasselblad emuluje Foveon prostřednictvím Bayerova filtru a mikro-piezo motoru

http://www.abload.de/img/h3dii-39msycc.png

Hasselblad uvádí novou DSLR H3DII-39MS využívající tradiční 39M CCD s Bayerovým filtrem, která je ale vybavena piezo motorem pro posun čipu. Díky tomu umožňuje realizovat čtyřnásobnou expozici, přičemž každý snímek je pořízen s posunem CCD o jeden pixel bayerova filtru, čímž jsou pro každý bod získány všechny tři barevné vzorky, podobně jako u Foveonu (nebo filmu), čímž je eliminována potřeba demosaic interpolace a až trojnásobně zvýšena barevná přesnost:

http://www.abload.de/img/h3dii-39mssa0.jpg

oficiální press release:

http://www.hasselblad.co.uk/news/has...shot-dslr.aspx

Poměrně zajímavé srovnání - Oly E-330 s a bez AA filtru: http://forums.dpreview.com/forums/re...hread=27119595

A z diskuze odkazovaný HotRod od maxmax:

Na D200: http://www.maxmax.com/nikon_d200hr.htm
Na 5D: http://www.maxmax.com/hot_rod_visible.htm

Fuji uvádí Super CCD EXR

Upravené rozložení barev v masce, senzory o dvou úrovních citlivosti...

http://www.dpreview.com/news/0809/08...ujifilmEXR.asp

Zajímavá ukázka od Zeisse:

bílý čtvereček: velikost pixelu 12MP zrcadlovky
vlevo (7.): bod, jak ho dokážou vykreslit nejlepší objektivy
vpravo (8.): jak se tentýž bod vykreslí na senzoru po průchodu low-pass filtrem bayerovy masky

http://img1.abload.de/img/lpofdesf7on.png

mám takovou kacířskou myšlenku, proč se vlastně snímá v RGB? nejde udělat buňka, že by snímala všechno najednou? (třeba by to vykoplo hexa číslo nebo ta něco) odpadlo by mnoho problémů :D

O tom jsem přemýšlel už kolikrát, ale vždycky jsem toho nechal, protože mi bylo jasné, že o tom již přede mnou přemýšlelo mnoho jinačích mozků a výsledek se přesto nedostavil :)

Ono v podstatě kompletní spektrum v rámci jedné buňky snímá foveon nebo dichroický senzor nikonu. Vím, že jsou to stále tři senzory (R/G/B) v jedné buňce, ale to je právě ten problém. Není senzor, kterž by dokázal sejmout kompletní barvu i jas zároveň.

Spíš mě zaráží, proč tu nebyl alespoň pokus o inspiraci lidským okem. Pokud se nepletu, jsou v něm tyčinky a čípky, jedny snímají jas, druhé barvu. Pokud by tu byl někdo, komu je dobře znám princip, na kterém funguje to snímání celého barevného spektra, možná by nám to pomohlo objasnit, proč nelze něco podobného i "vyrábět"

V souvislosti s tím mě taky kolikrát napadlo, jestli by pro senzor, který by nebyl plochý, ale konkávní, nebylo jednodušší navrhovat optiku. Neřešilo by to některé optické vady snáze místo toho, aby musely být řešeny na úrovni optiky?

Myšlenka zajímavá, leč ani lidské oko nemá jednu buňku pro celé spektrum, ale ono RGB;) (a to jsem ani nemusel moc hledat :p )Stejně to funguje u filmů-3vrstvy citlivé na různou vlnovou délku.

Citace:

---

Původně odeslal no-X

V souvislosti s tím mě taky kolikrát napadlo, jestli by pro senzor, který by nebyl plochý, ale konkávní, nebylo jednodušší navrhovat optiku.

---

To bys ale pak nesnímal plochou plochu, ale plochu zakřivenou stejně jako senzor. Takže bys musel korigovat tuto vlastnost. Mno a myslíš, že i pokud by to fungovalo, bylo by jednodušší vyrobit křivý čip? :p

To sou zase nápady navečer..

EDIT: Btw díky za podnět, právě jsem zjistil, že oko má 130M buněk pro jas a 7M pro barvu:-o :)

Citace:

---

Původně odeslal berraneck

To bys ale pak nesnímal plochou plochu, ale plochu zakřivenou stejně jako senzor. Takže bys musel korigovat tuto vlastnost.

---

Jsi si jistý? Právě že tato vlastnost (zklenutí pole, zkreslení a některé formy astigmatismu) jsou redukovány právě proto, že obraz promítáme na rovinu, přičemž v případě promítání na nelineární médium, by je nebylo třeba korigovat (otázka je, jestli by jiné nevynikly)

Je mi jasné, že veškeré výzkumy a vývoj by musel začít znovu, protože se 150 let ubíral jiným směrem. Ale naprostá většina korekcí vnáší do optické sestavy další defekty a kazí bokeh (nejprimitivnější 100 let staré objektivy mají co se bokehu týče nejdokonalejší Gaussův profil). Toho by se bylo možné oprostit.

Jinak s tím okem je to velmi zajímavé... k čemu jsou tedy pak jasové buňky? Jen proto, abychom lépe viděli v šeru?

odstavec 1) Jo máš pravdu, myslel sem to tak že všechny dnešní objektivy a znalosti optiky vychází z potřeby promítat na rovnou plochu. Z hlediska optiky by to bylo jistě jednodušší, ale složitost výroby zakřiveného čipu by byla o tolik vyšší, že by to bylo (dnes) nerealizovatelné. U filmu to samozřejmě takový problém není, třeba dírkové komory či panoramatické kamery se staví i se zakřiveným filmem, ale pouze v jedné ose(tedy nevím o tom, že by existoval či někdo zkoušel stavit aparát s filmem zakřiveným jako část koule).

odstavec 2) Jasně, ideální objektiv je pouze dírka, resp. bod-ale tady narážíme na vlnové vlastnosti světla a lom na hraně. Symetrické objektivy jsou další ideál, ale mají určité tebou jmenované vady. V dnešní době maličkých snímačů to vadí, před 100lety, kdy se dělaly kontaktní kopie z filmu to vůbec nevadilo. Takže zase narážíme, proto budeme objektiv korigovat-ale tady už se zobrazením odchylujeme od přirozených vlastností zobrazení(bokeh..). Vždy je to kompromis, záleží jaký výsledek potřebuješ.

odstavec 3) Přesně tak, čípky jsou řádově méně citlivější na světlo, v noci proto barevně nevidíš(myslím za přirozeného světla, či spíše tmy). A ve tmě vetšinou člověk barevně ani vidět nepotřeboval, proto se takto vyvinul:)

Všechno toto mne přivádí na myšlenku, jaký by asi byl šum černobílého digitálního aparátu? :)

/konec OT :)

Citace:

---

Spíš mě zaráží, proč tu nebyl alespoň pokus o inspiraci lidským okem. Pokud se nepletu, jsou v něm tyčinky a čípky, jedny snímají jas, druhé barvu.

---

já myslel, že na nějakym takovym principu by měl fungovat super CCD, ale zase tolik jsem to nezkoumal.

říkal jsem si, že by šel udělat čip s jedním typem buněk a měnit jen filtry, které by propoštěly jen určitou vlnovou délku...

Citace:

---

Původně odeslal Vinc Black

já myslel, že na nějakym takovym principu by měl fungovat super CCD, ale zase tolik jsem to nezkoumal.

---

přibližně jo, jsou tam 2typy buněk- jedny citlivější, druhé méně. mělo by to zvětšovat dynamický rozsah čipu, prakticky to tak i funguje, ale současné CMOS čipy už dosahují podobného rozsahu takže tam velká výhoda není. nemluvě o dalších vlastnostech, které jsou v konkrétních případech překonané (Fuji S5 vs Nikon D300)..

Citace:

---

Původně odeslal Vinc Black

říkal jsem si, že by šel udělat čip s jedním typem buněk a měnit jen filtry, které by propoštěly jen určitou vlnovou délku...

---

to určitě, ale takové řešení by bylo pro barevnou fotografii použitelné pouze pro statické objekty:( a černobílý digitál by asi marketingové oddělení nepropustilo:-D

Citace:

---

Původně odeslal Vinc Black

já myslel, že na nějakym takovym principu by měl fungovat super CCD, ale zase tolik jsem to nezkoumal.

říkal jsem si, že by šel udělat čip s jedním typem buněk a měnit jen filtry, které by propoštěly jen určitou vlnovou délku...

---

To už tady v podstatě je - jen se neposouvají tři různobarevné filtry, ale jeden bayerův (o pár postů výš) :-)

Jako další v pořadí si vlastní verzi Foveonu patentovalo Sony:

http://www.freepatentsonline.com/y2009/0303371.html


Welcome to the copyshop...

schéma z patentu Foveonu:

http://www.abload.de/img/foveondiode1jzj.gif


schéma z patentu Sony:

http://www.abload.de/img/sony_sensoravw1.png

:eek:

Objevila se řada názorů na celou situaci a je to docela zajímavé...

1. Sigma po odkoupení Foveonu zapomněla prodloužit příslušný patent, Sony toho využilo a zlikviduje Sigmu :rolleyes:

2. Trochu pozitivnější verze: Patent obsahuje oproti verzi Sigmy jeden rozdíl, který se týká vyčítání a zpracování po vrstvách, což by mělo zlepšit poměr signál/šum. Spekulace zakládá na tom, že mohlo jít o výměnu technologií mezi Sigmou a Sony, takže by Foveon (s nižším šumem) pro Sigmu mohlo vyrábět Sony.

3. Jde čistě o záležitost Sony, která si patentovala technologie související s vyčítání po vrstvách(?)... to se ale jeví nepravděpodobně.

Další patent Foveonu:

MULTI-COLOR CMOS PIXEL SENSOR WITH SHARED ROW WIRING AND DUAL OUTPUT LINES

http://www.google.com/gwt/x?wsc=pr&w...&ct=pg1&whp=30
http://www.freepatentsonline.com/20100155576.pdf

vypadá to na plnobarevný jednovrstvý senzor(?)

//oprava: je tradičně vícevrstvý