[LT] Šio išradimo objektas - didelės skyros vaizdo suformavimo metodas atliekantis automatinį vaizdo skyros didinimą iš keleto dalinai persidengiančių mažos skyros vaizdų užfiksuotų esant skirtingoms fotokamerų pozicijoms bei kampams Padidintos skyros vaizdo formavimas apima pagrindinius 3 etapus: pirmajame etape identifikuojamas nuotraukose užfiksuoto paviršiaus 3D modelis: atkuriamos kamerų pozicijos bei posūkio kampai, taip pat apskaičiuojamas nuotraukose užfiksuoto objekto 3D paviršius; antrajame etape atliekama optinių iškraipymų korekcija visiems žemesnės skyros vaizdams, reikalingos korekcijos dydis nustatomas panaudojant pirmajame etape gautus geometrinio iškraipymo koeficientus; trečiame etape atliekamas padidintos skyros vaizdo taškų intensyvumų apskaičiavimas - tuo tikslu kiekvienam naujam padidintos skyros taškui surandamas 3D taškas, esantis ant užfiksuoto objekto 3D paviršiaus, projektuojant 3D tašką į visus žemesnės skyros taškus, surandamos 3D taško projekcijos, aplinkui 3D tašką pažymima keturkampė taško aplinkos sritis, kurios kampai taip pat suprojektuojami į visus žemesnės skyros vaizdus, iš 3D taško aplinkų projekcijose, esančių žemesnės skyros taškų, sudaroma lygčių sistema, kurią išsprendus, randamas ieškomas padidintos skyros taško intensyvumas.Šiame darbe aprašomi vienspalvių vaizdų raiškos didinimo principai, tačiau jis gali būti naudojamas ir spalvotiems vaizdams. Spalvotų vaizdų atveju kiekvieno padidintos skyros vaizdo taško spalva nustatoma pritaikant aprašomą metodą kiekvienai pirminiai spalvai (raudonai, žaliai ir mėlynai) atskirai.
[EN] The object of the present invention is a method for the composition of high-resolution image performing automated enhancement of image resolution from several partially overlapping low-resolution images captured at different positions and angles of photo cameras Formation of the enhanced resolution image includes the 3 main stages: in the first stage a 3D model of the surface captured in photographs is identified: positions and turning angles of cameras are restored, as well as the 3D surface of the object captured in photographs is calculated; in the second stage a correction of optical distortions of all lower-resolution images is performed, the required amount of correction is determined using the geometric distortion coefficients received in the first phase; in the third stage, the calculation of the intensities of enhanced resolution pixels is carried out - to this end, for each new enhanced resolution point a 3D point located on a 3D mesh of the captured object is found, when projecting the 3D point to all lower-resolution points, the projections of the 3D point are found, a four-square area of the point environment, the angles of which are also projected to all lower-resolution images, is marked around the 3D point, from the lower-resolution points located in the projections of the 3D point environments an equation system is formed, by resolving which the wanted intensity of the enhanced resolution point is found.This paper describes the principles for the enhancement of the monochrome image resolution, but it can also be used for colour images. In the case of colour images the colour of each enhanced resolution pixel is determined by adapting the described method to each original colour (red, green and blue) individually.
[0001] TECHNIKOS SRITIS
[0002] Išradimas yra iš elektroninių vaizdų (nuotraukų) apdorojimo srities, o konkrečiai – elektroninių vaizdų skyros (skiriamosios gebos) didinimas panaudojant keleto persidengiančių mažos skyros (eng. resolution) vaizdų duomenis.
[0003] TECHNIKOS LYGIS
[0004] Šis išradimas suteikia galimybę automatiškai sukurti padidintos skyros vaizdą iš keleto dalinai persidengiančių mažos skyros vaizdų užfiksuotų esant skirtingoms fotokamerų pozicijoms bei kampams. Proceso metu iš pradinių mažos skyros vaizdų rekonstruojamos fotokamerų pozicijos bei erdvinis paviršius, kuris naudojamas sąryšiui tarp mažos skyros vaizdų. Atlikus geometrines pradinių mažos skyros vaizdų korekcijas, didelės skyros vaizdų taškų intensyvumai apskaičiuojami pagal jų atvaizduojamų erdvinių paviršiaus taškų projekcijas mažos skyros vaizduose.
[0005] Toliau nagrinėjamas esamas technikos lygis, t.y.: informacija, kuri viešai prieinama šiuo metu.
[0006] Žinomas patentas US8582922B2 (publikuotas 2013 m. lapkričio 12d.), kuriame pateikiamas vaizdo skyros didinimo būdas naudojant du ar daugiau mažos skyros vaizdus. Skyros didinimo būdas pagrįstas didelės skyros vaizdo taškų reikšmių skaičiavimu iš mažos skyros vaizdo taškų naudojant svorinės interpoliacijos skaičiavimo principą. Šiame skaičiavimo būde nieko neminima apie vaizdus, kurie buvo užfiksuoti skirtingais kameros pasukimo į objektą kampais, skyros didinimui netaikomas trimatis paviršius, dėl ko tokiam būdui gali būti naudojami vaizdai, kuriuose objektas atvaizduotas iš vienos plokštumos arba plokštumų, kurios su minėta objekto plokštuma sudaro tik keleto laipsnio dalių kampus.
[0007] Taip pat žinoma patento paraiška US20040170340A1 (paskelbta 2004 m. rugsėjo 2d.), kurioje pateikiamas vaizdų skyros didinimo būdas, kur padidintos skyros vaizdas gaunamas mažiausiai iš dviejų mažesnės skyros vaizdų naudojant Bajeso metodą. Tačiau toks skyros didinimo būdas gali būti naudojamas tik tada, kai pradinių mažos skyros vaizdų orientacija ir pasukimas į objektą yra tarpusavyje labai artimi.
[0008] Dar žinomas US20030012457 dokumentas (publikuotas 2003 m. sausio 16 dieną). Jame formuojamas didesnės skyros plokščias vaizdas iš kelių mažos skyros plokščių vaizdų. Šio būdo pagrindinis principas yra tas, kad visa informacija surenkama į vieną vaizdą ir vėliau, pagal atitinkamą modelį, apkarpomos nereikalingos detalės.
[0009] Daugumoje atvejų, technikos lygyje aptinkami dokumentai dažniausiai susieti su vaizdų skyros didinimo metodikomis, kurios orientuotos į mažos skyros kelių vaizdų sudėjimą ir tolimesnį jų apdorojimą taikant įvairias metodikas. Taip pat dokumentuose dažniausiai nagrinėjami vaizdai, atkuriami dvimatėje plokštumoje, sutampančioje su vaizdo plokštuma. Kadangi vaizdų apdorojimo ir formavimo technologija kaip mokslo bei taikymo kryptis pradėjo sparčiau vystytis tik paskutinį dešimtmetį (ypač paskutiniais metais), todėl galima teigti, kad šiuo metu vaizdų apdorojimo technologijos išgyvena proveržį. Tai susiję su tuo, kad dabartinė kompiuterinė technika sugeba greitai apdoroti didelius informacijos kiekius be per daug didelio pirminių vaizdų supaprastinimo, t.y.: atsirado galimybė kompleksiškai dirbti su vaizdais taikant įvairias sudėtingas metodikas siekiant geresnio rezultato.
[0010] Didžioji dauguma vaizdo skyros didinimo metodų, esančių dabartiniame technikos lygyje, remiasi nedidelių kameros pozicijos pokyčių (poslinkio ir pasukimo) rekonstravimu. Pozicijų paieška vykdoma 2D erdvėje sutampančioje su vaizdo plokštuma. Suradus optimalias pozicijas padidinta skyra apskaičiuojama visam atkuriamo vaizdo plotui vienu metu. Tačiau, esant dideliems kameros pozicijos bei fiksavimo krypties pokyčiams, homografija paremti metodai neveikia, nes vaizdai nebegali persidengti dėl juose skirtingu kampu užfiksuotų objektų perspektyvinės transformacijos.
[0011] Šiame išradime aprašytas metodas vaizdų suvedimą atlieka fotogrametrijos proceso metu. Naudojant kertinius taškus (angl. Key-points) bei 3D modelio tarpusavio surišimo algoritmą (angl. Bundle Adjustment) surandami vaizdų tarpusavio ryšiai ir kamerų pozicijos 3D erdvėje. Dėl skirtingos nuotraukų fiksavimo pozicijos, užfiksuoti objektai kiekviename persidengiančiame vaizde matomi skirtingose vaizdo vietose, t.y.: nėra galimybės atlikti skyros padidinimą visam vaizdui iš karto, nes vaizdai negali persidengti net ir atlikus reikiamas transformacijas. Ši problema sprendžiama apskaičiuojant kiekvieną padidintos skyros vaizdo tašką atskirai. Šiame išradime taikomų žingsnių seka atkuria visus didesnės skyros taškus kiekvienam iš jų surandant atitinkamą trimatės erdvės tašką 3D paviršiuje, pažymint jame lokalią paviršiaus plokštumą bei suprojektuojant šią nedidelę kvadratinę sritį į visus mažos skyros vaizdus, kuriuose užfiksuota ši 3D paviršiaus vieta. Pagal gautas projekcijas, kiekviename atrinktame vaizde randami projekcijos taškų intensyvumai, kurie vėliau naudojami lygčių sistemos sudarymui. Išsprendus lygčių sistemą, gautas centrinis tiriamojo taško aplinkos intensyvumas išsaugomas padidintos skyros vaizde.
[0012] IŠRADIMO ESMĖ
[0013] 3D vaizdų konversijos eigoje iš pradinių mažos skyros vaizdų atkuriamas užfiksuoto objekto 3D paviršius (žemės paviršius, pastatai, medžių laja ir t.t.), kuris panaudojamas nuotraukose užfiksuotų vaizdų projekcijų radimui. Didesnės skyros vaizdų rekonstrukcija apskaičiuojama panaudojant persidengiančias mažos skyros nuotraukų sritis. Atlikus visus apdorojimo žingsnius, gaunamos didesnės skyros nuotraukos. Šios nuotraukos atitinka pradinių nuotraukų fiksavimo poziciją ir kampą (t.y. jose matomi tie patys vaizdai), tačiau turi didesnę vaizdo skyrą todėl jose užfiksuotas vaizdas tampa detalesnis. Vaizdas bus detalesnis tose srityse, kuriose persidengė didesnis nuotraukų kiekis.
[0014] Formuojant didesnės skyros vaizdą, taikomi trys pagrindiniai etapai:
[0015] Pirmajame etape, taikant fotogrametrijos metodą, surandamas nuotraukose užfiksuoto paviršiaus 3D modelis: atkuriamos kamerų pozicijos bei posūkio kampai, taip pat apskaičiuojamas nuotraukose užfiksuoto objekto 3D paviršius (angl. mesh).
[0016] Antrajame etape atliekama objektyvo optinė korekcija (angl. radial undistortion) visiems mažos skyros vaizdams. Reikalingos korekcijos dydis nustatomas panaudojant fotogrametrijos metu gautus geometrinio iškraipymo koeficientus.
[0017] Trečiame etape atliekamas didesnės skyros vaizdo taškų intensyvumų apskaičiavimas. Tuo tikslu kiekvienam naujam didesnės skyros taškui surandamas 3D taškas, esantis ant užfiksuoto objekto 3D paviršiaus. Projektuojant 3D tašką į visus mažos skyros vaizdus, surandamos taško projekcijos. Aplinkui 3D tašką pažymima keturkampė taško aplinkos sritis, kurios kampai taip pat suprojektuojami į visus mažos skyros vaizdus. Tolimesniems skaičiavimams parenkami tik tie mažos skyros vaizdai, kuriuose ieškomas taškas gerai išskiriamas. Iš 3D taško aplinkų projekcijose esančių mažos skyros taškų sudaroma lygčių sistema, kurią išsprendus randamas ieškomas padidintos skyros taško intensyvumas.
[0018] TRUMPAS BRĖŽINIŲ APRAŠYMAS
[0019] Pav. 1. Ieškomo taško aplinkos (a) mažos skyros, (b) padidintos skyros, (c) padidintos ir mažos skyros aplinkų taškų persidengimas.
[0020] Pav. 2. Ieškomo taško aplinka skirtinguose mažos skyros vaizduose.
[0021] TINKAMIAUSI ĮGYVENDINIMO VARIANTAI
[0022] Šiame aprašyme terminas "skyra" arba "skiriamoji geba" (angl. resolution) reiškia elektroninėje įrangoje atkuriamo vaizdo parametrą, nusakantį vaizdą sudarančių taškų kiekį ilgio/ploto/erdvės vienete.
[0023] Šiame aprašyme terminas "vaizdo taškas" arba "taškas" reiškia kvadratinę/kubinę vaizdo sritį, kurią užima tas taškas.
[0024] Šiame aprašyme terminas "vaizdo taško intensyvumas" arba "intensyvumas" suprantamas kaip vaizdo taško šviesumas (vienspalviams vaizdams) arba kaip vaizdo taško spalvos pirminių spalvų (raudonos, žalios ir mėlynos) šviesumas (spalvotiems vaizdams).
[0025] Šiame aprašyme terminas "mažos skyros vaizdas" arba "mažesnės skyros vaizdas" reiškia objekto nuotrauką, kurioje gerai matomas užfiksuotas objektas, tačiau smulkios objekto detalės atvaizduojamos abstrakčiai.
[0026] Šiame aprašyme terminas "didelės skyros vaizdas" arba "padidintos skyros vaizdas" reiškia patobulintą to paties objekto nuotrauką, kurioje smulkios objekto detalės atvaizduojamos detaliau (pvz.: galima perskaityti užrašą, kurio nebuvo galima įskaityti pradiniuose mažos skyros vaizduose).
[0027] Šio išradimo atveju vaizdų atvaizdavimas ir jų apdorojimas gali būti vykdomas elektroniniuose su vaizdais galinčiuose dirbti įrenginiuose, tokiuose kaip kompiuteris, vaizdo kamera, vaizdo grotuvas, vaizdo atvaizdavimo įrenginys (pvz.: televizorius, monitorius) . Pateikiamam vaizdo apdorojimui reikalingi elektroniniai įrenginiai, galintys apdoroti skaitmeninę informaciją (įvairūs atminties moduliai, mažiausiai vienas procesorius, įvesties, išvesties įrenginiai ir kt.).
[0028] Didelės skyros vaizdai detaliau atvaizduoja užfiksuotą objektą, todėl gali būti panaudoti sudėtingesnių uždavinių sprendimui. Tačiau objektų fiksavimą didele skyra riboja įvairios priežastys: techninės (fotografavimo įrenginio optika neleidžia priartinti vaizdo iki reikiamo laipsnio), teisinės (palydovinių bei termovizorinių nuotraukų skyra ribojama įstatymais dėl strateginės jų reikšmės) ir t.t.. Sukurta daug įvairių vaizdo skyros didinimo metodų panaudojant mažesnės skyros vaizdus. Viena metodų dalis vaizdo skyrą didina naudodami vieną mažos skyros vaizdą, kiti metodai tai atlieka panaudodami du ir daugiau mažos skyros vaizdų. Pirmuoju atveju vaizdo skyra didinama įvairiomis interpoliavimo priemonėmis, o antruoju mažos skyros vaizdai sutapatinami pagal surastus kertinius taškus ir algoritminėmis priemonėmis bandoma nustatyti nedidelius kameros pozicijos pokyčius bei jų kompensavimo galimybes. Tokiuose metoduose dar papildomai gali būti naudojami kiti vaizdo apdorojimo būdai tokie, kaip triukšmo pašalinimas, ryškumo didinimas ir kt.
[0029] Anksčiau aptarti skyros didinimo metodai užfiksuotą vaizdą traktuoja kaip plokštumą, todėl reikalaujama, kad pradiniai mažos skyros vaizdai būtų užfiksuoti iš vieno taško (nekintančios kameros pozicijos). Šiame aprašyme pateiktas metodas vaizdo skyros didinimui naudoja pradinius mažos skyros vaizdus užfiksuotus iš skirtingų kameros pozicijų bei esant skirtingiems pasvirimo kampams fiksuojamo objekto atžvilgiu. Šiame išradime padidintos skyros vaizdų formavimą sudaro trys skyros didinimo etapai.
[0030] Pirmame skyros didinimo etape iš užfiksuotų fotografijų atkuriamas objekto 3D paviršius. 3D paviršius atkuriamas naudojant fotogrametrijos metodiką, nustatant kameros poziciją ir posūkio kampus fiksuojamo objekto atžvilgiu.
[0031] Antrame etape atliekama optinių iškraipymų korekcija panaudojant fotogrametrijos metu gautas geometrinių iškraipymų reikšmes.
[0032] Trečiame etape nustatomi padidintos skyros vaizdą sudarančių taškų intensyvumai.
[0033] Šis išradimas naujas tuo, kad naudojant minėtus tris vaizdų skyros didinimo etapus gaunami padidintos skyros vaizdai, kai pradiniai mažos skyros vaizdai buvo užfiksuoti esant skirtingoms kameros pozicijoms bei pasvirimo kampams. Aprašomas metodas veikia geriau jeigu spinduliai išvesti per kiekvieną paviršiaus tašką ir šiuos taškus matančių kamerų pozicijas sudaro didesnį negu 5 laipsnių kampą.
[0034] Toliau detaliau aprašomi vaizdo skyros didinimo etapai:
[0035] Skyros didinimas atliekamas iš N mažos skyros vaizdų, kurie sudaro mažos skyros vaizdų aibę L={V0,V1, K, VN}. Kiekvienas iš pradinių mažos skyros vaizdų Vl pakeičiamas į padidintos skyros vaizdą Vl'. Keičiant vaizdo skyrą, vaizdo geometriniai matmenys išlieka nepakitę, o vaizdą sudarančių taškų kiekis padidėja. Skyros didinimas atliekamas laisvai pasirinktu dydžiu, tačiau rekomenduojama ne didesniu, nei 1,5 karto, nes didinant daugiau nei 1,5 karto, skyros didinimo skaičiavimo metu gali būti gaunami nestabilūs rezultatai.
[0036] Pav. 1 pavaizduotas galimas skyros padidinimas minėtu 1,5 karto: a) dalyje pavaizduoto vaizdo kraštinę sudaro du mažos skyros taškai; b) dalyje pavaizduoto vaizdo kraštinę sudaro trys padidintos skyros taškai; c) dalyje pavaizduotas mažos skyros ir didesnės skyros vaizdų persidengimas.
[0037] Kiekvieno skyros didinimo etapo metu atskirai apdorojamas kiekvienas padidintos skyros vaizdo taškas, t.y.: visa funkcinių apdorojimų seka taikoma kiekvienam formuojamam padidintos skyros vaizdo Vl' taškui.
[0038] Toliau detaliau aprašomos atskiros funkcinio apdorojimo sekos fazės (žingsniai):
[0039] 1. Per mažesnės skyros vaizdo Vl centrą Cl išvedamas spindulys Rl, kertantis norimą apskaičiuoti didesnės skyros vaizdo tašką Qlxy. Spindulio sankirtoje su rekonstruotu trimačiu paviršiumi pažymimas taškas X.
[0040] 2. Per tašką X išvedama pagalbinė plokštuma Z. Plokštumos Z normalės kryptis yra priešinga spindulio Rl krypčiai.
[0041] 3. Aplink tašką Qlxy, esantį skaičiuojamos didelės skyros vaizde, sukuriama kvadratinė taško Qlxy aplinka S. Kvadratinę taško Qlxy aplinką S sudaro didelės skyros vaizdo taškai Wluv S. Vaizdo taškų kiekis, t.y. aplinkos dydis, pasirenkamas laisvai. Pav. 1, b) pavaizduota kvadratinė taško aplinka, kurios kraštinės ilgis – trys didelės skyros taškai.
[0042] 4. Per taško Qlxy kaimyninius taškus Wluv S išvedami spinduliai, kurių susikirtimuose su pagalbine plokštuma Z pažymimi trimačiai taškai Tuv.
[0043] 5. Šiame etape vyksta dvimačio vaizdo sutapdinimas su trimačiu vaizdu. Pagalbinė plokštuma Z pakreipiama, pasukama taip, kad jos normalė NZ sutaptų su trimačio paviršiaus normale NX taške X. Taškai Tuv pasukami kartu su plokštuma Z
[0044] 6. Kiekviename mažesnės skyros vaizde Vk L, panaudojant fotogrametrijos metu apskaičiuotas projekcines matricas, suprojektuojami trimačiai taškai Tuv ir gaunamos jų projekcijos Wkuv. Dėl plokštumos Z pasvirimo trimačio paviršiaus atžvilgiu, taškų projekcijos Wkuv kiekviename vaizde bus atvaizduojamos netaisyklingais keturkampiais, kurie geriausiai atitinka trimačio paviršiaus srities projekciją kiekviename vaizde.
[0045] 7. Iš buvusios vaizdų aibės L suformuojama nauja vaizdų aibė K. Vaizdas iš aibės L perkeliamas į naują vaizdų aibę K, jeigu tenkinamos dvi sąlygos:
[0046] a)Visos projekcijos Wkuv patenka į vaizdą Vk t.y.: Wkuv:0≤u≤w≤k,0≤v≤hvk, čia wvk ir hvk yra vaizdo Vk plotis ir aukštis atitinkamai.
[0047] b)Taško X normalė NX su vaizdo Vk spinduliu Rk sudaro mažesnį kampą negu 60˚ t.y.
[0048] 8. Visiems mažesnės skyros vaizdams Vk K projekcijų taškuose Wkuv apskaičiuojamos intensyvumų reikšmės Gkuv. Intensyvumų nustatymui naudojama bikubinė interpoliacija.
[0049] 9. Remiantis skyrelyje "Lygčių sistemos sudarymas" pateiktu aprašymu bei gautomis mažos skyros vaizdų intensyvumų vertėmis Gkuv sudaroma normalinių lygčių sistema padidintos skyros vaizdo taškų intensyvumams G'uv apskaičiuoti.
[0050] 10. Išsprendus lygčių sistemą iš vektoriaus x išrenkamas vidurinis elementas xi:i=M/2, atitinkantis centrinio padidintos skyros taško intensyvumą G'uv ir įrašomas į tašką Q'xy padidintos skyros vaizde V'l.
[0051] 11. Apdorojimo mechanizmas kartojamas ir kitiems likusiems vaizdo V'l taškams.
[0052] Pav. 2 pavaizduota ieškomo taško aplinka skirtinguose mažos skyros vaizduose.
[0053] Toliau pateikiamas paaiškinimas dėl minėtos lygčių sistemos (sudarymo):
[0054] Kiekvienas vaizdo taškas suprantamas kaip kvadratinės paviršiaus srities, kurią užima šis taškas, vidutinis intensyvumas. Žemesnės skyros vaizdo taškai persidengia neidealiai, todėl į kiekvieno taško keturkampį patenka keletas didelės skyros vaizdo taškų (kai kurie iš jų patenka dalinai). Bendru atveju kiekvieno žemesnės skyros taško reikšmę galima apskaičiuoti pagal svorinio vidurkio formulę:
[0055]
[0056] Čia gij- mažos skyros vaizdo taško intensyvumas, m- taško aplinkos S kraštinės dydis (Pav. 1. pateiktas pavyzdys, kurio kraštinė lygi 3), g'uv- padidintos skyros vaizdo taško intensyvumas, w'uv- kiekvieno didelės skyros vaizdo taško svoris apskaičiuojamas kaip g'uv persidengiančio ploto su gij santykis.
[0057] Didelės skyros taško Qlxy reikšmė apskaičiuojama iš šio taško aplinkos S projekcijos kiekviename mažos skyros vaizde. Pav. 1 pavaizduota taško aplinka mažos skyros vaizde (dalis a), didelės skyros vaizde (dalis b) bei persidengiančios didelės ir mažos skyros taškų sritys (dalis c).
[0058] Naudojantis formule (1), sudaroma tiesinių lygčių sistema (angl. normal equation system), kuri užrašome matricine forma:
[0059] Ax=b
[0060] Čia x– visų ieškomo didelės skyros vaizdo taškų intensyvumai, b– pradinių mažos skyros vaizdo taškų intensyvumai, A– svorių matrica, atitinkanti kiekvieno didelės skyros vaizdo taško persidengiantį plotą su mažos skyros vaizdų taškais.
[0061] Atsižvelgiant į taško aplinką patenkančių didelės skyros taškų (nežinomųjų) kiekį, nustatomas reikiamas lygčių kiekis sistemoje. Lygčių kiekis turi būti toks pats arba didesnis už ieškomų taškų (nežinomųjų) kiekį. Pav. 1 pateiktame pavyzdyje didelės skyros taškų aplinką sudaro 9 nežinomi taškai, todėl lygčių sistemą turi sudaryti ne mažiau, kaip 9 lygtys. Mažos skyros taškų aplinką sudaro 4 taškai. Reikiamam lygčių kiekiui pasiekti, turime naudoti bent 3 mažos skyros vaizdų duomenis, tokiu būdu sudarydami 12 lygčių sistemą, iš kurių kiekviena turės po 9 nežinomuosius.
[0062] Remiantis Pav. 1 pateiktu pavyzdžiu ir formule (1) bei turimomis ieškomo taško mažos skyros vaizdų taškų intensyvumų vertėmis Gkuv sudaroma normalinių lygčių sistema didelės skyros vaizdo taškų intensyvumams G'uv apskaičiuoti. Matrica A užpildoma persidengiančių taškų plotų santykiais. Kiekviena lygtis atitinka vieno mažos skyros taško intensyvumo įvertį, sudarytą iš didelės skyros nežinomų taškų įverčių pagal formulę (1). Vektorius B užpildomas mažos skyros taškų intensyvumų reikšmėmis Gkuv. Pateiktame pavyzdyje pirmos 4 lygtys aprašo pirmojo mažos skyros vaizdo aplinkos taškus, sekančios 4 – antrojo, o dar paskutinės 4 – trečiojo vaizdo:
[0063]
[0064] Išsprendus lygčių sistemą, vektoriuje x randame padidintos skyros taškų intensyvumus G'uv.
[0065]
[0066] Matrica A bus vienoda visiems apskaičiuojamiems taškams (arba gali būti pratęsiama, jeigu skaičiavimams bus naudojama daugiau negu 3 vaizdai), o vektorius B užpildomas ieškomo taško aplinkos taškų reikšmėmis.
[0067] Toliau pateikiami skyros didinimo mechanizmo apribojimai.
[0068] Skyros didinimas atskirose suformuotos didelės skyros nuotraukos vietose bus skirtingas. Padidintos skyros vaizdo detalumas labai priklausys tiek nuo persidengiančių nuotraukų kiekio, tiek nuo bendro taškų tankio ieškomo taško aplinkoje t.y.: iš arčiau fotografuotose nuotraukose objekto paviršius turi didesnę skyrą negu nuotraukose, darytose iš didesnio atstumo, todėl, bandant padidinti iš arčiau darytų nuotraukų skyrą panaudojant iš didesnio atstumo darytas persidengiančias nuotraukas, rezultatas bus nestabilus. Jeigu persidengiančių nuotraukų taškų koordinatės labai koreliuos tarpusavyje - nuotraukos gali nepakankamai papildyti viena kitą, nes nebus naujos informacijos, kuri galėtų būti panaudota atkuriamos / formuojamos nuotraukos skyros didinimui. Tačiau, dėl tiriamo paviršiaus nelygumo bei kameros padėties pokyčio kitose tos pačios nuotraukos vietose, taškų koreliacija bus mažesnė, todėl padidintos skyros vaizdas bus detalesnis.
[0069] Nuotraukų srityse, kuriose užfiksuoti abstraktūs objektai (dangus, blizgantis paviršius, raibuliuojantis vanduo ir t.t.) arba nėra pakankamo kiekio persidengiančių nuotraukų, skyra didinama iš pradinių mažos skyros vaizdo taškų panaudojant bikubinės interpoliacijos metodą.
[0070] Nors šiame darbe aprašomi vienspalvių vaizdų raiškos didinimo principai, tačiau šis metodas gali būti naudojamas ir spalvotiems vaizdams. Spalvotų vaizdų atveju kiekvieno padidintos skyros vaizdo taško spalva nustatoma pritaikant aprašomą metodą kiekvienai pirminiai spalvai (raudonai, žaliai ir mėlynai) atskirai.
[0071] Siekiant iliustruoti ir aprašyti šį išradimą, aukščiau pateiktas tinkamiausių įgyvendinimo variantų aprašymas. Tai nėra išsamus arba ribojantis aprašymas, siekiantis nustatyti tikslią formą arba įgyvendinimo variantą. Į aukščiau pateiktą aprašymą reikia žiūrėti daugiau kaip į iliustraciją, o ne kaip į apribojimą. Akivaizdu, kad tos srities specialistams gali būti akivaizdžios daugybė modifikacijų ir variacijų. Įgyvendinimo variantas yra parinktas ir aprašytas tam, kad tos srities specialistai geriausiai išaiškintų šio išradimo principus ir jų geriausią praktinį pritaikymą, skirtą skirtingiems įgyvendinimo variantams su skirtingomis modifikacijomis, tinkančiomis konkrečiam panaudojimui arba įgyvendinimo pritaikymui. Numatyta, kad išradimo apimtis apibrėžiama prie jo pridėta apibrėžtimi ir jos ekvivalentais, kuriuose visi minėti terminai turi prasmę plačiausiose ribose, nebent nurodyta kitaip.
[0072] Įgyvendinimo variantuose, aprašytuose tos srities specialistų, gali būti sukurti pakeitimai, nenukrypstantys nuo šio išradimo apimties, kaip tai nurodyta toliau pateiktoje apibrėžtyje.
1. Dalinai persidengiančių žemos skyros vaizdų,
užfiksuotų iš skirtingų fotokameros pozicijų bei kampų, automatinis formavimo ir apdorojimo būdas siekiant suformuoti iš jų didelės skyros vaizdą,
apimantis:
informacijos surinkimą iš mažos skyros vaizdų;
apdorojimo mechanizmą; bei
padidintos skyros vaizdo formavimą;
b e s i s k i r i a n t i s tuo, kad
šis apdorojimo būdas apima šiuos tris funkcinius apdorojimo žingsnius:
pirmajame skyros didinimo etape iš mažos skyros nuotraukų, naudojant fotogrametrijos metodiką, surandamos kamerų pozicijos ir posūkio kampai erdvėje, bei atkuriamas užfiksuoto objekto 3D paviršius;
antrajame skyros didinimo etape atliekama optinių iškraipymų korekcija panaudojant fotogrametrijos metu gautus geometrinių iškraipymų duomenis;
trečiajame etape apskaičiuojamos padidintos skyros vaizdą sudarančių taškų intensyvumų reikšmės.
2. Skaitmeninių vaizdų automatinio formavimo ir apdorojimo būdas pagal 1 punktą, b e s i s k i r i a n t i s tuo, kad minėti 3 apdorojimo etapai sudaro šiuos funkcinius žingsnius:
a) per mažos skyros vaizdo Vl centrą Cl išvedamas spindulys Rl, kertantis norimą apskaičiuoti didelės skyros vaizdo tašką Qlxy, kur spindulio sankirtoje su rekonstruotu trimačiu paviršiumi pažymimas taškas X;
b) per tašką X išvedama pagalbinė plokštuma Z, kur plokštumos Z normalės kryptis yra priešinga spindulio Rl krypčiai;
c) aplink tašką Qlxy, esantį padidintos skyros vaizde, sukuriama kvadratinė taško Qlxy aplinka S, kur kvadratinę taško Qlxy aplinką S sudaro didelės skyros vaizdo taškai Wluv S, kur vaizdo taškų kiekis, t.y.: aplinkos dydis, pasirenkamas laisvai;
d) per taško Qlxy kaimyninius taškus Wluv S išvedami spinduliai, kurių susikirtimuose su pagalbine plokštuma Z pažymimi trimačiai taškai Tuv;
e) atliekama dvimačio vaizdo sutapdinimo procedūra su trimačiu vaizdu, kur pagalbinė plokštuma Z pakreipiama, pasukama taip, kad jos normalė NZ sutaptų su trimačio paviršiaus normale NX taške X, o taškai Tuv pakreipiami, pasukami taip, kad išliktų tose pačiose plokštumos Z vietose;
f) kiekviename mažesnės skyros vaizde Vk L, panaudojant fotogrametrijos rezultatus, suprojektuojami trimačiai taškai Tuv ir gaunamos jų projekcijos Wkuv, kur dėl plokštumos Z pasvirimo trimačio paviršiaus atžvilgiu, taškų projekcijos Wkuv kiekviename vaizde bus atvaizduojamos netaisyklingais keturkampiais, kurie geriausiai atitinka trimačio paviršiaus srities projekciją kiekviename vaizde;
g) iš buvusios vaizdų aibės L suformuojama nauja vaizdų aibė K, vaizdas iš aibės L perkeliamas į naują vaizdų aibę K, jeigu tenkinamos dvi sąlygos:
aa) visos projekcijos Wkuv patenka į vaizdą Vk t.y.: Wkuv:0≤u≤wvk,0≤v≤hvk, čia wvk ir hvk yra vaizdo Vk plotis ir aukštis atitinkamai;
bb) taško X normalė NX su vaizdo Vk spinduliu Rk sudaro mažesnį kampą negu 60˚ arba
h) visiems mažesnės skyros vaizdams Vk K projekcijų taškuose Wkuv apskaičiuojamos intensyvumų reikšmės Gkuv, kur intensyvumų nustatymui naudojama bikūbinės interpoliacijos metodika;
i) pagal gautas žemesnės skyros vaizdų intensyvumų vertes Gkuv sudaroma normalinių lygčių sistema padidintos skyros vaizdo intensyvumams G'uv apskaičiuoti;
j) išsprendus minėtą lygčių sistemą, iš vektoriaus x išrenkamas vidurinis elementas xi:i=M/2, atitinkantis centrinio padidintos skyros taško intensyvumą G'uv ir įrašomas į tašką Q'xy padidintos skyros vaizde V'l.
3. Skaitmeninių vaizdų formavimo ir automatinio apdorojimo būdas pagal 2 punktą, besiskiriantis tuo, kad minėti funkciniai žingsniai a)-j) kartojami likusiems vaizdo V'l taškams.