Vaizdo kodavimo prasmė
Didelė saugojimo vieta originaliems vaizdo duomenims, 1080P 7 s vaizdo įrašui reikia 817 MB
Originalus vaizdo duomenų perdavimas užima didelį pralaidumą, o aukščiau nurodytų 11 sekundžių vaizdo įrašo perdavimas 7 Mbps pralaidumu užtrunka 10 minučių.
Po H.264 kodavimo ir suglaudinimo vaizdo įrašo dydis yra tik 708 k, o 10 Mbps pralaidumui reikia tik 500 ms, o tai gali patenkinti perdavimo realiuoju laiku poreikius. Todėl originalus vaizdo įrašas, surinktas iš vaizdo gavimo jutiklio, turi būti užkoduotas.
Pagrindinis
Taigi kodėl didžiulį originalų vaizdo įrašą galima užkoduoti labai mažame vaizdo įraše? Kokia tai technologija? Prieš kalbėdami apie technologijas, pirmiausia turėtume nustatyti vaizdo, t. Y. Nepertraukiamo vaizdo, sampratą.
Pagrindinė idėja yra pašalinti nereikalingą informaciją:
Erdvinis perteklinis ryšys: tarp gretimų paveikslėlio taškų yra stipri koreliacija
Laikinas atleidimas: panašus turinys tarp gretimų vaizdo įrašų sekos
Kodavimo nereikalingumas: skirtingos pikselių vertės turi skirtingą tikimybę
Vizualinis nereikalingumas: žmogaus regėjimo sistema nėra jautri tam tikroms detalėms
Žinių atleidimas: reguliarumo struktūrą galima gauti iš išankstinių žinių ir žinių
Vaizdo įrašas iš esmės yra nuotraukų serija, kuri leidžiama nuolat ir greitai, todėl paprasčiausias būdas suspausti vaizdo įrašą yra suspausti kiekvieną nuotraukų rėmelį. Pavyzdžiui, senesnis MJPEG kodavimas yra suspausti kiekvieną vaizdo įrašo kadrą. Šis kodavimo metodas Yra tik vidinis kadro kodavimas, kuris kodavimui naudoja erdvinį mėginio nuspėjimą. Vaizdo metafora yra traktuoti kiekvieną kadrą kaip paveikslėlį, o vaizdui suspausti naudoti JPEG kodavimo formatą. Tokio tipo kodavimas atsižvelgia tik į nereikalingos informacijos glaudinimą paveikslėlyje.
Tačiau dėl laiko koreliacijos tarp kadrų buvo sukurti kai kurie pažangūs kodavimo įrenginiai, galintys naudoti kodavimą tarp kadrų. Paprasčiau tariant, tam tikros rėmelio sritys parenkamos per paieškos algoritmą, tada apskaičiuojamas dabartinis rėmas. Tai yra kodavimo forma su vektoriniu skirtumu tarp priekinių ir galinių atskaitos rėmelių. Per šiuos du vienas po kito einančius kadrus, pavaizduotus 2 paveiksle, galime pamatyti, kad slidininkas slenka į priekį, bet iš tikrųjų sniego scena slenka atgal, o P rėmelis yra nurodomas. Rėmeliai (I arba kiti P rėmeliai) gali būti užkoduoti, dydis po kodavimo yra labai mažas, o suspaudimo laipsnis yra labai didelis.
Nuoroda apie rėmas http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Kai kuriuos studentus gali dominti, kaip atsirado šios dvi nuotraukos. Čia yra dvi FFmpeg komandų eilutės, kurias reikia pasiekti. Norėdami gauti daugiau informacijos apie FFmpeg, žr. Šiuos skyrius:
Pirmoji eilutė sukuria vaizdo įrašą su judančiu vektoriu
Antroji eilutė kiekvieną kadrą išleidžia kaip paveikslėlį
Naudokite komandą
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Be erdvinio pertekliaus ir laiko perteklinio suspaudimo, daugiausia yra kodavimo ir vizualinis glaudinimas. Toliau pateikiama pagrindinė koduotojo srauto diagrama:
3 ir 4 paveikslai yra du procesai. 3 paveiksle yra vidinis kadro kodavimas, o 4 paveiksle - tarpskaitinis kodavimas. Pagrindinis iš paveikslo matomas skirtumas yra tas, kad pirmasis žingsnis yra kitoks. Iš tikrųjų šie du procesai taip pat yra sujungti. Apskritai, I kadre ir P kadre naudojami atitinkamai vidaus kadrų ir tarp kadrų kodai.
Koduotojo pasirinkimas
Aš sutvarkiau kodavimo principą ir pagrindinį procesą. Koduotojas patyrė dešimtmečių plėtrą. Jis tapo tik palaikantis vidinio kadro kodavimą iki naujos kartos koduotojų, kuriuos šiandien atstovauja H.265 ir VP9. Šiuo metu yra analizuojami kai kurie įprasti kodavimo įrenginiai ir mes jus apžiūrėsime koduotojų pasaulį.
H.264
Įvadas
H.264 / AVC projektas ketina sukurti vaizdo standartą. Palyginti su senuoju standartu, jis gali teikti aukštos kokybės vaizdo įrašus mažesniu pralaidumu (kitaip tariant, tik puse MPEG-2, H.263 arba MPEG-4 2 dalies pralaidumo ar mažiau), nepridėdamas per daug dizaino sudėtingumo. to neįmanoma pasiekti arba įgyvendinimo išlaidos yra per didelės. Kitas tikslas yra suteikti pakankamai lankstumo, kuris gali būti naudojamas įvairiose programose, tinkluose ir sistemose, įskaitant didelį ir mažą pralaidumą, didelę ir mažą vaizdo skiriamąją gebą, transliavimą, DVD saugojimą, RTP / IP tinklus ir ITU-T daugialypės terpės telefonų sistemą.
H.264 / AVC yra daugybė naujų funkcijų, todėl ji ne tik efektyvesnė už ankstesnius kodekus, bet ir gali būti naudojama įvairiose tinklo aplinkose esančiose programose. Dėl šio techninio pagrindo H.264 tapo pagrindiniu internetinių vaizdo įrašų kompanijų, įskaitant „YouTube“, naudojamu kodeku, tačiau jo naudojimas nėra labai lengva užduotis. Teoriškai norint naudoti H.264 reikia daug pinigų. Patentų mokesčiai.
Patentinė licencija
Kaip ir pirmoji ir antroji MPEG-2 dalys, ir antroji MPEG-4 dalis, produktų gamintojai ir paslaugų teikėjai, kurie naudoja H.264 / AVC, turi mokėti patento licencijos mokesčius patentų savininkams. Pagrindinis šių patentų licencijų šaltinis yra privati organizacija, vadinama MPEG-LA LLC. Ši organizacija neturi nieko bendro su MPEG standartizacijos organizacija, tačiau ši organizacija taip pat valdo MPEG-2 pirmosios dalies, antrosios dalies vaizdo įrašą ir MPEG-4 pirmąją dalį. Dviejų dalių vaizdo ir kitų technologijų patentų licencijos.
Kitos patentų licencijos turi būti taikomos kitai privačiai organizacijai, vadinamai VIA Licensing, kuri taip pat valdo garso glaudinimo standartų, tokių kaip MPEG-2 AAC ir MPEG-4 Audio, patentines licencijas.
Atvirojo kodo H.264 diegimas
„openh264“ yra atvirojo kodo H.264 kodavimo programa, kurią įgyvendina „Cisco“. Nors H.264 reikalauja didelio patento mokesčio, yra metinis patento mokesčio apribojimas. „Cisco“ sumokėjus metinį „OpenH264“ patento mokestį, „OpenH264“ iš tikrųjų yra nemokama. Naudokitės laisvai.
x264 yra nemokama vaizdo įrašų kodavimo programinė įranga, licencijuota pagal GPL. Pagrindinė „x264“ funkcija yra atlikti H.264 / MPEG-4 AVC vaizdo kodavimą, o ne kaip dekoderį.
Išskyrus išlaidų klausimą palyginimui:
„Openh264“ procesoriaus naudojimas yra daug mažesnis nei „x264“
„openh264“ palaiko tik pradinį profilį, „x264“ palaiko daugiau profilių
HEVC / H.265
Įvadas
Didelio efektyvumo vaizdo kodavimas (HEVC) yra vaizdo glaudinimo standartas (dar vadinamas H.265), kuris laikomas ITU-T H.264 / MPEG-4 AVC standarto tęsėju. 2004 m. ISO / IEC judančių vaizdų ekspertų grupė (MPEG) ir ITU-T vaizdo įrašų kodavimo ekspertų grupė (VCEG) pradėjo kurti kaip ISO / IEC 23008-2 MPEG-H 2 dalis arba ITU-T H.265. Pirmoji HEVC / H.265 vaizdo glaudinimo standarto versija buvo priimta kaip oficialus Tarptautinės telekomunikacijų sąjungos (ITU-T) standartas 13 m. Balandžio 2013 d. Manoma, kad HEVC ne tik pagerina vaizdo kokybę, bet ir du kartus pasiekia H.264 / MPEG-4 AVC glaudinimo laipsnis (atitinka 50% sumažėjusį bitų greitį esant ta pačiai vaizdo kokybei) ir gali palaikyti 4K raišką ir net itin aukštos raiškos televiziją (UHDTV), didžiausia skiriamoji geba gali būti pasiekti 8192 × 4320 (8K skiriamoji geba).
Patentinė licencija
HEVC reikalauja, kad visi turinio gamintojai, kurie naudojasi H.265 technologija, įskaitant „Apple“, „YouTube“, „Netflix“, „Facebook“ ir „Amazon“, sumokėtų 0.5% savo pajamų iš turinio kaip technologijos naudojimo mokestį. Visa srautinės žiniasklaidos rinka kiekvienais metais siekia apie 100 milijardų JAV dolerių, ir ji toliau auga. Augant, 0.5% rinkliava tikrai yra didžiulis mokestis. Ir jie nepaleido įrangos gamintojų, tarp kurių televizorių gamintojai už patentą turi mokėti 1.5 JAV dolerio, mobiliųjų įrenginių gamintojai - 0.8 JAV dolerio už vienetą. Jie net nepaleido tokių gamintojų kaip „Blu-ray“ įrenginių grotuvai, žaidimų konsolės ir vaizdo registratoriai, kurie turi mokėti po 1.1 USD.
Atvirojo kodo H.265 / HEVC diegimas
„libde265 HEVC“ teikia „struktur“ kompanija pagal atvirojo kodo licenciją „GNU Lesser General Public License“ (LGPL), o žiūrovai gali mėgautis aukščiausios kokybės vaizdais lėtesniu interneto greičiu. Palyginti su ankstesniais dekoderiais, pagrįstais H.264 standartu, „libde265 HEVC“ dekoderis gali padidinti jūsų „HD“ turinį iki dvigubai didesnės auditorijos arba 50% sumažinti srautui reikalingą pralaidumą.
„x265“ sukūrė „MulticoreWare“ ir yra atvira pagal GPL sutartį.
VP8
Įvadas
VP8 yra atviras vaizdo įrašų glaudinimo formatas, kurį pirmiausia sukūrė „On2 Technologies“, o tada išleido „Google“. Tuo pačiu metu „Google“ išleido VP8 koduotą diegimo biblioteką „libvpx“, kuri buvo išleista BSD licencijos sąlygų pavidalu, ir vėliau pridėjo teisę naudoti patentą. Po kai kurių argumentų VP8 įgaliojimas galiausiai buvo patvirtintas kaip atvirojo kodo įgaliojimas.
Šiuo metu VP8 palaikančios interneto naršyklės yra „Opera“, „Firefox“ ir „Chrome“.
Patentinė licencija
2013 m. Kovo mėn. „Google“ susitarė su „MPEG LA“ ir 11 patentų savininkų leisti „Google“ gauti VP8 ir ankstesnius „VPx“ bei kitus koduotes, kurios gali būti pažeistos patentų srityje. Tuo pačiu metu „Google“ taip pat gali nemokamai perleisti susijusius patentus VP8 vartotojams. , Ši sutartis taip pat tinka naujos kartos VPx kodavimui. Iki šiol „MPEG LA“ atsisakė įsteigti VP8 patentų centralizuotą licencijavimo aljansą, o VP8 vartotojai galės nuspręsti nemokamai naudoti šį kodą, nesijaudindami dėl galimų patentų pažeidimų autorinių atlyginimų.
Atvirojo kodo VP8 diegimas
„Libvpx“ yra vienintelis atvirojo kodo VP8 diegimas. Jį sukūrė „On2 Technologies“. „Google“ jį įsigijusi atidarė savo kodą. Licencija yra labai laisva ir ja galima laisvai naudotis.
VP9
Įvadas
VP9 kūrimas prasidėjo 2011 m. Trečiąjį ketvirtį. Tikslas yra sumažinti failo dydį 50%, palyginti su VP8 kodavimu ta pačia vaizdo kokybe. Kitas tikslas yra viršyti HEVC kodavimą kodavimo efektyvumu.
13 m. Gruodžio 2012 d. „Chromium“ naršyklė papildė VP9 kodavimo palaikymą. „Chrome“ naršyklė pradėjo palaikyti VP9 koduotą vaizdo įrašų atkūrimą 21 m. Vasario 2013 d.
„Google“ paskelbė, kad užbaigs VP9 kodo kūrimą 17 m. Birželio 2013 d., Kai „Chrome“ naršyklė pagal numatytuosius nustatymus vadovaus VP9 kodui. 18 m. Kovo 2014 d. „Mozilla“ prie „Firefox“ naršyklės pridėjo VP9 palaikymą.
3 m. Balandžio 2015 d. „Google“ išleido „libvpx1.4.0“, kuris papildė 10 ir 12 bitų gylio palaikymą, 4: 2: 2 ir 4: 4: 4 chromos mėginių ėmimą ir VP9 kelių branduolių kodavimą / dekodavimą.
Patentinė licencija
VP9 yra atviro formato vaizdo įrašų kodavimo formatas be honoraro.
Atvirojo kodo VP9 diegimas
„libvpx“ yra vienintelis atvirojo kodo „VP9“ diegimas, kurį sukūrė ir prižiūri „Google“. Kai kuriuos kodus naudoja VP8 ir VP9, o likusieji yra atitinkamai VP8 ir VP9 kodekų diegimai.
VP9 ir H.264 bei HEVC palyginimas
HEVC ir H.264 palyginimas skirtingomis rezoliucijomis
Palyginti su H.264 / MPEG-4, vidutinis HEVC bitų greičio sumažėjimas yra:
Galima pastebėti, kad bitų sparta sumažėjo daugiau nei 60%
HEVC (H.265) turi didesnį pranašumą taupant VP9 ir H.264 bitų perdavimo spartą, tuo pačiu PSNR sutaupant atitinkamai 48.3% ir 75.8%
H.264 turi didžiulį pranašumą užkoduojant laiką. Palyginti su VP9 ir HEVC (H.265), HEVC yra 6 kartus didesnis nei VP9, o VP9 beveik 40 kartų didesnis nei H.264.
