Garso ir vaizdo kūrimas ir mokymasis

Pirmiausia manome, kad kažkas neturi nulinio garso ir vaizdo pagrindo ir niekada neišmoko jokių su skaitmeniniu signalo apdorojimu susijusių žinių. Matematinis pagrindas iš esmės yra aukštosios mokyklos lygis, tačiau jis yra susipažinęs su C / C ++ kūrimu, bent jau su IDE kompiliavimu ir derinimu pagal tam tikrą platformą.

Didžiausią dėmesį skirkite dviem atvirojo kodo projektams „ffmpeg“ ir „webRTC“, daugiausia žiūrėdami į „ffmpeg“ vaizdo dalį ir „webRTC“ garso dalį.

Pirmiausia, pradėkite nuo vaizdo dekodavimo. Tai paprasčiausias. Pagrindinis „ffmpeg“ vaizdo įrašų dekodavimo kodas yra tik apie 100 eilučių. Vaizdo dekodavimui reikia suprasti tik h.264, 80% ir daugiau scenų yra šiame kodavimo formate, suprasti pagrindines H.264 sps pps NAL ir kitas failo formato sąvokas, suprasti YUV vaizdo formato principą ir suprasti YUV konversiją į RGB , Taigi, jūs galite padaryti vaizdą, galite pasiekti paprastą vaizdo grotuvą. (Iš esmės pirmajame etape)

Tada, norint sužinoti apie vaizdo įrašų kodavimą, rekomenduojama pradėti nuo x264, paprastas skambutis į x264 kodavimo kodą yra mažesnis nei 100 eilučių. Kodavimas yra sudėtingesnis nei dekodavimas tuo, kad dekodavimui nereikia konfigūruoti jokių parametrų, o koduojant yra daugybė parametrų, kuriuos reikia sukonfigūruoti. Pradžioje tiesiog supraskite kelias pagrindines sąvokas, tokias kaip kadrų dažnis, įprasti srauto valdymo metodai ABR CRF, GOP, I / B Ką reiškia / P Frame atitinkamai. (Vėl susipažinęs su X264 kodavimu)

Garso dalies kodekas yra panašus į vaizdo įrašo kodeką. Pradiniame etape jums reikia suprasti tik du koduotojus EAAC + ir Silk, suprasti garso kanalo, atrankos dažnio ir pan. Sąvokas bei suprasti „Wave“ failo formatą. Gali būti paprastas garso grotuvas. (Sukurkite garso grotuvą)

Kompleksinė garso dalis yra ne kodekas, o garso efektas. Pažvelkite į „WebRTC“ garso apdorojimo modulį ir supraskite šias sąvokas: NS atjungimas, aido panaikinimas AEC, nutildymo aptikimo VAD, automatinio stiprinimo valdymo AGC ir įmontuotas „webRTC“. Nors algoritmas nėra geriausias, tačiau jis gali išspręsti daugiau nei 90% problemų, ir verta to išmokti. (Sužinokite apie „webrtc“ garso apdorojimą)

Sužinojęs tai, turiu pagalvoti apie klausimą, ar noriu važiuoti inžineriniu, ar algoritminiu keliu. Jei tai yra algoritminis maršrutas, turiu išmokti matematikos. Už skaitmeninio signalo apdorojimo slypi daugybė pagrindinių matematinių teorijų. Jei tai yra inžinerijos maršrutas, turite išmokti kurti įvairias platformas, išmokti rinkti, atkurti ir apdoroti garso ir vaizdo įrašus keliose platformose ir išmokti surinkimo kalbos optimizavimą keliose platformose. (Susijęs su platforma)

Garso ir vaizdo įrašai yra labai gilus laukas, ir jūs niekada neužbaigsite mokymosi per visą gyvenimą, tačiau ši sritis turi pranašumą, kad žinių atnaujinimo greitis yra gana lėtas, išmoktų dalykų nėra lengva pašalinti ir kaupiama patirtis yra labai svarbu.v