3. συλλογή
Η απόκτηση περιλαμβάνει κυρίως δύο πτυχές: απόκτηση βίντεο και απόκτηση ήχου. Το βίντεο συλλέγεται από την κάμερα, η οποία περιλαμβάνει τη σχετική λειτουργία της κάμερας και τη ρύθμιση παραμέτρων της κάμερας. Λόγω των διαφορών στις κάμερες διαφόρων κατασκευαστών κινητών τηλεφώνων, υπάρχουν ορισμένες παγίδες σχετικά με αυτό, οι οποίες θα περιγραφούν στο άρθρο σχετικά με την κάμερα. Ο ήχος συλλέγεται μέσω μικροφώνου. Τα μικρόφωνα διαφορετικών κινητών τηλεφώνων υποστηρίζουν διαφορετικούς ρυθμούς δειγματοληψίας ήχου και μερικές φορές ο ήχος πρέπει να ακυρωθεί με ηχώ προκειμένου να υποστηριχθεί η λειτουργία μικροφώνου.
Βασικά σημεία της τεχνολογίας λήψης βίντεο:
Ελέγξτε εάν μπορεί να χρησιμοποιηθεί η κάμερα.
Η εικόνα που τραβήχτηκε από την κάμερα είναι οριζόντια και η εικόνα που τραβήχτηκε πρέπει να περιστραφεί σε κάποιο βαθμό πριν εμφανιστεί.
Υπάρχουν μια σειρά μεγεθών εικόνας για να διαλέξετε κατά τη λήψη της κάμερας. Όταν το μέγεθος της εικόνας που έχετε τραβήξει δεν συμφωνεί με το μέγεθος της οθόνης του κινητού τηλεφώνου, απαιτείται ειδική επεξεργασία.
Η κάμερα τηλεφώνου Android διαθέτει μια σειρά καταστάσεων και η αντίστοιχη λειτουργία της κάμερας πρέπει να βρίσκεται στη σωστή κατάσταση.
Πολλές παράμετροι της κάμερας τηλεφώνου Android έχουν προβλήματα συμβατότητας και αυτά τα ζητήματα συμβατότητας πρέπει να αντιμετωπιστούν καλύτερα.
Βασικά σημεία της τεχνολογίας λήψης ήχου:
Ελέγξτε εάν μπορεί να χρησιμοποιηθεί το μικρόφωνο.
Πρέπει να εντοπίσετε την υποστήριξη του κινητού τηλεφώνου για ένα συγκεκριμένο ρυθμό δειγματοληψίας ήχου.
Σε ορισμένες περιπτώσεις, είναι απαραίτητη η επεξεργασία ακύρωσης ηχούς στον ήχο.
Ορίστε το σωστό μέγεθος buffer κατά τη λήψη ήχου.
Σημείωση: Θα υπάρξει ένα ειδικό άρθρο σχετικά με τη συλλογή αργότερα
4. επεξεργασία
Επεξεργασία βίντεο
Το Beauty είναι πλέον σχεδόν μια τυπική διαμόρφωση λογισμικού ζωντανής μετάδοσης κινητού τηλεφώνου. Μετά την ομορφιά, ο οικοδεσπότης έχει μεγαλύτερη εμφάνιση και είναι πιο ελκυστικός για τους θαυμαστές. Υπάρχουν επίσης ορισμένες εφαρμογές ζωντανής μετάδοσης Android που μπορούν να αναγνωρίσουν το πρόσωπο του οικοδεσπότη και να προσθέσουν διασκεδαστικά κινούμενα σχέδια. Ειδικά εφέ, μερικές φορές πρέπει επίσης να προσθέσουμε ένα υδατογράφημα στο βίντεο.
Στην πραγματικότητα, η ομορφιά του βίντεο και η προσθήκη ειδικών εφέ υποβάλλονται σε επεξεργασία μέσω του OpenGL. Υπάρχει GLSurfaceView στο Android, το οποίο είναι παρόμοιο με το SurfaceView, αλλά μπορεί να αποδοθεί με το Renderer. Η υφή μπορεί να δημιουργηθεί μέσω του OpenGL, το SurfaceTexture μπορεί να δημιουργηθεί μέσω του αναγνωριστικού υφής και το SurfaceTexture μπορεί να παραδοθεί στην κάμερα, και τέλος η οθόνη προεπισκόπησης της κάμερας και το OpenGL συνδέονται μέσω της υφής, έτσι ώστε μια σειρά λειτουργιών να μπορεί να πραγματοποιηθεί μέσω του OpenGL .
Η όλη διαδικασία της ομορφιάς δεν είναι τίποτα περισσότερο από τη δημιουργία μιας νέας υφής μέσω της τεχνολογίας FBO στο OpenGL με βάση την υφή που προεπισκόπησε η κάμερα και στη συνέχεια τη χρήση της νέας υφής για να αντλήσει το onDrawFrame () στο Renderer. Η προσθήκη υδατογραφήματος είναι να μετατρέψετε πρώτα μια εικόνα σε υφή και, στη συνέχεια, να χρησιμοποιήσετε το OpenGL για σχέδιο. Η προσθήκη δυναμικών μενταγιόν ειδικών εφέ είναι πιο περίπλοκη. Πρώτον, είναι απαραίτητο να πραγματοποιηθεί αλγοριθμική ανάλυση για τον προσδιορισμό των αντίστοιχων τμημάτων του ανθρώπινου προσώπου με βάση την τρέχουσα εικόνα προεπισκόπησης και, στη συνέχεια, να σχεδιάσετε αντίστοιχες εικόνες σε κάθε αντίστοιχο τμήμα. Η πραγματοποίηση ολόκληρης της διαδικασίας είναι κάπως δύσκολη.
Το παρακάτω σχήμα είναι ένα διάγραμμα ροής ολόκληρης της διαδικασίας ομορφιάς:
Διαδικασία ομορφιάς
Η παρακάτω εικόνα δείχνει τα εφέ ομορφιάς και κινούμενης εικόνας πολύ καλά.
Ομορφιά
Εφέ κινούμενων σχεδίων και υδατογραφήματα
Σημείωση: Θα υπάρξει ένα ειδικό άρθρο σχετικά με το OpenGL και την πραγματοποίηση ολόκληρης της διαδικασίας.
Επεξεργασία ήχου
Σε ορισμένες περιπτώσεις, ο οικοδεσπότης πρέπει να προσθέσει μερικούς επιπλέον ήχους για να αυξήσει την ατμόσφαιρα της ζωντανής μετάδοσης, όπως χειροκροτήματα και ούτω καθεξής. Ένας τρόπος αντιμετώπισης είναι να παίξετε απευθείας τον πρόσθετο ήχο, έτσι ώστε το μικρόφωνο να το συλλέξει και να το ηχογραφήσει μαζί, αλλά αυτό το είδος επεξεργασίας δεν θα λειτουργήσει όταν η άγκυρα φορά ακουστικά ή πρέπει να εκτελέσει επεξεργασία ακύρωσης ηχούς στον ήχο . Δεδομένου ότι η αντίστοιχη λειτουργία δεν έχει προστεθεί στο έργο μας, δεν υπάρχει σχετική εμπειρία για κοινή χρήση προς το παρόν, ενδέχεται να προσθέσουμε αυτήν τη λειτουργία αργότερα και, στη συνέχεια, να την κοινοποιήσουμε μαζί σας.
5. κωδικοποίηση
Μέσω της κάμερας και του μικροφώνου, μπορούμε να συλλέξουμε τα αντίστοιχα δεδομένα βίντεο και ήχου, αλλά αυτά είναι ανεπεξέργαστα δεδομένα σε σταθερή μορφή. Σε γενικές γραμμές, η κάμερα συλλέγει ένα καρέ ανά καρέ, και το μικρόφωνο συλλέγει δεδομένα ήχου PCM. Εάν αυτά τα δεδομένα αποστέλλονται απευθείας, η ποσότητα των δεδομένων είναι συχνά πολύ μεγάλη, με αποτέλεσμα μεγάλη σπατάλη εύρους ζώνης, επομένως είναι συχνά απαραίτητο να κωδικοποιήσετε βίντεο και ήχο πριν από την αποστολή.
Κωδικοποίηση βίντεο
1. Προγνωστική κωδικοποίηση
Όπως όλοι γνωρίζουμε, μια εικόνα αποτελείται από πολλά λεγόμενα pixel. Ένας μεγάλος αριθμός στατιστικών δείχνει ότι υπάρχει ισχυρή συσχέτιση μεταξύ των pixel στην ίδια εικόνα. Όσο μικρότερη είναι η απόσταση μεταξύ δύο pixel, τόσο ισχυρότερη είναι η συσχέτιση. Σε απλούς όρους, τόσο πιο κοντά είναι οι τιμές των δύο pixel. Επομένως, οι άνθρωποι μπορούν να χρησιμοποιήσουν αυτήν τη συσχέτιση μεταξύ των pixel για να πραγματοποιήσουν κωδικοποίηση συμπίεσης. Αυτή η μέθοδος συμπίεσης ονομάζεται κωδικοποίηση πρόβλεψης εντός πλαισίου. Όχι μόνο αυτό, ο συσχετισμός μεταξύ παρακείμενων πλαισίων είναι γενικά ισχυρότερος από τον συσχετισμό μεταξύ εικονοστοιχείων εντός ενός πλαισίου και ο λόγος συμπίεσης είναι επίσης μεγαλύτερος. Μπορεί να φανεί ότι, χρησιμοποιώντας τη συσχέτιση μεταξύ pixel (εντός πλαισίου) και τη συσχέτιση μεταξύ πλαισίων, δηλαδή, η εύρεση του αντίστοιχου pixel αναφοράς ή πλαισίου αναφοράς ως η προβλεπόμενη τιμή, μπορεί να πραγματοποιηθεί κωδικοποίηση συμπίεσης βίντεο.
2. Μετασχηματισμός κωδικοποίησης
Ένας μεγάλος αριθμός στατιστικών στοιχείων δείχνει ότι το σήμα βίντεο περιέχει τα πιο εντατικά ενεργειακά στοιχεία DC και χαμηλής συχνότητας, δηλαδή, το επίπεδο μέρος της εικόνας και μια μικρή ποσότητα εξαρτημάτων υψηλής συχνότητας, δηλαδή τις λεπτομέρειες του εικόνα. Επομένως, μια άλλη μέθοδος μπορεί να χρησιμοποιηθεί για κωδικοποίηση βίντεο. Αφού η εικόνα υποστεί ορισμένο μαθηματικό μετασχηματισμό, λαμβάνεται η εικόνα στον μετασχηματισμένο τομέα (όπως φαίνεται στο σχήμα), όπου u και v είναι οι συντεταγμένες χωρικής συχνότητας αντίστοιχα.
Μετασχηματισμός κωδικοποίησης
3. Κωδικοποίηση βάσει κυματομορφής
Η κωδικοποίηση βάσει κυματομορφής χρησιμοποιεί μια υβριδική μέθοδο κωδικοποίησης βασισμένη σε μπλοκ που συνδυάζει την προγνωστική κωδικοποίηση και την κωδικοποίηση μετασχηματισμού. Προκειμένου να μειωθεί η πολυπλοκότητα κωδικοποίησης και να γίνει ευκολότερη η λειτουργία κωδικοποίησης βίντεο, όταν χρησιμοποιείτε τη μέθοδο υβριδικής κωδικοποίησης, διαιρέστε πρώτα μια εικόνα σε μπλοκ σταθερού μεγέθους, όπως μπλοκ 8 × 8 (δηλαδή, 8 σειρές ανά μπλοκ, 8 pixel ανά σειρά), Block 16 × 16 (16 γραμμές ανά μπλοκ, 16 pixel ανά γραμμή) και ούτω καθεξής και, στη συνέχεια, συμπιέστε και κωδικοποιήστε το μπλοκ.
Από τότε που η ITU-T κυκλοφόρησε το πρώτο ψηφιακό πρότυπο κωδικοποίησης βίντεο-H.261 το 1989, κυκλοφόρησε διαδοχικά πρότυπα κωδικοποίησης βίντεο όπως το H.263 και τα πρότυπα τερματικών πολυμέσων όπως τα H.320 και H.323. Η ομάδα εμπειρογνωμόνων Moving Picture (MPEG) σύμφωνα με το ISO έχει ορίσει MPEG-1, MPEG-2, MPEG-4 και άλλα ψυχαγωγικά και ψηφιακά τηλεοπτικά συμπίεσης που κωδικοποιούν διεθνή πρότυπα
Τον Μάρτιο του 2003, η ITU-T δημοσίευσε το πρότυπο κωδικοποίησης βίντεο H.264. Όχι μόνο βελτιώνει σημαντικά τη συμπίεση βίντεο σε σύγκριση με τα προηγούμενα πρότυπα, αλλά έχει επίσης καλή συνάφεια δικτύου, ειδικά για IP Internet, ασύρματο δίκτυο κινητής τηλεφωνίας και άλλες επιδόσεις μετάδοσης βίντεο δικτύου που είναι εύκολο να σφαλθούν, εύκολο να μπλοκάρουν και δεν είναι εύκολο να εγγυηθούν το QoS . . Όλες αυτές οι κωδικοποιήσεις βίντεο χρησιμοποιούν υβριδική κωδικοποίηση βασισμένη σε μπλοκ, που είναι όλες κωδικοποίηση βασισμένες σε κυματομορφή.
4. Κωδικοποίηση βάσει περιεχομένου
Υπάρχει επίσης μια τεχνολογία κωδικοποίησης βάσει περιεχομένου, όπου το πλαίσιο βίντεο χωρίζεται αρχικά σε περιοχές που αντιστοιχούν σε διαφορετικά αντικείμενα και μετά κωδικοποιείται. Συγκεκριμένα, κωδικοποιεί το σχήμα, την κίνηση και την υφή διαφορετικών αντικειμένων. Στην απλούστερη περίπτωση, ένα δισδιάστατο περίγραμμα χρησιμοποιείται για να περιγράψει το σχήμα ενός αντικειμένου, ένα διάνυσμα κίνησης χρησιμοποιείται για να περιγράψει την κατάσταση κίνησής του και μια υφή περιγράφεται από μια χρωματική κυματομορφή.
Όταν είναι γνωστοί οι τύποι αντικειμένων στην ακολουθία βίντεο, μπορεί να χρησιμοποιηθεί κωδικοποίηση βάσει γνώσης ή βάσει μοντέλου. Για παράδειγμα, για ανθρώπινα πρόσωπα, ορισμένα προκαθορισμένα σύρματα έχουν αναπτυχθεί για την κωδικοποίηση των χαρακτηριστικών του προσώπου. Προς το παρόν, η απόδοση κωδικοποίησης είναι πολύ υψηλή και χρειάζονται μόνο λίγα bit για να περιγράψουν τα χαρακτηριστικά του. Για τις εκφράσεις του προσώπου (όπως θυμωμένος, χαρούμενος, κ.λπ.), οι πιθανές συμπεριφορές μπορούν να κωδικοποιηθούν από τη σημασιολογία. Δεδομένου ότι ο αριθμός των πιθανών συμπεριφορών ενός αντικειμένου είναι πολύ μικρός, μπορεί να επιτευχθεί πολύ υψηλή απόδοση κωδικοποίησης.
Η μέθοδος κωδικοποίησης που υιοθετήθηκε από το MPEG-4 είναι υβριδική κωδικοποίηση βασισμένη σε μπλοκ και μέθοδος κωδικοποίησης βάσει περιεχομένου.
5. Μαλακό και σκληρό πλέξιμο
Υπάρχουν δύο τρόποι για την εφαρμογή κωδικοποίησης βίντεο στην πλατφόρμα Android, ο ένας είναι η μαλακή κωδικοποίηση και ο άλλος η σκληρή κωδικοποίηση. Για μαλακή επεξεργασία, συχνά βασίζεται στην CPU και χρησιμοποιεί την υπολογιστική ισχύ της CPU για την εκτέλεση κωδικοποίησης. Για παράδειγμα, μπορούμε να κατεβάσουμε τη βιβλιοθήκη κωδικοποίησης x264, να γράψουμε τη σχετική διεπαφή jni και μετά να μεταφέρουμε τα αντίστοιχα δεδομένα εικόνας. Μετά την επεξεργασία από τη βιβλιοθήκη x264, η αρχική εικόνα μετατρέπεται σε βίντεο σε μορφή h264.
Ο σκληρός κώδικας χρησιμοποιεί το MediaCodec που παρέχεται από το ίδιο το Android. Για να χρησιμοποιήσετε το MediaCodec, πρέπει να μεταβιβάσετε τα αντίστοιχα δεδομένα. Αυτά τα δεδομένα μπορεί να είναι πληροφορίες εικόνας yuv ή Surface. Γενικά, το Surface συνιστάται, το οποίο είναι πιο αποτελεσματικό. Το Surface χρησιμοποιεί απευθείας τοπικά buffer δεδομένων βίντεο χωρίς αντιστοίχιση ή αντιγραφή τους στο ByteBuffers. Επομένως, αυτή η προσέγγιση θα είναι πιο αποτελεσματική. Όταν χρησιμοποιείτε το Surface, συνήθως δεν μπορείτε να έχετε απευθείας πρόσβαση στα αρχικά δεδομένα βίντεο, αλλά μπορείτε να χρησιμοποιήσετε την κλάση ImageReader για να αποκτήσετε πρόσβαση σε αναξιόπιστα αποκωδικοποιημένα (ή πρωτότυπα) καρέ βίντεο. Αυτό μπορεί να είναι ακόμα πιο αποτελεσματικό από τη χρήση των ByteBuffers, επειδή ορισμένα τοπικά buffer μπορούν να χαρτογραφηθούν για να κατευθύνουν τους ByteBuffers. Όταν χρησιμοποιείτε τη λειτουργία ByteBuffer, μπορείτε να χρησιμοποιήσετε τις μεθόδους κλάσης εικόνας και getInput / OutputImage (int) για πρόσβαση στο αρχικό πλαίσιο δεδομένων βίντεο.
Σημείωση: Το ακόλουθο άρθρο θα περιγράψει συγκεκριμένα τον τρόπο εκτέλεσης κωδικοποίησης βίντεο
κωδικοποίηση ήχου
Το AudioRecord μπορεί να χρησιμοποιηθεί στο Android για εγγραφή ήχου και ο εγγεγραμμένος ήχος είναι ήχος PCM. Εάν θέλετε να εκφράσετε τον ήχο στη γλώσσα του υπολογιστή, πρέπει να ψηφιοποιήσετε τον ήχο. Ο πιο συνηθισμένος τρόπος ψηφιοποίησης ήχου είναι μέσω Pulse Code Modulation (PCM). Ο ήχος περνά μέσα από το μικρόφωνο και μετατρέπεται σε μια σειρά σημάτων αλλαγών τάσης. Ο τρόπος μετατροπής ενός τέτοιου σήματος σε μορφή PCM είναι η χρήση τριών παραμέτρων για την αναπαράσταση του ήχου. Είναι: ο αριθμός των καναλιών, ο αριθμός των bit δειγματοληψίας και η συχνότητα δειγματοληψίας.
1. Συχνότητα δειγματοληψίας
Δηλαδή, η συχνότητα δειγματοληψίας, η οποία αναφέρεται στον αριθμό των φορών που λαμβάνεται ένα δείγμα ήχου ανά δευτερόλεπτο. Όσο υψηλότερη είναι η συχνότητα δειγματοληψίας, τόσο καλύτερη είναι η ποιότητα του ήχου και τόσο πιο ρεαλιστική η αναπαραγωγή του ήχου, αλλά ταυτόχρονα καταλαμβάνει περισσότερους πόρους. Λόγω της περιορισμένης ανάλυσης του ανθρώπινου αυτιού, πολύ υψηλή συχνότητα δεν μπορεί να διακριθεί. Υπάρχουν 22KHz, 44KHz και άλλα επίπεδα σε κάρτες ήχου 16-bit. Μεταξύ αυτών, τα 22KHz ισοδυναμούν με την ποιότητα ήχου των συνηθισμένων εκπομπών FM και τα 44KHz ισοδυναμούν με την ποιότητα ήχου του CD. Η τρέχουσα κοινή συχνότητα δειγματοληψίας δεν υπερβαίνει τα 48KHz.
2. Αριθμός bit δειγματοληψίας
Δηλαδή, η τιμή δειγματοληψίας ή η τιμή δειγματοληψίας (δηλαδή, το πλάτος του δείγματος δειγματοληψίας ποσοτικοποιείται). Είναι μια παράμετρος που χρησιμοποιείται για τη μέτρηση της διακύμανσης του ήχου και μπορεί επίσης να θεωρηθεί ως η ανάλυση της κάρτας ήχου. Όσο μεγαλύτερη είναι η τιμή του, τόσο υψηλότερη είναι η ανάλυση και τόσο ισχυρότερη είναι η ηχητική ισχύς.
Στον υπολογιστή, ο αριθμός των bit δειγματοληψίας είναι γενικά 8 bit και 16 bit, αλλά λάβετε υπόψη ότι 8 bit δεν σημαίνει διαίρεση της τεταγμένης σε 8 μέρη, αλλά χωρίζεται σε 2 στην 8η ισχύ, που είναι 256 μέρη. το ίδιο ισχύει για 16 bit. Χωρίζει την τεταγμένη σε 2 έως την 16η δύναμη του 65,536.
3. Αριθμός καναλιών
Είναι εύκολο να καταλάβουμε ότι υπάρχουν μονοφωνικά και στερεοφωνικά. Ο μονοφωνικός ήχος μπορεί να παραχθεί μόνο από ένα ηχείο (μερικά επεξεργάζονται επίσης σε δύο ηχεία για έξοδο του ίδιου ήχου καναλιού) και το στερεοφωνικό pcm μπορεί να κάνει δύο ηχεία Και οι δύο ήχοι (γενικά υπάρχει διαχωρισμός εργασίας μεταξύ του αριστερού και του δεξιού καναλιού), για να νιώσετε περισσότερο το χωρικό αποτέλεσμα.
Έτσι, τώρα μπορούμε να πάρουμε τον τύπο για τη χωρητικότητα του αρχείου pcm:
Χωρητικότητα αποθήκευσης = (συχνότητα δειγματοληψίας ✖️ αριθμός bit δειγματοληψίας channel️ κανάλι ✖️ χρόνος) ➗ 8 (μονάδα: αριθμός bytes)
Εάν ο ήχος μεταδίδεται όλα σε μορφή PCM, το εύρος ζώνης που καταλαμβάνεται είναι σχετικά μεγάλο, οπότε ο ήχος πρέπει να κωδικοποιηθεί πριν από τη μετάδοση.
Υπάρχουν ήδη ορισμένες ευρέως χρησιμοποιούμενες μορφές ήχου, όπως wav, MIDI, MP3, WMA, AAC, Ogg κ.λπ. Σε σύγκριση με τη μορφή pcm, αυτές οι μορφές συμπιέζουν τα δεδομένα ήχου, τα οποία μπορούν να μειώσουν το εύρος ζώνης μετάδοσης.
Η κωδικοποίηση ήχου μπορεί επίσης να χωριστεί σε δύο τύπους: μαλακή κωδικοποίηση και σκληρή κωδικοποίηση. Για μαλακή επεξεργασία, κατεβάστε την αντίστοιχη βιβλιοθήκη κωδικοποίησης, γράψτε το αντίστοιχο jni και, στη συνέχεια, διαβιβάστε τα δεδομένα για κωδικοποίηση. Ο σκληρός κώδικας χρησιμοποιεί το MediaCodec που παρέχεται από το ίδιο το Android.
Σημείωση: Το ακόλουθο άρθρο θα περιγράψει συγκεκριμένα τον τρόπο εκτέλεσης κωδικοποίησης ήχου
6, συσκευασία
Το βίντεο και ο ήχος πρέπει να καθορίσουν την αντίστοιχη μορφή κατά τη διάρκεια της διαδικασίας μετάδοσης, έτσι ώστε να μπορεί να αναλυθεί σωστά όταν μεταδίδεται στο αντίθετο άκρο.
1. HTTP-FLV
Στην εποχή του Web 2.0, οι πιο δημοφιλείς τύποι ιστότοπων είναι φυσικά Youtube από το εξωτερικό, ιστότοποι Youku και Tudou στην Κίνα. Το περιεχόμενο βίντεο που παρέχεται από αυτούς τους ιστότοπους μπορεί να θεωρηθεί ότι έχει τα δικά του πλεονεκτήματα, αλλά όλοι χρησιμοποιούν το Flash ως φορέα αναπαραγωγής βίντεο χωρίς εξαίρεση. Η τεχνική βάση που υποστηρίζει αυτούς τους ιστότοπους βίντεο είναι το Flash Video (FLV). Το FLV είναι μια ολοκαίνουργια μορφή βίντεο πολυμέσων ροής, η οποία χρησιμοποιεί την ευρέως χρησιμοποιούμενη πλατφόρμα Flash Player σε ιστοσελίδες για την ενσωμάτωση βίντεο σε κινούμενα σχέδια Flash. Με άλλα λόγια, εφ 'όσον οι επισκέπτες του ιστότοπου μπορούν να παρακολουθήσουν κινούμενες εικόνες Flash, μπορούν φυσικά να παρακολουθήσουν βίντεο με μορφή FLV χωρίς να χρειάζεται να εγκαταστήσουν πρόσθετα πρόσθετα βίντεο. Η χρήση βίντεο FLV προσφέρει μεγάλη ευκολία στη διάδοση βίντεο.
Το HTTP-FLV ενσωματώνει δεδομένα ήχου και βίντεο σε FLV και στη συνέχεια τα διαβιβάζει στον πελάτη μέσω του πρωτοκόλλου HTTP. Ως μεταφορτωτής, μόνο το βίντεο και ο ήχος σε μορφή FLV πρέπει να μεταδοθούν στον διακομιστή.
Σε γενικές γραμμές, το βίντεο και ο ήχος σε μορφή FLV χρησιμοποιούν γενικά τη μορφή h264 για το βίντεο και ο ήχος χρησιμοποιεί γενικά τη μορφή AAC-LC.
Η μορφή FLV είναι πρώτα να μεταδώσει τις πληροφορίες κεφαλίδας FLV, μετά να μεταδώσει τα μεταδεδομένα με τις παραμέτρους βίντεο και ήχου (Μεταδεδομένα), μετά να μεταδώσει τις πληροφορίες παραμέτρων βίντεο και ήχου και μετά να μεταδώσει τα δεδομένα βίντεο και ήχου.
Σημείωση: Το ακόλουθο άρθρο θα περιγράψει λεπτομερώς το FLV
2. RTMP
Το RTMP είναι το ακρωνύμιο του Real Time Messaging Protocol. Το πρωτόκολλο βασίζεται σε TCP και είναι ένα σύμπλεγμα πρωτοκόλλων, που περιλαμβάνει βασικό πρωτόκολλο RTMP και RTMPT / RTMPS / RTMPE και πολλές άλλες παραλλαγές. Το RTMP είναι ένα πρωτόκολλο δικτύου σχεδιασμένο για επικοινωνία δεδομένων σε πραγματικό χρόνο. Χρησιμοποιείται κυρίως για επικοινωνία ήχου, βίντεο και δεδομένων μεταξύ της πλατφόρμας Flash / AIR και ενός μέσου ροής / διαδραστικού διακομιστή που υποστηρίζει το πρωτόκολλο RTMP.
Το πρωτόκολλο RTMP είναι ένα πρωτόκολλο μετάδοσης σε πραγματικό χρόνο που κυκλοφόρησε η Adobe, το οποίο χρησιμοποιείται κυρίως για μετάδοση ροών ήχου και βίντεο σε πραγματικό χρόνο με βάση τη μορφή flv. Αφού λάβετε τα κωδικοποιημένα δεδομένα βίντεο και ήχου, απαιτείται πρώτα η συσκευασία FLV και στη συνέχεια συσκευάζεται σε μορφή rtmp και μετά μεταδίδεται.
Για να χρησιμοποιήσετε τη μορφή RTMP για μετάδοση, πρέπει πρώτα να συνδεθείτε στον διακομιστή, μετά να δημιουργήσετε μια ροή, μετά να δημοσιεύσετε τη ροή και, στη συνέχεια, να μεταδώσετε τα αντίστοιχα δεδομένα βίντεο και ήχου. Ολόκληρη η μετάδοση καθορίζεται από μηνύματα, το rtmp ορίζει διάφορες μορφές μηνυμάτων και για να στέλνετε καλά τα μηνύματα, τα μηνύματα χωρίζονται σε μπλοκ, γεγονός που καθιστά όλο το πρωτόκολλο πιο περίπλοκο.
Σημείωση: Τα άρθρα αργότερα θα περιγράφουν λεπτομερώς το RTMP
Υπάρχουν επίσης πολλές άλλες μορφές πρωτοκόλλων, όπως το RTP κ.λπ. Οι γενικές αρχές είναι παρόμοιες, οπότε δεν θα τα εξηγήσω μία προς μία.
7. κακή επεξεργασία δικτύου
Το βίντεο και ο ήχος μπορούν να σταλούν εγκαίρως σε ένα καλό δίκτυο, χωρίς να προκαλείται η συσσώρευση δεδομένων βίντεο και ήχου τοπικά, το εφέ ζωντανής μετάδοσης είναι ομαλό και η καθυστέρηση είναι μικρή. Σε ένα κακό περιβάλλον δικτύου, εάν τα δεδομένα ήχου και βίντεο δεν μπορούν να σταλούν, πρέπει να επεξεργαστούμε τα δεδομένα ήχου και βίντεο. Υπάρχουν γενικά τέσσερις μέθοδοι επεξεργασίας για δεδομένα βίντεο και ήχου σε ένα κακό δίκτυο δικτύου: σχεδιασμός buffer, ανίχνευση δικτύου, επεξεργασία απώλειας καρέ και επεξεργασία μείωσης ρυθμού bit.
1. Σχεδιασμός buffer
Τα δεδομένα βίντεο και ήχου μεταφέρονται στο buffer και ο αποστολέας λαμβάνει τα δεδομένα από το buffer και τα στέλνει, σχηματίζοντας έτσι μια ασύγχρονη λειτουργία παραγωγού-καταναλωτή. Ο παραγωγός πρέπει μόνο να ωθήσει τα δεδομένα βίντεο και ήχου που συλλέχθηκαν και κωδικοποιήθηκαν στο buffer και ο καταναλωτής είναι υπεύθυνος για τη λήψη των δεδομένων από το buffer και την αποστολή τους.
Αποθήκευση βίντεο και ήχου
Μόνο το πλαίσιο βίντεο εμφανίζεται στην παραπάνω εικόνα, και προφανώς υπάρχουν αντίστοιχα πλαίσια ήχου μέσα. Για να δημιουργήσει ένα ασύγχρονο μοντέλο παραγωγού-καταναλωτή, η Java έχει προσφέρει μια καλή τάξη. Δεδομένου ότι η απώλεια πλαισίου, η εισαγωγή, η αφαίρεση κ.λπ. πρέπει να υποβληθούν σε επεξεργασία αργότερα, είναι προφανές ότι το LinkedBlockingQueue είναι μια πολύ καλή επιλογή.
2. Ανίχνευση δικτύου
Μια σημαντική διαδικασία στη διαδικασία κακής επεξεργασίας δικτύου είναι η ανίχνευση δικτύου. Όταν το δίκτυο γίνει κακό, μπορεί να εντοπιστεί γρήγορα και στη συνέχεια να υποβληθεί σε επεξεργασία ανάλογα. Αυτό θα κάνει την απόκριση του δικτύου πιο ευαίσθητη και το αποτέλεσμα θα είναι πολύ καλύτερο.
Υπολογίζουμε τα δεδομένα στο buffer εισόδου ανά δευτερόλεπτο και τα δεδομένα αποστέλλονται σε πραγματικό χρόνο. Εάν τα δεδομένα που αποστέλλονται είναι μικρότερα από τα δεδομένα στο buffer εισόδου, τότε το εύρος ζώνης δικτύου δεν είναι καλό. Προς το παρόν, τα δεδομένα στο buffer θα συνεχίσουν να αυξάνονται. Ενεργοποιήστε τον αντίστοιχο μηχανισμό.
3. Επεξεργασία πλαισίου πτώσης
Όταν εντοπίζεται υποβάθμιση δικτύου, η απώλεια καρέ είναι ένας καλός μηχανισμός απόκρισης. Μετά την κωδικοποίηση του βίντεο, υπάρχουν βασικά καρέ και μη βασικά καρέ. Το βασικό πλαίσιο είναι μια πλήρης εικόνα και το πλαίσιο χωρίς κλειδί περιγράφει τη σχετική αλλαγή της εικόνας.
Η στρατηγική πτώσης πλαισίων μπορεί να οριστεί από μόνη της. Ένα πράγμα που πρέπει να σημειωθεί είναι: εάν θέλετε να ρίξετε πλαίσια P (non-key frames), πρέπει να ρίξετε όλα τα non-key frames μεταξύ των δύο βασικών πλαισίων, διαφορετικά θα εμφανιστούν ψηφιδωτά. Ο σχεδιασμός της στρατηγικής απώλειας πλαισίου ποικίλλει ανάλογα με τις ανάγκες και μπορείτε να το σχεδιάσετε μόνοι σας.
4. Ποσοστό μείωσης κώδικα
Στο Android, εάν χρησιμοποιείται σκληρή κωδικοποίηση για κωδικοποίηση, σε περιβάλλον κακού δικτύου, μπορούμε να αλλάξουμε τον ρυθμό μετάδοσης bit της κωδικοποίησης σε πραγματικό χρόνο για να κάνουμε τη ζωντανή μετάδοση πιο ομαλή. Όταν εντοπιστεί ότι το περιβάλλον του δικτύου είναι κακό, μπορούμε επίσης να μειώσουμε το ρυθμό μετάδοσης βίντεο και ήχου ενώ ρίχνουμε καρέ. Όταν η έκδοση Android sdk είναι μεγαλύτερη ή ίση με 19, μπορείτε να μεταβιβάσετε παραμέτρους στο MediaCodec για να αλλάξετε τον ρυθμό bit των δεδομένων από τον κωδικοποιητή με σκληρό κώδικα.
Bundle bitrate = νέο Bundle (); bitrate.putInt (MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, bps * 1024);
mMediaCodec.setParameters (ρυθμός bit);
8. αποστολή
Μετά από διάφορες επεξεργασίες, τα δεδομένα πρέπει να σταλούν τελικά, αυτό το βήμα είναι σχετικά απλό. Είτε πρόκειται για HTTP-FLV ή RTMP, χρησιμοποιούμε TCP για να δημιουργήσουμε μια σύνδεση. Πριν από τη ζωντανή μετάδοση, πρέπει να συνδεθείτε στον διακομιστή μέσω του Socket για να επιβεβαιώσετε εάν μπορείτε να συνδεθείτε στον διακομιστή. Μετά τη σύνδεση, χρησιμοποιήστε αυτό το Socket για να στείλετε δεδομένα στο διακομιστή και κλείστε το Socket μετά την αποστολή των δεδομένων.
