Date post: | 05-Apr-2015 |
Category: |
Documents |
Upload: | berlin-langel |
View: | 106 times |
Download: | 3 times |
1BerkomDr. Jens Johann, T22§====!"§=!Nova§
§====!"§=!Nova§
Zukunft durch InnovationZukunft durch Innovation
§====!"§=!Nova§ 2BerkomDr. Jens Johann, T22
Zukunft durch InnovationZukunft durch Innovation
§====!"§=!Nova§
Videotelephonie mit dem Home Infotainment Center
Entwicklung und Integration softwarebasierter Module für die Videotelephonie mit dem Home Infotainment Center
[Dr. Jens Johann, T-Nova Berkom]
3BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICHIC-FunktionalitätenHIC-Funktionalitäten
Basis für zukünftige Multimedia-Applikationen im Heimbereich
Unterstützung bei der Benutzung bekannter Anwendungen (Web-Dienste, Videotelephonie, Fernüberwachung etc.)
Unterstützung lokaler Anwendungen, Dienstezugriff über Rundfunk- und Telekommunikationsnetze
Multi-Application-Betrieb durch Einsatz von DSPs und GPP Plattformunabhängige Softwarestruktur Update durch Software-Download SW-Architektur unterstützt die Entwicklung neuer
Anwendungen durch Dritte (MHP-Kompatibilität)
Projektpartner: TI, Dallas und Cadence, Sunnyvale
4BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICDie HIC-Box im 21. JahrhundertDie HIC-Box im 21. Jahrhundert
DSS/DVB
USB
USB/1394
S V
ideo
, Com
po.
USB/Analog
1394
ADSL,V.90
DVB/DSS, Cable( Digital/Analog)
1394
RF Ethernet
Camera
Web Phone
NetworkCamera
Intuitive Human I/FRemote Control
TV/VCRAC-3, TTS
WWWEmail
Fax/PrintCopy/Scan
HDD
DVD
HIC
PC
3D GamePad
KB/Mouse
RF
Home Activities
VT
5BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelefonie mit HICAnforderungenAnforderungen
Flexible Konfiguration des Terminals in Hinblick auf Video- und Audioverarbeitung
Einsatz standardisierter Verfahren Gewährleistung einer hohen Bildqualität bei
Wiedergabe über TV-Monitor Bevorzugte Übertragung über T-DSL, aber ISDN-
Einsatz nicht ausschliessen HIC-Box als Kommunikationspartner für eine
Vielzahl von Terminals etablieren
Implementation der H.323-Videotelephonie
6BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICKomponenten des H.323-StandardsKomponenten des H.323-Standards
Video I/O equipment
Audio I/O equipment
User Data Applications
System ControlUser Interface
Video CodecH.261, H.263
Audio Codec G.711, G.722G.723, G.728
G.729
H.245 Control Protocol for MM Appl.
H.225.0Call Establishment & Negotiation
H.225.0Terminal to Gatekeeper Signalling
System Control
ReceivePath
DelayH.225.0Layer
zum LANInterface
7BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICH.323 und die InteroperabilitätH.323 und die Interoperabilität
H.323Terminal
Non-garanteed QoS LAN
H.323Terminal
H.323MCU
H.323Gatekeeper
H.323Gateway
GSTN
H.324Terminal
N-ISDN B-ISDN
V.70Terminal
SpeechTerminal
H.320Terminal
SpeechTerminal
H.321Terminal
8BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICGeplante Software-Struktur der HIC-BoxGeplante Software-Struktur der HIC-Box
Graphical User Interface (general initialization)
Java Appl. 1
GUI
Java Appl. 2
GUI
Java Appl. 3
GUI
JNIJava Virtual Machine
Java APIs (JTAPI)
DSPRISC-CPU
DSP OperatingSystem
DSPBridge
Vxworks
DLL
DSPAlgos
Und dann kam im Januar 2000 JMF dazu ...
9BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICAktuelle Softwarestruktur für HIC-VTAktuelle Softwarestruktur für HIC-VT
Graphical User Interface (general initialization)
Java Appl. 1
GUI
Java Appl. 2
GUI
Java Appl. 3
GUI
JNIJava Virtual Machine
Java APIs (JTAPI, JMF)
Pentium
Windows
DLL
10
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICSoftware-ModuleSoftware-Module
H.261, H.263 (beide in C)
G.711(-law), G.722 (64 kbit/s), G.723.1 (5,3 kbit/s, 6,3 kbit/s), G.728 (16 kbit/s), G.729 (8 kbit/s) (alle in C)
G.711(-law), G.722 (64 kbit/s), G.723.1 (5,3 kbit/s, 6,3 kbit/s) (in C6x-Assembler)
H.323 System-Stack (basiert auf Elemedia Library, in C++)
RSAP (Annotation in Java, gebräuchliche Bildformate)
11
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICBeispiel: H.263-VideocodierungsmoduleBeispiel: H.263-Videocodierungsmodule
DCT Quantiser
InverseQuantiser
InverseDCT
-
+FrameStore Bewegungsvektoren
Video-Input
Compen-sation
Esti-mation
RGB/YUV Bitstream
generation
Datenausgang
YUV/RGB
Selbst-Kontrolle
12
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICBeispiel: G.723-AudiocodierungsmoduleBeispiel: G.723-Audiocodierungsmodule
AdaptiveCodebook
MP-MLQExcitation
ACELPExcitation
PitchPredictor
SynthesisFilter
Formant &HarmonicWeighting
LPCAnalysisand VQ
Minimum Error
5.3 kbps
6.3 kbps
Gain
MUX
Synthesized Speech
+-
Sprach-Input
Daten-ausgang
13
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICRemote Still Image & Annotation Presentation Remote Still Image & Annotation Presentation RSAPRSAP
Standbild mit überlagerter Markierung
zusätzlich zur aktiven VT-VerbindungBeide Teilnehmer besitzen die gleiche Arbeitsumgebung
Jeder Teilnehmer kann Standbild versendenBeide Teilnehmer können Markierungen anbringen
MMI über Maus und Tastatur
Einsatzgebiete
Präsentation von Familien-PhotographienGemeinsame Diskussion in E-Commerce-Katalogen
14
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICRSAP - ÜberblickRSAP - Überblick
H.323
H.245H.225
RSAP
RXTX
MUXDMUX
Privatedata
channel
VT
Swing
Image
Anno-tationsSynchr.
CompressDecompr.
store &send
IP
15
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICModule zur H.323-KonfigurationModule zur H.323-Konfiguration
AV App Terminal Control and Management Data App
G.7xxH.26x
RTP
RTCP
H.225.0Terminal
toGatekeeperSignalling
(RAS)
H.225.0Call
SignallingH.245
T.124
T.125
Unreliable Transport Reliable Transport
Network Layer
Link Layer
T.123
Physical Layer
Verknüpfung, Codierung und Packetierung von Audio, Video und Daten
16
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICH.225-MessagesH.225-Messages
Terminal Capability Messages Master-Slave Determination Logical Channel Signalling Messages Request Mode Messages Round Trip Delay Messages Maintanance Loop Messages
Stati: Command (Antwort erforderlich) oder Indications (Received-Message möglich, aber nicht unbedingt erforderlich) Je nach Konfiguration sind diese Stati „Mandatory, Optional, Forbidden or Conditional Mandatory“
17
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HIC
Outgoing :(H225Connection)
Incoming :(H225Connection)
UserUser
5: setupMessage
3: listen
7: alertingMessage
9: connection/refused Message
6: alertingUser
8: accept/reject
4: buildConnection
2: openServerSocket
11: createH323Connection ( ) 12: createH323Connection ( )
1: openServerSocket
10: releaseComplete (no more Q931 messages)
after the releaseCompletemessage, the listener isopen for other connections
time
H.225-Message ExchangeH.225-Message Exchange
18
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICH.323-Systemstack-ModuleH.323-Systemstack-Module
H245 and H245 User packages
JMF package
The Q931 package contains all classes for parsing and building Q931 messages.
Q931 package
The H245 package contains all classes for the H245Control Protocol. The package H245User contains the classes for the H245ControlProtocol
The package JMF contains all of the classes needed for the Java Media Framework.
Thread
Frame
owns a PhoneBook
creates 1
UserInterface
getCallActuator( )
owns1
CallActuator0..*
has a
H225ConnectionManager
0..*
1
H323Connection
extends
is created by
is registered at
The package RSAP contains all for the private application.
RSAP
The ConnectionManager listens on the default portnumber
19
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICJMF-EinbindungJMF-Einbindung
RTPDataSourceConnectionController
videoDatarate : int = 0audioDatarate : int = 0encodedVideoFormat : Format = nullencodedAudioFormat : Format = nullaudioPortnumber : int = 0videoPortnumber : int = 0audioProcessor : Processor = nullvideoProcessor : Processor = nullrtpAudioSocket : RTPSocket = nullrtpVideoSocket : RTPSocket = nullipAddress : String = nullrtpSessionManager : RTPSessionManager = nullcaptureDeviceInfo : CaptureDeviceInfo = null
configure( )setDatarate( ) H263Decoder
H263Encoder
CaptureDeviceInfo
RTPSocket
G711Decoder
Processor
G711EncoderThe codecs will access native code via the JavaNativeInterface. There is a buffer object containing one frame to decode or to encode. This buffer object will be passed to the native code for processing.
native Coder
The connectionController is instantiated by H323Connection
JMF (Java Media Framework) bietet:RTP /RTCPProcessor-BeschreibungCapturing and Rendering„Plug-in“ for Codecs
20
BerkomDr. Jens Johann, T22§====!"§=!Nova§
Videotelephonie mit HICH.323-StackH.323-Stack
net
JAVA-C++
Interface
RTP
VideoPhoneApplikation
Jtapi-core Media
EventHandler
Native Methoden Java/C++ Message Queue
ConnectionManager (C++)
Call
microphone
H.245
AudioEnc
H.225/Q.931
GUI
TCP
TCP
Driver
JAVA-Teil
C++-Teil
RTP cameraVideoEnc Driver
RTP loudspeakerAudioDec Driver
RTP displayVideoDec Driver
Thread
xxxx Modul Flow of control
Flow of data
Applikationsschicht
Jtapi-SchichtRSAP
JMF