Unit 1: INTRODUCTION to ANALOG AND DIGITAL
DIGITAL
Good
AUDIO
QUALITY
Ar
au ea o
dio f im
pe
rfo prov
rm ed
ANALOG
an
ce
Same distance
Better audio quality
Same audio quality
Better distance
Minimal
acceptable
audio quality
Poor
Strong
SIGNAL
STRENGTH
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
Weak
•
•
•
•
•
•
•
DIGITAL
Clearer signals
Increased coverage
Secure transmissions
Robust equipment
Enhanced functionality
Lots of choice
Easy migration from
analog
Digital Communications and Coding
Truyền thông số và mã 1hóa
5G
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
2
Digital Communications and Coding
Truyền thông số và mã hóa
Introduction
1. The difference between analog and digital
transmission:
◼ Source
◼ Signal waveform
◼ System structure
2. The complete diagram of the digital transmission system
3. The contrast between time-domain and frequencydomain of signal
4. Basic limits in digital communications
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
3
Digital Communications and Coding
Truyền thông số và mã hóa
A communication system
➢Transmitter send signal through channel to Receiver.
Systems respond to signals and produce new signals
A communication system has an information signal plus noise signals
❖ The communication system exists to convey a message.
❖ Message comes from information source.
❖ Information forms: audio, video, text or data.
❖ Signal can be light, sound, or we focus on electrical signal.
Information
signal
Information
signal
How?
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
Analog
vs
Digital
4
Digital Communications and Coding
Truyền thông số và mã hóa
2. Analog Transmission vs. Digital Transmission
Analog
Digital
Source
Any form: Natural voice, picture,
video
Number, 1,0
Alphabet: A,B
Waveform
Infinite number of waveforms
Duration of waveform is not
limited
Finite number of waveforms
Duration of waveform is limited
Reliability
Not very well against noise
Uncontrollable
Well against noise (channel code)
Controllable
Processing
Easy
Quite complex
Rate
Slow
Fast
Application
Not able programming
Flexible (can use both signal
types) and able programming
Techniques
support
Frequency Synchronize
Frequency Synchronize
Time Synchronize
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
5
Digital Communications and Coding
Truyền thông số và mã hóa
Source
Analog
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
6
Digital Communications and Coding
Truyền thông số và mã hóa
Source
Digital
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
7
Digital Communications and Coding
Truyền thông số và mã hóa
Source
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
8
Digital Communications and Coding
Truyền thông số và mã hóa
Source
Information
signal
Information
signal
Analog
vs
Digital
…110100011101101010110…
…c269e8cd0971b8e445b5…
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
9
Digital Communications and Coding
Truyền thông số và mã hóa
How to send digital signals?
• Digital bits -> analog waveforms (digital modulation)
– Used in telephone modems, cell phones, digital TV, etc.
• Digital bits -> digital pulse sequences (line coding)
– Used in computer networks
• How do we deal with channel noise?
– Error detection (e.g. parity check)
– Error correction coding
• How fast can we send bits ?
– Channel capacity depends on bandwidth, modulation, and SNR
Shannon channel capacity formula
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
10
Digital Communications and Coding
Truyền thông số và mã hóa
Waveform
 Analog : Continuously
 Digital : Limited in digit period
Analog
Information
signal
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
vs
Digital
Information
signal
Analog
vs
Digital
11
Digital Communications and Coding
Truyền thông số và mã hóa
Waveform
 Analog : Continuously
 Digital : Limited in digit period
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
12
Digital Communications and Coding
Truyền thông số và mã hóa
Waveform
 Analog : Continuously
 Digital : Limited in digit period
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
13
Digital Communications and Coding
Truyền thông số và mã hóa
Digital Communication System structure
Channel
Destination
Source
Sender
Encoder
Decoder
Receiver
Shannon–Weaver model
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
14
Digital Communications and Coding
Truyền thông số và mã hóa
Digital Communication System structure
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
15
Digital Communications and Coding
Truyền thông số và mã hóa
Digital Transmission System: A Complete Diagram
Sampling
Error
control
coder
Source
coder
….
PCM
encoder
Encryption
Antialiasing
filter
B0 =
…110100…
DAC
Error
control
decoding
Source
decoding
---
PCM
decoder
Audiofrequency
amplifier
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
Deciphering
B
Modulation
Multiple
accessing
Demodulation
Multiple
accessing
Line coding/
pulse shaping
B0
B1
B2
...
Demultiplexing
ADC
MODEM
Multiplexing
CODEC
Decision
circuit
Matched
filtering
Equalisation
Detection
16
Digital Communications and Coding
Truyền thông số và mã hóa
Digital Transmission System: Sampling
Sampling
Source
coder
….
PCM
encoder
…110100…
Encryption
Antialiasing
filter
Khoa Điện tử - Viễn thông
DAC ĐHQGHN
Trường Đại học Công nghệ,
---
Source
decoding
17
Error
control
coder
Line coding/
pulse shaping
Modulation
What happen if fs<2f0
Error Digital Communications and Coding
Decision Matched
control
Truyền thông số và mã hóa
circuit
filtering
Demodulation
decoding
exing
ADC
MODEM
Multiplexing
CODEC
Sampling
 Sampling by Nyquist’s theorem
The Nyquist rate is twice the bandwidth of a
bandlimited function or a bandlimited channel:
- As a lower bound for the sample rate for
alias-free signal sampling (not to be confused with
the Nyquist frequency, which is half the sampling
rate of a discrete-time system) (referrered as
Nyquist–Shannon sampling theorem)
- As an upper bound for the symbol rate
across a bandwidth-limited baseband channel
such as a telegraph line or passband channel such
as a limited RF band or a frequency division
multiplex channel. (Referred as Nyquist rate)
Vs (f)
fs > 2fA(max)
0
fs
2fs
f
fA(max)
Vs (f)
“Aliasing” distortion
occurs
f
0
fs < 2fA(max)
Vs (f)
Ideal low-pass filter
f
f
0
fs
2fs
fs > 2fA(max)
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
18
Digital Communications and Coding
Truyền thông số và mã hóa
Sampling
Nyquist sampling theorem states that the sampling signal frequency should be
double the input signal’s highest frequency component to get distortion less
output signal.
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
19
Digital Communications and Coding
Truyền thông số và mã hóa
Time-domain and Frequency-domain of Signal
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
20
Digital Communications and Coding
Truyền thông số và mã hóa
Time-domain and Frequency-domain of Signal
Sum of Sine waves
https://bilimneguzellan.net/fuyye-serisi/
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
21
Digital Communications and Coding
Truyền thông số và mã hóa
Time-domain and Frequency-domain of Signal
Too small period, too high frequency
Too large period, too low frequency
Limit in time domain, un-limit in frequency domain
Limit in frequency domain, un-limit in time domain




1.0
v(t)
𝑡 − 𝑇 𝐹𝑇
Π
𝑠𝑖𝑛𝑐 𝜏𝑓 𝑒 −𝑗2𝜋𝑓𝑡
𝜏
1.0
-1/2
0
1/2
-3 -2
t
MODEM
Error
control
coder
….
PCM
encoder
Encryption
Multiplexing
CODEC
Source
coder
-1 0
1
2 3
f
(b) Fourier transform centred on t=0
(a) Unit rectangular pulse, Π(t)
ADC
V(f)
Line coding/
pulse shaping
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
ISI problem?
Modulation
22
Multiple
accessing
Digital Communications and Coding
Truyền thông số và mã hóa
Time-domain and Frequency-domain of Signal
Band-unlimited
channel
v(t)
Band-unlimited
channel
1.0
0
-1/2
1/2
t
V(f)
Band-limited channel
1.0
-3 -2
❖
❖
❖
❖
❖
-1 0
1
2 3
Band-limited channel
f
Design systems impulse response is short enough.
Consecutive raised-cosine impulses.
Guard periods.
Apply an equalizer at the receiver.
Apply a sequence detector at the receiver.
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
23
Digital Communications and Coding
Truyền thông số và mã hóa
Time-domain and Frequency-domain of Signal
Side lope
Sinc pulse
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
Raised cosine pulse
24
Digital Communications and Coding
Truyền thông số và mã hóa
Baseband Transmission and Passband Transmission
Mixer: Converts the frequency of an input signal to another frequency.
Wireless channel
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
25
Digital Communications and Coding
Truyền thông số và mã hóa
Baseband Transmission and Passband Transmission
Why is passband?
The transmission technique can be selected based on the channel (AM, FM…)
M(f)
M(0)
(a)Spectrum of
baseband
signal
𝑓𝑐 ≫ 𝑊
0
-W
𝐴𝑐
2
AF/2 * δ (f + fC)
f
W
(b) Spectrum of
AF/2 * δ (f - fC)
AM wave
S(f)
½* M(0)
Upper
sideband
Lower
sideband
𝑀/2
Lower
sideband
Upper
sideband
𝐵𝑇 = 2𝑊
-fC
𝑆 𝑓 =
𝐴𝑐
𝛿 𝑓 − 𝑓𝑐 + 𝛿 𝑓 + 𝑓𝑐
2
-fC + W
0
fC
fC - W
-fC - W
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
+
f
fC + W
1
𝑀 𝑓 − 𝑓𝑐 + 𝑀 𝑓 + 𝑓𝑐
2
26
Digital Communications and Coding
Truyền thông số và mã hóa
Review
1. Out of the following, which is not an essential element of a communication
system?
a) Transmitter b) Transducer
c) Receiver d) Communication channel
2. A device which provides output in electrical form or it has input in electrical form
is called a?
a) Transmitter b) Receiver
c) Repeater d) Transducer
3. Decrease in signal strength due to energy losses is called?
a) Distortion b) Interference
c) Attenuation d) Noise
4. The disturbance or distortion in the transmission and processing of message
signals is called?
a) Noise b) Attenuation
c) Interference d) None of these
5. A repeater is a combination of?
a) Receiver and modulator b) receiver and transducer
c) receiver and transmitter d) receiver and amplifier e) amplifier and transmitter
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
27
Digital Communications and Coding
Truyền thông số và mã hóa
Digital Communication System structure
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
28
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
 Source coding theorem: Below limit of data compression
for a lossless (not lossy) source coding (what is this? Similar
data compression):
Entropy = Average Information of source
𝐾−1
𝐻 𝒢 = ෍ 𝑝𝑘 log 2
𝑘=0
𝑝𝑘 : probability of 𝑠𝑘 ∈ 𝒢
1
𝑝𝑘
Entropy
…110100…
Trade-off: Bit
rate vs signal
fidelity
Conveying the
source data using
the lowest bit
rate possible
while maintaining
a specified
reproduction
fidelity
…1011… (shorter)
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
29
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
 Source coding theorem: Huffman Code Example
Huffman coding assigns shorter codes to symbols that
occur more frequently and longer codes to those that
occur less frequently. For example, imagine we have a text
file that uses only five characters (A, B, C, D, E). Before we
can assign bit patterns to each character, we assign each
character a weight based on its frequency of use. In this
example, assume that the frequency of the characters is as
shown in Table:
Character
A
B
C
D
E
Frequency
17
12
12
27
32
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
30
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
Character
A
B
C
D
E
Code
00
010
011
10
11
Original
000
001
010
011
100
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
31
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
 Source coding theorem: Lower limit of data compression
for a lossless (not lossy) source coding (what is this? Similar
data compression):
Entropy = Average Information of source
𝐾−1
𝐻 𝒢 = ෍ 𝑝𝑘 log 2
𝑘=0
1
𝑝𝑘
0
1
2
3
4
5
6
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
𝑝𝑘 : probability of events 𝑠𝑘 ∈ 𝒢
H(G) = 2.55
Lowest number of bits for lossless
representation of all symbols is 2.55
bits
Average length of codewords is 2.62
(Lower limit) 2.55 < 2.62 < 3 (original
3 bits codebook, 0-6 need 2^3=8 words to
represented)
.
32
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
❑ Channel capacity theorem: What it channel capacity?
Difference:
Channel Capacity vs
Bandwidth?
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
33
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
❑ Channel capacity theorem:
Upper limit of data rate for reliable
transmission
bit/s
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
34
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
❑ Channel capacity theorem:
Upper limit of data rate for reliable transmission
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
35
Digital Communications and Coding
Truyền thông số và mã hóa
What is Channel Code ?
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
36
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
❑ Channel coding theorem: Upper limit of communication rate
for reliable transmission
CODEC
Sampling
Error
control
coder
Source
coder
….
Multiplexing
ADC
MODEM
PCM
encoder
•
•
Encryption
Using this redundancy, the
decoder can estimate the
Error
DAC
Source
control
original data.
Channel
coding,
decoding
--decoding
also known as forward
PCMerror
decoder
control
coding (FECC),
is a
Deciphering
Audiofrequency
process
of
detecting
and
amplifier
correcting bit errors in digital
communication systems.
Reed-Solomon, BCH, LDPC…
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
Multiple
accessing
Demodulation
Multiple
accessing
Block Code
Demultiplexing
Antialiasing
filter
Modulation
Line coding/
pulse shaping
Decision
circuit
Matched
filtering
Equalisation
Detection
37
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
❑ Channel coding theorem: Upper limit of communication rate
for reliable transmission
For every channel, exists a
number Cr ∈ (0, 1) that
measures the reliability of the
channel.
Given channel with Cr.
Using the channel n times, we
can communicate k bits of
information with probability of
error as small as we like as
long as n is large enough.
Given channel with Cr.
We are able to transmit n bits with
k information bits (k<n) for
probability of error as small as we
like.
n-k bits for what?
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
38
Digital Communications and Coding
Truyền thông số và mã hóa
Shannon’s Fundamental Limits
❑ Channel coding theorem: Upper limit of communication rate
for reliable transmission
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
39
Digital Communications and Coding
Truyền thông số và mã hóa
Major contributions in source & channel coding
1948
1952
1960
1962
1967
1975
1977
1978
1979
1980
1988
1993
1996
2000
2001
2013
2014
Shannon, C.
Huffman, D.A.
Reed. I.S.; Solomon. G.
Gallager, R.
Viterbi, A.J.
Elias, P.
Massey, J.L.
Ziv, J.; Lempel, A.
Rissanen. J. et al.
Stout. Q.E
Bernard. M.A. et al.
Bcrrou. C. et al.
Fraenkel, A.S. et al.
Bauer, R.; Hagenauer, J.
Gortz, N.
Maunder. R.G. et al.
Wang, T. et al.
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
The foundations of information theory.
Huffman source code.
Reed-Solomon channel code.
The original paper on LDPC channel code.
The Viterbi decoding algorithm.
Elias Gamma code, Elias Omega code.
Non-iterative Joint Source and Channel Coding (JSCC)
Lempel-Ziv variable rate source code.
Arithmetic near-entropy source coding.
The Stout source code.
The VLEC JSCC.
The Turbo code.
The Fibonacci code.
Introduces iterative decoding of VLECs.
The introduction of iterative JSCC decoding.
The Unary Error Correction (UEC) JSCC.
The Elias Gamma Error Correction (EGEC) JSCC.
40
Digital Communications and Coding
Truyền thông số và mã hóa
Brief History - Communication
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
41
Digital Communications and Coding
Truyền thông số và mã hóa
Brief History - Communication
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
42
Digital Communications and Coding
Truyền thông số và mã hóa
Brief History - Telecom
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
43
Digital Communications and Coding
Truyền thông số và mã hóa
Brief History - Telecom
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
44
Digital Communications and Coding
Truyền thông số và mã hóa
Brief History - Progress
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
45
Digital Communications and Coding
Truyền thông số và mã hóa
Brief History - Progress
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
46
Digital Communications and Coding
Truyền thông số và mã hóa
Brief History – 6G
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
47
Digital Communications and Coding
Truyền thông số và mã hóa
Revision
 What are the differences between the analog waveform
and digital waveform?
 Show the difference between the analog and digital
systematic diagram
 Compare the advantage and the disadvantage of
analog and digital transmission techniques
Khoa Điện tử - Viễn thông
Trường Đại học Công nghệ, ĐHQGHN
48
Digital Communications and Coding
Truyền thông số và mã hóa