Information Theory and Coding Notes - Akshansh
Information Theory and Coding Notes - Akshansh
Akshansh Chaudhary
Graduate of BITS Pilani, Dubai Campus
Batch of 2011
AC Creations 2013
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s
od
fo
.C
In
g
in
&
or
y
Th
e
N
es
ot
ks
h
-A
an
s