数字图像处理
Digital Image Processing
版权所有:Mao Y.B & Xiang W.B

自动化学院 电子信息工程教研室 Tel: 84315467-406 maoyb@mail.njust.edu.cn www.open-image.org
Outline of Lecture 1
为什么要做图像处理 图像,数字图像与数字图像处理 数字图像处理的历史 数字图像处理的应用 本课程讲授的内容 图像编程工具 一些数学知识
人区别于动物在于人有语言…
在一间有灰色墙面的屋子里,一个人靠 画面的右边坐着.他穿着白色的衬衫和 褐色的西服,面对着一个画架,右手拿 着油画笔,左手端着调色盘,正在画着 一只飞鸟.那幅画要基本完成了.画面 上的鸟正展开翅膀,似乎要飞出画布. 那个画家神情严肃地盯着左面靠着他的 桌子,桌子上有一个白色的个头不大的 鸡蛋...
 上面描述的是怎样一个景象 一万 个人能想象出一万种画面 如果在你眼前展现一幅图像呢
Rene Magritte (1936) "La Clairvoyance (autoportrait)" (勒内马格利特 [比利时],远见,自画像)
为什么要做图像处理
One picture is worth ten thousands of words. 一图胜千言
人类从外界获取的信息中60～70% 是通过眼睛的图象信息
为什么要做图像处理
图像处理研究的意义: 图像是人类信息传递的主要媒介 图像信息处理是人类视觉延续的重 要手段 图像处理技术具有广泛的应用价值
为什么要做图像处理
图像处理已在三个于图像相关的问题上 获得了迅速发展:
– 图像数字化和编码,以便于图像的传输,打 印很存储; – 图像的增强和复原,以便于人和计算机识别 与理解各种探测器探测得到的图像 – 图像的分割和描述,可作为机器视觉的前期 处理
为什么要做图像处理 数字图像处理的目的
供人观看 供计算机使用
"When images of illuminated objects ... penetrate through a small hole into a very dark room ... you will see [on the opposite wall] these objects in their proper form and color, reduced in size ... in a reversed position, owing to the intersection of the rays". Da Vinci
http://www.acmi.net.au/AIC/CAMERA_OBSCURA.html (Russell Naughton)
图像,数字图像与图像处理
图指的是:物体透射或反射光的分 布; 像指的是:人的视觉系统对图的接 收在大脑中形成的印象或认识.
图像,数字图像与图像处理
图像处理的频谱段
R. G. Conzalez. Digital Image Processing, 2002.
图像,数字图像与图像处理
图像可以用二维函数f(x,y)来表示 图像处理就是对图像信息进行加工处理, 以满足人的视觉心理要求或进一步的机 器处理
图像的二维函数表示
以一幅只有灰度级的图像为例,假设灰 度值是坐标(x,y)的函数,则 z=f(x,y)
图像的二维函数表示
绘出的曲面
图像是二维函数在平面上的投影
 数字图像就是在空间和灰度级上都进 行了采样和量化后的图像
250
251
122
250
123
121
122
122
120
像素(Pixel, Picture Element)
数字图像可以看成是一个矩阵
f (1,1) f (2,1) f (n,1) f (1, 2) f (2, 2) f (n, 2) f (1, n) f (2, n) f (n, n) n×n
图像,数字图像与图像处理
数字图像处理就是用计算机 进行图像处理
数字图像处理系统
光源 光
对象物
A/D转换 单元
摄像单元
图像存 储单元
计算机
朱红.数字图像处理PPT, 2005.
数字化输 入设备
存储设备
图像输出 设备
交互设备
摄像单元
CCD图像(光电)传感器
工作原理是:将光能量转换为电荷,并将 转换得到的电荷进行存储. CCD传感器分为线阵式和阵列式两种,具有 代表性的产品分别有扫描仪和数码相机.
朱红.数字图像处理PPT, 2005.
目前的图像传感器分为CCD(电荷耦合器件) 和CMOS(互补型金属氧化物半导体)两种.赞成 CCD芯片的主要论据是这种芯片比CMOS更灵敏,因 此可在昏暗的光线下照出较好的相片.用CCD芯片 的相机照出的相片也比CMOS清楚,使用COMS芯片有 时会有"噪声"问题—图像上有些缺点. 但从另一方面讲,CMOS芯片的成本较低,在这 里节省的费用可转化为更低的相机价格.此外, CMOS芯片比CCD芯片吸收的能量少,所以CMOS芯片 的相机换一次电池可使用更长的时间.出于图像质 量的考虑,目前大多数数码相机使用CCD技术.
朱红.数字图像处理PPT, 2005.
CCD
CMOS
图像,数字图像与图像处理
数字图像处理的特点 图像信息量大 各个像素之间不独立,相关性大 图像信息受人的因素影响大 图像处理技术综合性强
图像处理与其他学科的关系
虚拟现实 数学基础 高等数学 线性代数 概率统计 ……
计算机图形学
计算机视觉 模式识别
数字图象处理
数字信号处理 图像通信
信号与系统
艾海舟.计算机视觉PPT, 2005.
先后顺序
数字图像处理的起源
Bartlane系统所用编码纸带
Bartlane系统的发送部分
一张采用Bartlane 系统传送的照片
数字图像处理的起源
1921年电传打印机采用特 殊字符在编码纸带上打印 1929年从伦敦到纽约通过电缆传 递照片( 15级色调图片)
1922年采用穿孔纸带图 像传输系统,两次穿越 大西洋进行图像传送
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的起源(遥感)
数字图像处理的起源(遥感)
美国航天器传送的第一张月 球照片,1964年7月31日在 光线影响月球表面17分钟摄 取的图像.
1964年美国喷气推进 实验室(JPL)正式使 用数字计算机对"徘徊 者7号"太空船送回的 四千多张月球照片进 行处理.
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的起源(CT)
数字图像处理的起源(CT)
中国农业大学信息与电气工程学院,常华的PPT
数字图像 处理的起 源(CT)
数字图像处理的应用
学科 物理化学 生物医学 环保 地质 农林 海洋 水利 气象 通信 工业交通 经济 军事 法律 结晶分析,谱分析 细胞分析,染色体分析,血球分类,X射线照片分析,CT等 水质及大气污染调查 资源勘探,地图绘制,GIS 植被分布调查,农作物估产 鱼群探察,海洋污染监测 河流分布,水利及水害调查 云图分析 传真,电视,多媒体通信 工业探伤,铁路选线,机器人,产品质量监测 电子商务,身份认证,防伪 军事侦察,导弹制导,电子沙盘,军事训练等 指纹识别 夏良正等,数字图象处理,2005 应用领域
数字图像处理的应用(医学)
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的应用(生物)
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的应用(遥感)
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的应用(气象)
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的应用(工业)
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的应用(交通)
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的应用(勘探)
R. G. Conzalez. Digital Image Processing, 2002.
数字图像处理的应用(天文)
R. G. Conzalez. Digital Image Processing, 2002.
实例1:伪彩色增强举例
实例2:直方图均匀化
实例2:直方图均匀化
实例3:图像去噪
实例4:道路分割(计算机 视觉)
实例5:跟踪(计算机视觉)
左视频: Dorin Comaniciu et al. Kernel-based object tracking. IEEE Trans. on PAMI. 25(5): 554-577, 2003.
实例6:字符识别
研究组与科研简介
混沌视频保密通信 DEM数据小波压缩 视频跟踪
其他还有什么
以下17幅slide来自"中国农业大学信息与电气工程学院,常华老师"的PPT
渤海湾污染情况
数字图像处理应用——"911"烟雾中的拉登头像
morphing
艺术
指纹特征识别
拉登训练营
680公里高度看香港
金字塔(中国卫星摄)
印度导弹试验场
阿拉法特官邸
EP3侦察机在海南
卫星云图(中国卫星摄)
北京长安街(1M分辨率)
天安门广场(1M分辨率)
夜色地球
朝鲜核设施
Just for fun …
本课程讲授的内容
本课程讲授4个方面的内容:
– – – – 图像增强(image enhancement) 图像压缩(image compression) 图像恢复(image recovery) 特征提取(feature extraction)
一般是图像到图像的操作!
图像增强
朱红.数字图像处理PPT, 2005.
图像压缩
图像恢复
特征提取
本课程讲授的内容
所选用的教材:
– 夏良正编,数字图像处理,2nd Ed.,东南大学出版社, 2005
参考资料
– R. C. Conzalez, R. E. Woods. Digital Image Processing. 2nd Ed. 电子工业出版社,2002.(大而全,很多应用实 例,但某些内容不够深入,适合于想全面了解图像处 理理论与应用的同学) – Maria Petrou. Image Processing: The Fundamentals. (数字 图像处理:疑难解析), 机械工业出版社,2005(适合 于不屈不挠的,刨根问底的,有好奇心的同学) – 朱虹等,数字图像处理基础. 科学出版社. 2005. (容易 理解,便于自学,适合于不爱上课的同学)
一些期刊和会议
国内期刊:
《中国图象图形学报》《电子学报》《自动化学报》《电子科学学刊》 《模式识别与人工智能》 《计算机辅助设计与图形学学报》等
国外刊物:
《IEEE: Trans. Image Processing》《IEEE:Trans. PAMI》《Pattern Recognize》 《International Journal of Computer Vision》《Image and Vision Computing》 …
会议: 中 国 图 像 图 形 会 议 , IEEE International Conference on Image Processing,IEEE International Conference on Computer Vision,IEEE International Conference on Computer Vision and Pattern Recognition,…
本课程讲授的内容
爱上网的同学可以去下面一些网站:
– http://www.icst.pku.edu.cn/course/ImageProcessing200 5/index.html(北京大学) – http://see.xidian.edu.cn/faculty/xbgao/DigitalImagePro/ DIP.html(西安电子科技大学) – http://202.117.179.251/dip2004/(西部农林科技大学) – http://www.dca.fee.unicamp.br/dipcourse/( Digital Image Processing (DIP) with Khoros 2 ) – http://homepages.inf.ed.ac.uk/rbf/HIPR2/ ( HIPR2(Java))
网络链接(续)
很多关于图像处理的链接: – http://www.efg2.com/Lab/Library/ImageProcessing/ CVIPtools(Public Domain Image Processing Software): – http://www.ee.siue.edu/CVIPtools/ Official website for the book, Digital Image Processing (Gonzalez and Woods, 2nd Ed.): – http://www.imageprocessingplace.com/ 还有更多 …
本课程讲授的内容
怎么学习这门课程
– 需要掌握一些数学知识,但更重要的是理解 隐藏在数学公式背后的物理,几何意义,以 及如何应用它们. – 勤于动手,勤于编写程序. – 要和实际应用相结合,创造性地应用图像处 理方法. – 最重要的是……
千里之行, 始于足下
Maria Petrou. Image Processing: The Fundamentals.2002.
开始正式的课程…
图像编程工具
一般图像算法编程可以用两种工具
– 通用的编程语言:C/C++,Java,Delphi, C#,… – 更高级一些的语言和工具,如Matlab
我们这门课程里面只使用标准C,并且不 需要进行图形界面编程
图像编程工具(图像格式)
常用的图像文件,比如BMP,JPG, TIFF,GIF等文件,都是有格式的文件, 因此,当我们需要读取/保存这些文件, 将其中的数据取出/保存时,往往需要编 写比较多的代码来完成这一个工作. 下面我们以常用的BMP文件为例,看一 下它的格式
中国农业大学信息与电气工程学院,常华的PPT
位图文件头
中国农业大学信息与电气工程学院,常华的PPT
位图信息头
中国农业大学信息与电气工程学院,常华的PPT
调色板(如果需要)
中国农业大学信息与电气工程学院,常华的PPT
实际的数据排列
对于2色位图,1位表示一个像素颜色, 所以一个字节表示8个像素 对于16色位图,4位表示一个像素颜色, 所以一个字节表示2个像素 对于256色位图,1个字节表示1个像素 对于真彩色图,3个字节表示一个像素, 排列次序为BGR
注意:从下至上,从左至右扫描,双字对齐
图像编程工具(VI)
为了测试我们所编写的图像处理程序, 我们需要读取一定的图像数据,但又不 想将主要精力放在图像文件读写接口代 码的编写上.为此,我们设计了一个简 单的转换位图文件的程序,称为vi.
图像编程工具(VI)
vi程序运行在WINDOWS 98/ME/NT/2000/XP等 平台上,能够将256色灰度和24位真彩色位图 文件(BMP)转换成无格式的图像矩阵;也能 将无格式矩阵转成各种图像文件,比如BMP, JPG,TIF等文件.此外,vi还能够实现多种图 像格式文件之间的相互转换.实际上,vi程序 能读取BMP,JPG,TIF,PNG,GIF,RGB, CEL,TGA,DAT等9种文件格式,保存BMP, JPG,TIF,PNG,DAT等5种格式的文件格式.
VI程序转换得到的图像数据格式
读入图像数据
保存图像数据
VI的使用
vi为一个控制台命令程序,包括两部分: 一个为可执行的vi.exe程序,另一个为 BMGLib.dll动态库.动态库主要完成各 种图像格式的转换.
启动VI
VI的几个命令
转换一个256级灰度的lena.bmp图像为无 格式lena.dat文件: vi -c lena.bmp lena.dat 将一幅图像转成JPG文件: vi -c lena.dat lena.jpg 256 256 8 65 显示无格式的DAT图像: vi -d lena.dat 256 256 8 vi -d lily.dat 300 240 24
补充和复习一些数学知识
一种科学只有在成功地 运用数学时,才算真正 达到了完美的地步 …
向量(Vectors)
数的有序集 (Ordered set of numbers): (1,2,3,4) 举例: (x,y,z)表示 三维欧氏空间中 的坐标
v = ( x1 , x2 , … , xn ) v =
i =1
∑x
n
2
i
If v = 1, v is a unit vector
矢量加法
v + w = ( x1 , x2 ) + ( y1 , y2 ) = ( x1 + y1 , x2 + y2 )
V+w w
v
标量积(Scalar Product)
av = a ( x1 , x2 ) = (ax1 , ax2 )
av v
内积(Inner (dot) Product)
v α w
v.w = ( x1 , x2 ).( y1 , y2 ) = x1 y1 + x2 . y2
矢量内积是一个标量!
v.w = ( x1 , x2 ).( y1 , y2 ) =|| v || || w || cos α
v.w = 0 v ⊥ w
矩阵
a11 a 21 = a31 an1 a12 a22 a32 an 2 a1m a2 m a3m anm
和(Sum):
Cn×m = An×m + Bn×m
An×m
cij = aij + bij
A and B must have the same dimensions
矩阵
积(Product):
m
Cn× p = An×m Bm× p
cij = ∑ aik bkj
k =1
A and B must have compatible dimensions
An×n Bn×n ≠ Bn×n An×n
单位阵:
1 0 ... 0 0 1 ... 0 I = IA = AI = A 0 0 ... 1
Matrices
转置(Transpose):
Cm×n = A
T
n×m
( A + B) = A + B
T T
T
cij = a ji
若
( AB)T = B T AT
A 为对称阵
A =A
T
迹(Trace):
tr( AN × N ) = ∑ ai ,i
i =1
N
tr( AB) = tr( BA)
Matrices
A 行列式(Determinant): 须为方阵
a11 det a21
a11 det a21 a31
a12 a11 = a a22 21
a12 a22 a32
a12 a22
= a11a22 a21a12
a13 = a a22 a23 11 a32 a33
a23 a21 a12 a33 a31
a23 a21 + a13 a33 a31
a22 a32
Matrices
逆矩阵(Inverse): A 须为方阵
An×n A
a11 a 21
1
n×n
=A
1
1
n×n
An×n = I
a22 a 21 a12 a11
a12 1 = a a a a a22 11 22 21 12
正交变换阵
U 为方阵,U U T = I ,U 为正交阵 U 为方阵,U (U ) = I , U 为酉阵
* T
性质:
U -1 =U T
U = [u1 u2 1 i = j u N ],有u u j = 0 i ≠ j
T i
差分的求取
f ( x, y ) ≈ f ( x, y ) f ( x 1, y ) x
f ( x, y ) ≈ f ( x, y ) f ( x, y 1) y
2 f ( x, y ) 2 f ( x, y ) 或者 2 2 x y
Questions
Assignments
结合生活和学习,说出至少3个图像处理 的应用. 熟悉C语言.采用VI转换图像格式,并采 用提供的参考图像读写函数编写一个程序 完成图像数据的读入和保存.