윤지's

공간 영역에서 이미지 향상

Introduction

공간 영역의 향상, 주파수 영역에서의 향상

• 스패클 노이즈 제거
• 히스토그램 공정
• 중위 필터링

• Enhancement :  이미지를 조작하여 결과가 특정 목적에 적합하도록 처리.
• Techniques of enhancement : 
  • Spatial domain(공간 영역) : 픽셀의 직접적인 조작을 수반.
  • Frequency domain(주파수 영역) : 이미지의 푸리에 변환을 포함.
  • Combination : 공간 및/또는 주파수 영역의 조합

• Objective : 공간 영역에서 특정 응용 또는 목적을 위해 이미지를 처리
  • X-ray image vs. picture of Mars
  • 공간 영역 vs. 주파수 영역 분석
• 이미지 향상에 General Theory는 없다.
  • 인간의 인식을 위한 이미지 품질에 대한 시각적 평가는 주관적
  • 다양한 기술의 조합 are not unusual.
  • 더 많은 프로세스가 더 나은 성능을 제공
• 지정된 위치에서 직접 작동하는 공간 영역 프로세스
  • point(pixel) 기반 프로세스            g(x, y) = T[f(x, y)]
  • area(mask) 기반 프로세스           g(x, y) = f(x, y) * h(x, y)
  • Coefficient vs. size vs. complexity & effect & application

1. Gray-level (intensity) trasformation
   • g(x, y) = T[f(x, y)]  =>  s = T(r)
   • 올바른 transform curves을 사용하여 가장 간단한 프로세스
   • 대비/엣지 향상, 엣지 샤프닝, 스무딩, 노이즈 제거
   • 위성을 통한 원격 감지, 의료 영상, 복원, 노이즈 제거, 타겟 추적EHistogram processing
   • Point process manipulating its histogram for certain purpose
   • 히스토그램 균등화, 히스토그램 일치, 히스토그램 통계량
2. Arithmetic or logic operation
   • 단순 향상 응용을 위해 산술 연산이나 논리 연산을 사용하는 포인트 프로세스
   • averaging, subtracting, AND, OR
3. Spatial filtering
   • area process with 2-D mask
   • smoothing, sharpening (제일 유명)

Gray-level Transformation

공간 영역에서 이니스먼트 방법 4가지.

• Simplest among all others      g(x, y) = T[f(x, y)]    =>    s = T[r]
• Image negatives : s = (L - 1) - r
  • enhancing white or gray detail embedded in dark regions
• Log transformations : s = c * log(1 + r)     {c = constant}
  • expand lower-level values
  • compress higher-level values
• Power-law transformations : s = c * r^y
  • Display device have intensity-to-voltage response that is power function, exponent varying from r = 1.8~2.5
  • 우리가 사용하고 있는 display unit에는 소자의 밝기나 능력에 따라 표현되는 값이 많이 달라질 수 있다.
  • 전류나 전압값을 이용해 특정 소자값을 특정해주는데, 소자마다 다르기 때문에 사람 눈에 보이는 것도 다 다르게 보인다.
    • r > 1
      => 어두운 부분이 강조 (more detail in bright region) -> 밝은 영역의 결과물을 손쉽게 관찰 가능
    • 0 < r < 1
      => 밝은 부분이 강조 (more detail in dark region) -> r(감마값)을 줄여서 보이지 않던 걸 볼 수 있게 할 수 있다.(어두운 영역을 볼 수 있음)
• Piecewise-linear transformation
  • Contrast compress/stretching(밝기 감소/증가) - increases dynamic ranae
  • thresholding(특정 영역은 highlight) - highlight region

    

    • 처리 중인 이미지에서 grey-level의 dynamic range 확장.
    • Intensity level slicing - highlight specific range of gray level
      

      

  • bit-plane slicing - analyze relative importance played by each bit
    특정 영상물을 binary 값으로 전환 (bit-plane으로 전환, Gray code로 전환)
    
    • higher-order bits contain majority of visually significant data
    • Contrast Stretch : 어두운 부분이 전반적으로 밝게 전환.

Histogram Processing

• 다양한 공간 도메인 프로세스 기반
  
  • 영상의 밝기 통계를 그래픽으로 표현
  • Compression, segmentation
• Histogram - 화소의 밝기에 대한 discrete한 함수.
  • normalized histogram
• Histogram equalization : 어두운 부분과 밝은 부분이 많이 분포할 수 있게 조정. 
  • not flattens but redistributes histogram
    

    

Introduction

what is DIP?
인간의 해석을 위해 그림 정보를 개선하기 위한

홍채 인식

• 완전히 동일한 홍채가 존재할 확률 : 1/(10^78)
• 추출된 독립 변수(degrees of freedom)
• IrisCode record size: 512 bytes
• speed(database of 100,000 IrisCode records): 두번 중 한번 

빛 수용기관

• Cones - photopic (bright-light) vision => 밝은 날에 사물을 인식하도록 돕는 기관.
  • sensitive to colors
• Rods - scotopic (dim-light) vision => 해상도, 크기 등을 판단하는데에 도움 - 밤에 활성화
  • given general picture

밝기 적응도

• 빛의 세기 적응 범위 = 10^10 mL (1 lambert (L) = 0.3183 cd/㎠ )
• HVS 는 높은 범위에서 작동할 수 없음.
  • walking into dark theater, one can only distinguish to B and takes time for scotopic vision to pick
    1. 주관적 밝기는 눈에 입사하는 빛의 강도의 로그 함수이다.
    2. 주어진 조건 집합, HVS의 현재 intensity 레벨을 밝기(intensity) 적응 레벨이라고 한다.

Visual Perception

• Brightness Discrimination(밝기 구분)
  • 밝기 판별은 특정 적응 수준에서 빛의 세기 변화를 구별할 수 있는 능력이다.
    • small Weber ratio : 차이를 알아차리기 위해 작은 비율의 intensity 변화가 필요함 --> 양호한 밝기 감별 --> 중간 강도 (밝기가 조금만 변해도 인식 가능 -> delta.I가 작아도 ok)
    • large Weber ratio : 차이를 알아차리기 위해 큰 비율의 intensity 변화가 필요함 --> 저조도 판별 --> dark/bright intensity (밝기를 인식하려면 변화가 커야함 -> delta.I가 반드시 커야함.)
  • 낮은 수준의 조도(illumination)에서 밝기(discrimination)를 판별할 수 없음.
  • 배경 조도(illumination)가 증가함에 따라 크게 향상됨 

    

    

• Brightness Adaptation & Discrimination
  • perceived brightness is not a simple funtion of intensity
    • mach bands

      HVS tends to undershoot or overshoot around boundary of region
      of different intensities

    • Simultaneous contrast
      region may appear to becone darker as background gets lighter
    • Optical illusions (시각적 오해)
      eye fills in non-existing information by geometrical properties of objects

Sensing & Acquisition (영상물 취득 과정)

1. Acquisition Process

   • 

2. Sensors - 하나의 용기 & 그릇 
   • 빛이 오면 빛의 세기를 sensor에 담는데, 어떠한 빛의 성분을 담는지는 sensor 위의 filter에 의해 결정
     • 3가지의 filter이용 (RGB) => RGB의 양이 Sensor에 input

       

       화질과 무게를 비교해 보면 1CCD < 3CCD이다.
3. CCD vs. CMOS

   • 

4. Types of Sensors

   • 

5.  Demosaicing(모자이킹)

   

   손실된 데이터를 주변에서 에너지를 가져와 예측한다예측하는 방법 = Demosaicing
   • The filter pattern is 50% green, 25% red and 25% blue, hence is also called BGGR, RGBG, GRGB, or RGGB
   • Demosaicing generates different color performance. Each company holds unique DIP algorithm for demosaicing process
6. DIP Engines

   

   촬영 범위가 후처리로 확장됨
7. Sampling & Quantization

   

   
   • Sampling : Continuous한 값을 단계별로 쪼개서, 그 위치에서만 값을 취득( = 시간 축을 disitite)
   • Quantization :  맨 끝 범위에서만 값을 얻어내고 값의 크기를 disitization함다. (continuous한 값을 쪼개서 범위에 있는 값으로 mapping)
     •  Countinuous한 값을 sampling해서, 그 위치에서의 값을 읽어오면 그 위치에서의 값을 quantization해서 일정한 범위의 값을 discrite한 quantization
       • Digitizing time interval
       • Digitizing amplitude value
   • Down-sampling & Up-sampling
     • Up-sampling - x축, y축이 2배로 늘어남
     • Down-sampling - x축, y축이 2배로 줄어듦.
     • Sampling은 화질에 영향을 끼침.
   • Sampling affects its resolution as well as data rate
     • 2배로 down-sampling만 진행한 결과 vs. anti-aliasing filter통과하고 down-sampling한 결과
       • anti-aliasing filter를 통과한게 background가 뚜렷(잡음 추가) 
         • 또렷해 보이는거 정확한 값 알 수 없음.
   • Quantization also affects its resolution as well as data rate
   • (선명한 화질의 사진과 그렇지 않은 사진) 두 결과만 가지고 quantization 때문인지 sampling 때문인지 구분 불가. => 부연 정보 이용.
8. Intensity slicing : bit-plane slicing
   • 하나의 영상물을 8개의 binary영상물로 나누는 것.
     • 0~7이기 때문에 8bit

       

       bit-plane7(최대 8장) --> 마지막 장을 빼고 8장만 합쳐도 원본과 큰 차이 없음.
       • 마지막 장은 가장 bit수가 적어서 변형을 주게 됨. 그래서 빼도 상관 없음.
9.  Spatial & Gray-Level Resolution
   • Gray-level resolution : smallest discernible change in gray level

     

10. Aliasing & Moire Patterns

    

    Quantization을 못하면 위의 현상 발생 ==> Filtering을 통해 개선 가능.

Relationships Between Pixels

1. Neighborhood of pixels
   • Any image can be represented as followings
     

     

     두번째는 수직, 세번쨰는 대각선이다. 그 두개를 더해서 첫번쨰를 찾게 된다.
2. Connectivity / Adjacency 
   
   • Two pixels that are neighbors and have same gray values(동일한 밝기의 화소를 가질 때) are adjacent.
     • 주변 화소 값을 이용해서, 그 화소가 관심있는 화소와 어느정도 밀접하게 연관이 있는 지를 알 수 있다.
   • Distance measure between pixels
     • Let x, y be pixels with coordinate x[n, m], y[p, q] 

       

       

       

2강에서 주요하게 볼 것.

영상물을 취득하고 해석하는 과정과 특성

intensity변화율에 따른 인식 차이

Sampling에 따른 영상물의 변

pixel계산하는 방법

Range of Images

Definitions

• 이미지는 2D함수로, ( f(n, m) )으로 정의된다.
  • 픽셀 - 디지털 이미지의 최소 단위
  • Gray level - 픽셀의 밝기값을 나타냄
    • 최소 그레이 레벨은 0이고 최대 그레이 레벨은 영상의 디지털화 깊이에 따라 달라진다.
    • 픽셀은 종종 그레이 스케일 또는 컬러 이미지(8비트 이미지)에서 0에서 255 사이의 값을 가질 수 있다.
• DIP란?
  • 인간의 해석을 위해 그림 정보를 개선하는 것(human interpretation).
  • 자동 기계 인식을 위해 저장/TX/표현을 위해 이미지 데이터를 처리.

Physical image --> sampling & quantization --> Digitized Image

Why 8-bits?
2의 8승 = 256 ==> 0~255
--> 화소당 8bit가 최적, 그 이상은 사람의 눈이 인지하지 못함.

Information vs. Data
1. 사람이 관찰했을 때 개선되도록 --> information 개선 (imformation = 전달하려고 하는 message 그 자체)
2. 자동화 기계가 관찰했을 때 개선되도록 --> data 개선 (저장, 전송 등을 하기 위한 적합한 형식 -> 가공한 binary data)
 ==> 관점에 따라 개선해야 하는 대상이 다름

Imformation Representation

아날로그 신호는 디지털 신호로 다음을 통해 변환된다.

• Sampling - 일정한 간격으로 값을 측정 : 푸리에 분석, 대역폭, 샘플링 정리 (샘플링 속도)
• Quantization(양자화) - 샘플링된 값을 개별 진폭 값 집합 단위로 변환.
• Encoding - 이산 샘플 값을 비트열로 나타냄.
• Bit rate - 양자화에 사용된 샘플링 속도 및 비트 수의 곱

1. sampling rate
2. quantization parameter
3. lossless/lossy encoding
4. bit rate = (samples/sec)x(bits/samples) = bit/sec

1. Sampling 
   • under sampling - 시각적으로 왜곡현상이 나타날 수 있음
   • over sampling
2. Quantization
   • Parameta = QP
   • QP effect --  bit rate
3. Encoding
   • 진행 순서
     1. 전체 영상물을 작은 Block으로 쪼개기
     2. 값 입력
     3. Block 쪼개기
     4. Block별로 주파수 값으로
     5. 양자화
     6. coding

        

        

4. Image : 빨강, 초록, 파랑의 조합으로 각각 특정한 색의 색조를 가진 매우 미세한 점들(pixels)의 격자로 이루어짐.
   • Upscale performance by(전송속도를 높여줄 수 있는 방법)
     1. reduce size of source --> size down
     2. use faster transmission rate --> Network speed up
     3. convert data to different form(coding scheme) --> 다른 형태의 data로 전송(=coding)
5. Text and graphic : 이미지보다 전송 용량이 적음
   • Texts - 정형화 및 비정형화된(7 bits/char)
   • Graphic - 이미지보다 적은 스토리지 공간, 다시 사용 가능
     • What is number of bits of single page of unformatted text having 64 lines and 80 characters per line?
       • --> Number of bits = 80x64x7 = 36 kbits
6. Video : 그래픽 사진의 이미지의 시간적 시퀀스로 구성되며, 각 이미지를 프레임이라고 한다.
   • frame rate - 초당 프레임 수 기준으로 투영 속도
     • What is number of bits in a single second of CIF(360x288) frames displaying at 30 fps?
       • --> Number of bits = 360x288x30x(3x8) = 74.65 Mbits (3 : RGB 3개 채널, 8 : 8bits)
7. Bit rate

Bit rate required for telephone speech?
--> bit rate = 8 k sample/s x 8 bits/sample = 64 kbps.
Oversampling 으로 얻어지는 현상 
--> oversampling minimizes error using truncated sinusoidal signa

Fields of DIP

응용 프로그램을 이해하고, 출처에 따라 이미지를 분류.

• EM파가 파장이 다른 정현파를 전파(EM wave is propagating sinusoidal wave of varying wavelength)
• 광자라고 불리는 질량 없는 입자들의 흐름으로, 각각은 파동과 같은 패턴으로 이동하고 빛의 속도로 이동한다.

각각의 주파수 영역별로 어디서 사용되는가?

1. Gamma-ray Imaging
   • nuclear medicine : PET(Positron Emission Tomography) ( == 3D영상물)
   • astronomical observation
     • Gamma-rays have smallest wavelengths and most energy in EM spectrum
2. X-ray Imaging : 가장 오래된 영상 추출 방법.
   • medical diagnosis
   • angiography
     • contrast enhancement
   • medicine : CT
   • astronomy
   • industry inspection
     • We usually talk about X-rays in terms of their energy rather than wavelength because X-ray light tends to act more like a particle than a wave
     •  
3. Ultraviolet Band Imaging : 자외선
   • lithography
   • microscopy
   • astronomy
   • lasers
   • biological imaging
   • industry inspection
     • UV light has shorter wavelengths than visible light. Though these waves are invisible to human eye, some insects, like bumblebees, can see them
4. Visible Bands Imaging : 가시광선
   • most familiar
   • microscopy
   • astronomy
   • remote sensing
   • automated inspection
   • law enforcement
     • Visible light waves are only EM waves we can see. We see these waves as colors of rainbow. Each color has a different wavelength
5. Infrared Bands Imaging : 적외선
   • remote sensing : LANDSAT
     • LANDSAT : obtains & transmits image of earth from space to monitor environmental condition
   • weather observation & prediction : GEOS - 태풍 영상물 (태풍 관측이 유일 목표)
   • automated inspection
   • law enforcement
6. Microwave Band Imaging
   • Radar
     • Microwaves have wavelengths that can be mesaured in centimeters. Longer microwaves, those closer to a foot in length, are wave which heat our food in a microwave open.
7. Radio Band Imaging
   • medicine : MRI
   • astronomy
     • Radio waves have longest wavelengths in EM spectrum. Radio waves brings music to your radio, carrying signals for your television and cellular phones.
8. Other Imaging
   • 초음파

Fundamental Steps

1강 주요 내용

영상물을 처리하는 속도 및 방법

각 주파수 영역별로 어디에 사용되는지