A/D轉換器的量化噪聲、丟失位、諧波失真以及其他非線性失真特性都可以通過分析轉換器輸出的頻譜分量來判定。
確定由上述這些非線性特性所引起的轉換器性能的下降并不困難，因為這些都呈現為A/D轉換器的輸出噪聲中的一些雜散頻譜分量以及背景噪聲的增加。傳統的測量方法是將模擬的正弦電壓加到A/D轉換器的輸入端，然后測量轉換器的數字化時域輸出采樣的頻譜。
可以利用FFT來計算A/D轉換器輸出采樣的頻譜，但是為了改善頻譜測量的靈敏度，必須將FFT頻譜泄漏減到最小。但對于高性能的A/D轉換器測試，傳統的時域開窗無法足夠地降低FFT泄漏。
解決FFT泄漏的訣竅是采用頻率是A/D轉換器時鐘頻率整數倍的模擬正弦輸入電壓，如圖1(a)所示。該頻率為mfs/N，m是整數，fs是時鐘頻率(采樣率)，而N是FFT點數。當理想A/D轉換器的模擬輸入為N = 128轉換器輸出的8個周期采樣正弦波時，圖1(a)中x(n)是其時域輸出。
圖1：當輸入為一個模擬的8fs/128 Hz正弦曲線時，理想A/D轉換器的模擬輸入為：(a) 輸出時域采樣；(b) 以dB為單位的幅值。
該例中，輸入頻率被歸一化到采樣率fs，即8fs/128 Hz。mfs/N定義了離散傅里葉變換(DFT)的分析頻率，或頻率段中心(bin center)，頻率位于頻率段中心的DFT輸入正弦曲線不會引起頻譜泄漏。
在圖1(b)中，用對數坐標繪制了x(n)的128點FFT的前半部分，輸入頻率剛好位于m=8的頻率段中心，FFT泄漏得到了有效減小。特別地，如果采樣率為1MHz，則A/D的模擬輸入頻率將必須精確為8(106/128) = 62.5 kHz。
為了實現這一方案，需要確保模擬測試信號源與A/D變換器的時鐘頻率fs Hz保持精確同步。這也正是為什么A/D轉換器測試過程被稱作為相干采樣的原因。
也就是說，模擬信號發生器和提供fs的A/D時鐘發生器在頻率上不能有彼此的漂移，必須保持相干(從語義上必須注意，有時候正交采樣也被稱作為相干采樣，不過正交采樣與這里的A/D轉換器測試過程無關)。
正如所預見的那樣，m中的某些值比其他的一些有利。注意圖1(a)中，當m=8時，A/D轉換器只輸出9個不同的幅度值。這些值不斷地反復。如上圖2中所示，當n=7時，就要比9個不同的A/D輸出值多很多。
圖 2：7周期的正弦A/D轉換器輸出。
選m為一個奇素數
由于最好能夠測試盡可能多的A/D輸出二進制字，同時又要保持量化噪聲足夠隨機，A/D測試方案的用戶發現了另一個竅門。他們發現當m選為奇素數(3、5、7、11)時，能夠將A/D輸出字的重復減到最小。
下面的圖3(a)顯示了一個非線性A/D轉換器工作的一個極端例子，有幾個離散輸出將采樣位下降到m=8的時域x(n)中。圖3(b)提供了這種失真的x(n)的FFT，與圖1(b)進行比較，可以看到噪聲背景增加了，這是因為A/D轉換器的非線性所致。
圖3：非理想的A/D轉換器輸出表現出幾個丟失位：(a)時間采樣；(b)頻譜幅值(單位dB)。
真正的A/D轉換器的量化噪聲電平應該高于上圖3(b)中所測得的結果。這是因為FFT的相關處理增益將高電平的m=8頻譜分量在背景噪聲中拔高所致。
因此，如果采用該A/D測試技術，必須計算圖3(b)中所示10log10(N/2)的FFT處理增益。
為了充分表征A/D轉換器的動態性能，需要在許多不同的頻率和幅度上執行該測試。當然，加到A/D轉換器上的模擬正弦信號必須盡可能地純凈。模擬信號中的任何固有失真都將在最終的FFT輸出中表現出來，并導致A/D非線性問題。
關鍵的是任何輸入頻率都必須是mfs/N。為了滿足奈奎斯特采樣準則，這里m小于N/2，充分利用FFT的處理能力同時使頻率泄漏最小。
為了量化轉換器的互調失真，通常需要在A/D的輸入端加上兩個模擬信號，互調失真反過來又能表征轉換器的動態范圍。此時，兩個輸入信號都必須滿足mfs/N限制。測試配置見圖4。
圖4：A/D轉換器硬件測試配置。
當采用低通濾波器(BPF)來改善正弦波信號源輸出信號的純度時應謹慎，應該采用衰減量較小的固定衰減器(pads)來避免兩個信號源相互影響。(建議采用3-dB衰減器)。
功率合成器(power combiner)通常是模擬功率分配器的反向應用，A/D時鐘信號發生器的輸出也是方波。上面圖4中的點劃線顯示所有三個信號源被鎖定到同一參考頻率源上。
檢測丟失的代碼
一個影響A/D轉換器的一個問題是丟失代碼。當轉換器不能輸出一個特定的二進制字(一個代碼)時將會產生這種問題。試想一下，當用一個模擬正弦波來驅動一個8位轉換器，其輸出二進制字應該是00100001(十進制的33)，而實際輸出則是00100000(十進制的32)，就會造成這種問題，如圖5所示。
圖5：8位轉換器的二進制0010001，十進制33的丟失代碼時域圖。
代表十進制33的二進制字就是一個有丟失的代碼。這種微小的非線性通過檢測時域采樣或者進行頻譜分析都很難檢測到。所幸的是，有一種既簡單又可靠的方式，即采用統矩形圖(histogram)分析來檢測該丟失代碼。
該統計矩形圖分析測試技術僅僅包括收集許多A/D轉換器輸出采樣，并繪制出這些采樣值的出現次數和采樣值的關系。
在該統計矩形圖中，任何丟失的代碼(如上面丟失的33一樣)都將作為零值被顯示出來。也就是說，代表十進制33的這個二進制代碼出現的幾率為零。