資料基礎概念
資料是資料工程與建模的基礎,品質、來源、結構、分布、表示方式與類型,會影響後續的分析、處理與模型建構。本篇整理資料的基本層次、品質判斷、主要特性、常見表示形式與資料類型,理解資料及運算對象的基礎。
資料與資訊階層
資料可依結構化程度與語意形成過程分為不同層次。Data 是尚未具備完整語意的原始測量或觀察值。

經整理後,資料可形成具備欄位、格式與對應關係的 Dataset,其內容會依不同專案或應用場景定義。資料進一步經處理或轉換後,形成具有語意且可供使用的 Information;由資訊歸納出的規則、模式或推論,則構成 Knowledge。

資料品質
資料品質(Data Quality)用於判斷資料是否可用、可靠,並適合分析或建模。其核心面向包括準確性、完整性、一致性,以及噪音與異常值的辨識。
準確性(Accuracy)要求資料盡可能貼近真實狀況,避免標註錯誤、感測器偏差與記錄錯誤。完整性(Completeness)要求資料具備必要欄位與重要值,以降低缺漏造成的分析偏差或模型失真。一致性(Consistency)要求資料的格式、單位、編碼、時間戳記與標籤方式保持統一,避免解析與整合衝突。
噪音與異常值(Noise and Outliers)可能來自輸入錯誤或設備故障,也可能是真實的極端樣本。是否保留、修正或移除,需依資料目的與使用情境判斷。
資料特性
資料特性(Data Characteristics)描述資料的來源、結構形式與統計分布。依來源可分為真實資料(Real Data)與合成資料(Synthetic Data)。真實資料由實際觀測或事件產生。合成資料則由模型或模擬程序生成,用於補足稀少或難以取得的場景。
依結構形式,資料可分為結構化資料(Structured Data)、半結構化資料(Semi-structured Data)與非結構化資料(Unstructured Data)。結構化資料通常為表格型資料,欄位與格式明確。半結構化資料具有部分結構,例如 JSON 與 XML。非結構化資料則缺乏固定欄位形式,常見於影像、文本與聲音。
Dense Data(稠密資料)
稠密資料(Dense Data)的大多數維度皆具有有效數值,常見於影像、音訊與連續感測資料,通常可使用一般矩陣表示。
Sparse Data(稀疏資料)
稀疏資料(Sparse Data)的大部分特徵為 0,且這些 0 代表有效訊號而非缺失值。稀疏資料常見於 One-hot、TF-IDF 與推薦系統等高維向量。

資料表示方式
資料表示方式(Data Representation Forms)是將資料轉換為模型與演算法可運算的形式。單筆樣本通常可表示為向量,多筆樣本可組成矩陣。影像與影片等多維資料則可使用張量表示。
對於具有節點與關係結構的非歐幾何資料,可使用圖表示(Graph Representation)。圖表示以節點、邊與鄰接矩陣描述社群網路、知識圖譜等資料。
資料類型
資料類型是資料科學與機器學習中常見的分類方式。數值資料(Numerical Data)包含離散數值與連續數值。離散數值通常用於表示可計數的數量。連續數值則可在一定範圍內取任意實值,例如溫度。
類別資料(Categorical Data)可依是否具有順序分為名目資料(Nominal Data)與序數資料(Ordinal Data)。名目資料只有類別差異而沒有順序,例如國家與顏色。序數資料具有順序,但類別間的間隔不一定相等,例如等級評分。
此外,資料也可依內容或媒介分為二元、文本、影像、音訊、影片、時間序列與圖資料。這些分類可能彼此重疊。時間序列可以是數值資料,圖資料也可以包含文本或類別特徵。

