導讀 快手成立于 2011 年，緻力于成為全球最癡迷于為客戶創造價值的公司。公司在 2022 年 Q4 時，整體的日活使用者達到了 3.66 億，月活使用者達到 6.4 億。為了支撐快手如此大的規模體量，背後有很多資料相關的建設。
快手的資料平台旨在提升決策效率和業績。該平台通過資料中台建構資料倉庫和資料服務，包括分析決策、實驗決策、AB 測試和核心資産服務等。目前，快手的資料量已達到萬億級，總資料量達到 EB 級。本次分享聚焦于資料安全，将分享快手在大資料安全治理方面的實踐。主要包括以下幾大部分：
1. 背景介紹
2. 平台建設
3. 治理實踐
4. 成果和規劃
5. 問答環節
分享嘉賓｜倪順 快手 大資料管理平台負責人
編輯整理｜劉洋
内容校對｜李瑤
出品社群｜DataFun
01
背景介紹
1. 快手大資料安全平台定位
作為上市公司，快手對于資料安全非常關注。快手大資料安全平台的主要職責是為大資料全鍊路、全生命周期保駕護航，保障資料安全。這裡的全鍊路包含幾個層面：
- 在數倉建設階段，資料開發人員可利用平台提供的開發能力進行資料倉庫建設，如基于 ODS 建立資料集市和維表。其中資料平台有完善的資料權限申請管控機制，防止機密資料洩露。
- 在資料采集階段，資料平台會識别敏感資料，進行資料加密、脫敏等操作，在資料入倉時進行安全管控。
- 在資料應用階段，資料平台也采取了安全措施，在資料服務或應用上對使用者鑒權，確定資料資産的安全。
2. 快手大資料安全面臨的挑戰
在建構資料平台過程中，面臨多項挑戰：
- 通用性：系統覆寫範圍廣泛，涉及 30+ 系統，需具備較強的通用性。
- 精細化管控：分為三個層面，首先是資源精細化，涵蓋報表、資料集、名額、次元庫表等異構資源；第二是操作類型精細化，包含讀寫操作；第三是賬号精細化，包含個人賬号和多租戶體系賬号，需做好權限管控和隔離。
- 高可用：認證和鑒權處于資料服務核心鍊路，一旦異常影響範圍非常大，是以對安全要求極高。
- 擴充性：業務需求靈活多變，需滿足多種業務線的權限管控要求，對擴充性提出了較高要求。
3. 快手大資料安全建設思路
為了應對資料平台建設面臨的挑戰，快手的建設思路圍繞着幾個方向展開：
- 首先是組織規範，快手成立了資料委員會、資訊安全委員會等虛拟組織，制定了資料分類分級規範、資料權限規範、資料安全隐私打标規範等，還建立了專門的安全平台組，負責落地這些規範。
- 其次，建設原則兼顧安全與效率，制定了分級審批流程，并建立了協調機制。既要保證安全，又要提高效率。
- 最後，在安全原則方面，遵循相關法律法規，并遵循最小權限原則。
02
平台建設
1. 發展曆程
大資料安全平台的發展曆程可分為四個階段：
- 原始階段，資料平台主要是圍繞報表平台建設，當時落地了初級的權限管理；權限模型基于 RBAC；安全能力處于 2A 級，包括鑒權、申請權限等，整體相對原始。
- 發展階段，引入了 RPAC 權限模型，增強了權限控制，并擴充系統覆寫，涵蓋了引擎類系統（如 Hive）。
- 精細化建設階段，引入了行級權限（PRBC），實作了更精細的權限控制；加強租戶資料隔離，保障資料安全；疊代安全能力，達到 4A 級别，完善了認證體系以及全鍊路審計。
- 資料合規建設階段，聚焦隐私資料保護，引入加解密脫敏、安全隔離艙等能力，實作了 5A 級能力；系統覆寫擴充至 Druid、CK、Kafka、HDFS 等平台；持續推進資料合規建設，保障資料安全。
2. 建設思路
安全平台建設思路圍繞以下三個方面展開：
- 全域覆寫，涵蓋存儲引擎、中台系統（如生産平台、分析平台）、分析決策平台等系統。
- 全能力建設，基于 5A 方法論，建構認證、授權、通路控制、資源保護、審計等全方位安全能力。
- 全生命周期管控，事前重點關注隐私資料合規性，通過資料安全打标、隐私資料打标等措施，加強資料加密和權限控制；事中關注認證鑒權穩定性；事後基于審計日志，建構安全态勢感覺能力，識别異常通路行為，制定風險政策，保障資料安全。
3. 系統架構
系統采用多層架構，包括：
- 應用層：面向使用者，提供應用服務。
- 安全平台核心層：包含插件層、接口層、服務層和存儲層。
- 依賴層：提供外部依賴，如租戶賬号體系和資源體系。
核心層包含以下子產品：
- 插件層：滿足不同引擎的特點，實作權限鑒權。
- 接口層：提供 HTTP 和 RPC 接口，面向中台應用和開發平台。
- 服務層：統一接入資源和賬号，提供權限授予和管理服務。
- 存儲層：自動緩存和加速資料，提高通路效率。
為保障系統高可用和高性能，該系統提供了完善的監控、告警、降級、容錯預案、演練限流等保障措施。
4. 關鍵技術 – 認證體系
認證體系旨在驗證使用者的身份。在設計認證體系時，我們面臨以下挑戰：
- 輕量化：避免對現有系統造成較大影響。
- 本地化：與組織體系相結合。
- 易演化：滿足未來國際化探索等新的業務需求。
我們借鑒業界成熟方案，自研了一套基于三方無密鑰傳輸的認證體系。認證過程包含三次網絡通信：用戶端身份驗證、擷取有效期内通路令牌、背景服務令牌驗證。認證體系包含以下關鍵點：
- 賬号體系：包括個人賬号群組賬号。
- 令牌類型：包括正常通路令牌、代理通路令牌和降級令牌。
- 降級令牌機制：確定在密鑰分發中心異常時，不影響目前通路。
5. 關鍵技術 – 權限模型
權限模型用于控制使用者對資源的通路權限。業界常見的權限模型包括：
- 通路控制清單 (ACL)：直接建立使用者和資源之間的關系，每次通路時檢查使用者是否有權限。
- 基于角色的通路控制 (RBAC)：引入角色的概念，角色與資源綁定，使用者通過加入角色繼承權限。
- 基于政策的通路控制 (PBAC)：引入政策概念，根據主體的屬性、環境或客體的屬性綜合判斷通路權限。
- 基于屬性的通路控制 (ABAC)：與 PBAC 類似，但更強調屬性在通路控制中的作用。
快手由于資源複雜、賬号體系本地化等特點，結合 RBAC 和 PBAC 自研了基于政策的角色通路控制 (PRBAC) 模型。PRBAC 模型以政策為核心，涵蓋以下四個方面：
- 主體：自定義使用者組、租戶賬号。
- 資源：統一辨別符 (UIN)，由公司域、資源域和唯一 ID 組成。
- 動作：讀、寫等常見動作。
- 條件：行級權限的關鍵所在，根據 SQL 查詢中的 WHERE 條件判斷通路權限。
6. 關鍵技術 – 統一鑒權
鑒權體系可分為兩類：
- 應用系統類：QPS 較低，延遲容忍度較高，與快手體系結合良好，可直接內建中間件架構和通路遠端鑒權服務。
- 大資料引擎類：與大資料架構結合較少，基于開源引擎改造，提供鑒權插件，根據引擎特性選擇本地或遠端鑒權模式。
對于鑒權核心服務，包括：
- 自動化重新整理器：增量或全量加載資料。
- 本地資料緩存：異常後快速恢複。
- 鑒權引擎：權限模型和政策規則計算，進而實作靈活的鑒權規則判斷。
7. 關鍵技術 – 全鍊路審計日志
全鍊路審計旨在追蹤資料洩露的源頭，包括生産系統、應用系統、Hive 引擎、HDFS Server 等環節。審計基于上遊資料源，實時收集資産記錄檔、通路日志和下載下傳日志。審計日志經過轉換處理，例如展開 Hive 上下文，便于後續審計。審計日志用于清查和政策建構，如審批日志政策。全鍊路審計的特點包括：
- 全鍊路覆寫
- 融合血緣資訊
- 審計格式統一
- 支援實時風險告警
03
治理實踐
接下來将具體介紹快手資料治理實踐中的重點問題和解決方案。
1. 資料分類分級
首先要介紹的是分類分級。分類分級旨在将資料按敏感性劃分為不同級别，優先處理高敏感資料。
- 分類：原先融合在一起的資料現已區分開，隐私資料單獨列出。通用資料和隐私資料均按公開級别分級，通用資料分為 C1 至 C4 級（公開級、内部級、機密級、原密級），隐私資料分為 P1 至 P4 級。
- 分級：分級後，不同敏感級别的資料将采取不同的保護措施。例如，C4 級和 P4 級資料将采用更嚴格的審批流程，涉及部門負責人和二級部門負責人審批。此外，這些資料在存儲時将采取加密或脫敏等保護措施。
資料分類分級遵循以下原則：
- 更新原則：如果表中存在敏感資訊，則整表按最高标準處理。
- 降級原則：資料脫敏或匿名化後，可降低其敏感級别。
資料分類分級流程分為三個階段：
- 中繼資料采集：通過中繼資料中台自動采集外部平台的資料源、資料表變更資訊，并存儲至中繼資料中心和圖庫中。
- 基于中繼資料，采用以下三種方式進行自動化識别，其中，血緣識别：分析表血緣、任務血緣等，識别敏感字段并進行打标。算法檢測：使用算法檢測特定資料類型，如銀行卡号。規則模闆比對：比對内置的個人資訊識别規則模闆，如姓名、手機号、銀行卡号等。
- 資料大盤分析，識别後，将資料推送給使用者進行二次确認和打标。同時，提供事後資産大盤，幫助使用者從個人、組織、部門等視角審查資産分布情況。
2. 資料引擎安全
資料引擎安全存在以下問題：
- 内部規範方面：早期缺乏賬号體系和租戶賬号體系；資産歸屬不明确，安全責任不清。
- 安全能力方面：缺乏身份認證資訊，缺少安全審計和溯源能力，權限管控缺失。
- 營運治理方面：無法定位真實通路使用者，阻礙推動工作；多個團隊使用多個平台，協作困難。
針對資料引擎安全問題，我們制定了以下解決方案：
- 規範方面：落實賬号體系和認證體系。明确管理角色職責，包括租戶管理者和安全接口人的審批權限。
- 工具方面：引入精細化權限管控，如行列級權限。優化鑒權模式，根據引擎層級進行分層認證。
- 治理方面：成立專門工作組，針對每個引擎推進治理工作。采用二八原則，重點關注頭部平台。采取靈活的封禁政策，逐漸推進平台改造。
3. 敏感資料保護
敏感資料保護治理面臨以下挑戰：
- 法律法規差異：不同國家對敏感資料的要求不盡相同，需要仔細研究相關法律法規。
- 集中管控：敏感資料應與通用資料分開管理，以便于安全管理和風險預警。
- 成本與效率：将敏感資料從通用資料中分離會涉及不同鍊路的改造，需要綜合考慮成本和效率。
各改造的成本和效率存在差異，需要綜合考量。改造涉及以下方面：
- 資料入倉：加強識别和自動脫敏。
- 資料加工：注重敏感資料審批。
在敏感資料保護解決方案中，為解決敏感資料保護挑戰，我們重點引入了安全隔離倉的概念：
- 安全隔離倉：虛拟概念，用于隔離包含敏感資訊的外部資料源。
- 加密和隔離：識别包含敏感資訊的外部資料源後，自動加密并将其放置在安全隔離倉中。
此外，我們還采取了以下措施：
- 規範建設：研究不同國家法律法規，定義敏感資訊類型、脫敏方式和要求。
- 工具建設：開發資料識别、檔案字段加密和脫敏工具。
- 資料保護措施：實施字段級權限管控、嚴格審批流程等資料保護措施。
- 增量處理：定期掃描識别新出現的敏感資訊，推動使用者治理和落地。
通過上述措施，我們建立了全面的敏感資料保護體系，確定敏感資料得到有效保護。
04
成果和規劃
1. 成果總結
自建設以來，快手大資料安全體系已在 30 餘個系統中落地實施，資源規模達到千萬級，日均申請量達到千級，覆寫了 C2 至 C4 及 P4 等審批流。應用範圍涵蓋多個層面，包括 Web 系統、認證鑒權等服務。整體運作穩定，未出現重大故障。有效保障了資料安全，提升了資料治理水準。
2. 未來規劃
未來規劃主要包括以下幾個方面：
- 覆寫度提升：推動底層引擎使用方 100% 接入認證和鑒權；完善 HDFS 上層使用方的認證和鑒權接入。
- 态勢感覺增強：分析資料資産分布和敏感資料通路行為；檢測資料異常行為。
- 新技術探索：探索增強型資料保護技術，如增強隐私資料保護、多方安全檢測等；研究 data fabric 等新思路，實作資料可用但不可見。
- 智能化提升：利用大模型和機器學習算法提升資料分類分級和敏感資料識别準确性；探索智能化資料治理手段。
通過以上工作，保障敏感資料的保護，為企業資料安全保駕護航。
05
問答環節
Q1：關于令牌化資料入湖處理：如何處理已令牌化的實時資料庫資料入湖？
A1：入湖時，識别令牌化資料的敏感性。如果資料僅用于模組化，則無需額外處理。否則，根據資料脫敏規範進行脫敏處理，確定資料安全。
Q2：關于跨部門資料權限申請：快手如何劃分資料權責歸屬？
A2：權限申請分為不同級别：
- 普通資料：權限負責人審批。
- 重要資料（如 C4）：權限負責人、二級部門負責人審批。
- 非常重要資料：權限負責人、二級部門負責人、一級部門負責人審批。
申請方式包括個人名義群組名義，權限有效期過後可續簽或更新。
Q3：關于大資料平台行級記錄删除：快手如何支援隐私合規下的行級記錄删除？
A3：全鍊路删除資料，包括業務庫和下遊資料。Hive 分區檔案：不适合行級删除，成本高。建議采用 Hudi 引擎：支援行級增删改，性能較好。其删除的具體流程如下：
- 使用者提出資料删除請求。
- 系統驗證請求合法性。
- 啟動全鍊路資料删除流程。
- 業務庫删除對應資料。
- Hudi 引擎删除對應行級資料。
- 其他下遊系統同步删除對應資料。
以上就是本次分享的内容，謝謝大家。
分享嘉賓
INTRODUCTION
倪順
快手
大資料管理平台負責人
專注于大資料領域下資料管理建設，包括資料安全和品質、中繼資料平台、大資料資源管理等方向。