Phân tích trọng số mở: sáu model Trung Quốc được khởi tạo trên chip Blackwell bị cấm xuất khẩu

Ngày 12/11/2026, Will DePue đăng một chuỗi bài dài trên X kèm báo cáo của tổ chức phi lợi nhuận do anh lập là Unemployment Labs. DePue từng làm ở OpenAI, tham gia phát triển Sora và post-training (giai đoạn tinh chỉnh sau huấn luyện chính) cho GPT-4o và o3. Anh khẳng định sáu model open-weight của bốn phòng lab Trung Quốc đã được khởi tạo trên phần cứng Nvidia Blackwell. Mỹ cấm xuất dòng chip này sang Trung Quốc nếu không có giấy phép. Sáu model gồm DeepSeek-V4-Flash, DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro, MiniMax-M3 và Ling-3.1-flash của Ant Group. TechCrunch và The Decoder đưa tin ngay hôm sau. Mã kiểm chứng được đăng lên GitHub tại macrogrants/checkpoint-forensics ngày 13/11.

Khía cạnh chính trị khá rõ. Báo cáo ra đúng tuần Jensen Huang rời Nvidia, giữa lúc báo chí đưa tin về quan hệ của ông với một lãnh đạo của Megaspeed, công ty bị nghi dính líu tới buôn lậu chip. Nhưng với dân lập trình, điều đáng chú ý hơn là cơ chế: một checkpoint (tệp trọng số đã lưu) công khai có thể mang theo những thông tin mà không ai định công bố.

GPU để lại “dấu vân tay” trong trọng số như thế nào

Trước khi huấn luyện, mỗi trọng số cần một giá trị ban đầu. Với PyTorch trên GPU Nvidia, các giá trị này lấy từ bộ sinh số ngẫu nhiên Philox trong thư viện cuRAND. Philox là bộ sinh tất định: cùng một seed (số hạt giống) thì luôn ra cùng một dãy số. Để lấp đầy hàng tỷ ô nhanh, công việc được chia cho rất nhiều luồng (thread) trên GPU. Theo báo cáo, khi tensor đủ lớn, mỗi SM (streaming multiprocessor, cụm xử lý của GPU) chạy tối đa 2.048 thread. Mỗi thread sinh một dãy con và ghi vào các vị trí cách đều nhau. Tổng số thread, tức khoảng cách giữa các vị trí, phụ thuộc vào số SM của chip:

  • Hopper (H100 SXM, H200, H800): 132 SM, 270.336 thread
  • Blackwell B200/B300: 148 SM, 303.104 thread
  • Grace Blackwell GB200/GB300: 152 SM, 311.296 thread

Cùng một seed, nhưng số SM khác thì cùng các con số ngẫu nhiên ấy rơi vào vị trí khác. Nói cách khác, một tensor ngẫu nhiên vô tình ghi lại “hình dạng” của chiếc máy đã tạo ra nó. Bản thân tài liệu PyTorch cũng cảnh báo kết quả ngẫu nhiên không được đảm bảo giống nhau giữa các nền tảng. Ở đây, chính sự “không tái lập được” ấy lại trở thành tín hiệu.

Phản biện dễ thấy nhất là huấn luyện sẽ xoá mất giá trị ban đầu. DePue trả lời bằng hai ý. Thứ nhất, có những hàng trọng số không bao giờ được cập nhật. Đó là các hàng embedding của những token không xuất hiện trong dữ liệu huấn luyện, nên chúng giữ gần như nguyên giá trị khởi tạo. Thứ hai, ngay cả trọng số đã huấn luyện vẫn còn tương quan yếu với điểm xuất phát. Trên 42 lớp của DeepSeek-V4-Flash, bố cục Blackwell dự đoán trọng số cuối với hệ số r = 0,066. Con số rất nhỏ nếu xét từng trọng số, nhưng đạt 57 sigma trên khoảng 745.000 trọng số mỗi lớp. Thử với bố cục Hopper thì tương quan biến mất.

Nhóm tác giả dò khoảng sáu nghìn tỷ tổ hợp seed và bố cục. Thử nhiều như vậy thì dễ trùng hợp ngẫu nhiên, nên mỗi tổ hợp được chọn trên một tập trọng số rồi kiểm tra trên một tập khác chưa dùng để chọn. Theo báo cáo, trùng hợp ngẫu nhiên tốt nhất chỉ đạt khoảng 8 sigma. Các kết quả thật nằm trong khoảng 49 đến 1.385 sigma, và phép thử yếu nhất cũng đạt 20 sigma.

Kiểm chứng trên phần cứng thật

Phần thuyết phục nhất không nằm ở thống kê mà ở việc tái hiện được kết quả. DePue chạy PyTorch nguyên bản với seed khôi phục được của DeepSeek (953049583, dùng lại từ V3 sang V4). Trên một chiếc B300, anh tái tạo 461 trên 469 hàng được chọn của DeepSeek-V4-Flash với tương quan trên 0,99, trong đó 445 hàng trùng khớp từng bit. Một chiếc H100 tái tạo từng bit toàn bộ 57.344 giá trị còn nguyên của DeepSeek-V3, nhưng không khớp hàng nào của V4-Flash. Một chiếc GB200 thuê ngoài tái tạo đủ 13 hàng còn nguyên của Kimi K3 từ seed của Moonshot (20256586). Chỉ cần đổi seed đi một đơn vị là không còn khớp. Báo cáo cho biết đoạn kiểm tra này chạy trên laptop chỉ mất vài giây.

Để đối chứng, phương pháp cho kết quả đúng với cả 24 model mà nhà phát triển đã công bố phần cứng. Llama 3.1 cho ra 132 SM (H100), Pythia ra 108 (A100). Nemotron-3 Ultra của chính Nvidia, có một giai đoạn huấn luyện trên GB200, ra 152. Tuy vậy, báo cáo tự lưu ý rằng các model cùng họ không độc lập với nhau. Vì thế đây chỉ là phép kiểm tra tính nhất quán, chưa phải tỷ lệ chính xác.

Mốc thời gian trong báo cáo cũng đáng chú ý. DeepSeek mang dấu Hopper đến hết V3 và chuyển sang Blackwell từ V4 (tháng 4/2026). Moonshot chuyển từ K3 (tháng 7), MiniMax từ M3 (tháng 6), còn Ant chuyển giữa Ling-3.0-flash (tháng 8) và Ling-3.1-flash (tháng 10). Các model mới nhất của Qwen (Alibaba), Zhipu, Tencent, Xiaomi và StepFun vẫn mang dấu Hopper. LongCat-2.0 của Meituan không có dấu vết Nvidia nào, khớp với việc hãng nói đã huấn luyện trên “AI ASIC superpods”.

Những gì báo cáo chưa chứng minh được

Báo cáo gốc thận trọng hơn nhiều bài báo đưa tin, và các điểm dè dặt sau đây đáng được nêu rõ:

  • Khởi tạo không đồng nghĩa với huấn luyện. Dấu vân tay chỉ cho biết phần cứng nào sinh ra trọng số ban đầu. Một phòng lab hoàn toàn có thể khởi tạo trên cụm máy này rồi huấn luyện trên cụm khác. Báo cáo viết rằng bằng chứng “ủng hộ nhưng không chứng minh” việc huấn luyện diễn ra trên Blackwell.
  • Không biết chip đặt ở đâu, cũng chưa biết có phạm luật hay không. Năng lực tính toán Blackwell có thể thuê ở Malaysia hay Thái Lan. Bằng chứng chỉ cho thấy các lab tiếp cận được chip, không chứng minh có buôn lậu. Có vi phạm pháp luật hay không còn tuỳ quy định về ai được dùng chip, chứ không chỉ ai sở hữu chip.
  • Còn khả năng là chip AMD. Một chiếc MI300X bị giới hạn ở 148 hoặc 152 đơn vị tính toán sẽ tạo ra đúng các bố cục này. DePue loại trừ AMD cho V4-Flash dựa trên một khác biệt làm tròn đặc thù của từng hãng: 363 trên 377 giá trị khớp Nvidia, không giá trị nào khớp AMD. Với năm model còn lại, khả năng AMD chỉ được đánh giá là “rất khó xảy ra”.
  • Ước tính chi phí còn mỏng. Bản đầu tiên ước mỗi lượt huấn luyện lớn dùng 2.000–3.000 GPU. Bản sửa ngay trong ngày nâng lên khoảng 4.500 GPU cho Kimi K3 và 3.000 cho DeepSeek-V4-Pro, tức khoảng 12.000 GPU Blackwell và hơn nửa tỷ USD cho năm lượt huấn luyện. Các con số này dựa trên giả định về hiệu suất sử dụng GPU, thời gian huấn luyện và số token, những điều trọng số không xác nhận được.
  • Chưa có kiểm chứng độc lập công khai. DePue nói các nhà nghiên cứu cấp cao ở OpenAI và Anthropic đã xác nhận kết quả, nhưng không ai được nêu tên. Bài báo khoa học đầy đủ chưa ra. Trong các bài đưa tin được tham khảo, chưa có phản hồi từ DeepSeek, Moonshot, MiniMax hay Ant.

Vì sao chuyện này quan trọng

Có ba bài học cho những ai phát hành hoặc sử dụng model mở.

Thứ nhất, trọng số mở làm lộ nguồn gốc. Một checkpoint không chỉ cho biết model tính toán gì, mà còn cho biết nó được tạo ra thế nào và trên máy nào. Chẳng hạn việc dùng lại seed qua nhiều thế hệ, việc trộn các checkpoint, và ở đây là dòng phần cứng. Kimi K2.7-Code là một ví dụ: khoảng 80% số hàng thừa hưởng từ thời Hopper, 20% là các hàng sinh mới theo bố cục Blackwell, dấu hiệu của một checkpoint được trộn. “Pháp y checkpoint” nhiều khả năng sẽ thành một lĩnh vực riêng, và DePue nói sẽ còn công bố thêm.

Thứ hai, tín hiệu này rất dễ xoá. Chỉ cần khởi tạo trên CPU, dùng bộ sinh số khác hoặc xáo trộn tensor là dấu vết biến mất. DePue thừa nhận điều đó và nói đã cân nhắc kỹ trước khi công bố. Các nhà làm chính sách nên coi đây là một lần nhìn lại quá khứ, không phải công cụ giám sát lâu dài.

Thứ ba, nó thêm bằng chứng cho cuộc tranh luận về việc kiểm soát xuất khẩu chip có còn hiệu quả khi năng lực tính toán có thể thuê xuyên biên giới. Ít nhất bốn phòng lab hàng đầu Trung Quốc đã chuyển sang thế hệ chip Nvidia mới nhất trong vòng vài tháng, bất chấp lệnh cấm. Những quy định chỉ quản lý chip đặt ở đâu mà không quản lý ai được dùng chip trông khá nhiều kẽ hở. Hướng bền vững hơn là cơ chế quản trị năng lực tính toán không phụ thuộc vào việc các lab quên xoá dấu vết.

Nguồn