Bản tóm tắt cũng không rời khỏi thiết bị: Vì sao MinuteAI xử lý ghi chú cuộc họp bằng LLM cục bộ
Pipeline GGUF/llama.cpp của MinuteAI tạo bản tóm tắt ngay trên thiết bị, thay vì gửi bản chép lời tới LLM đám mây, và vì sao điều đó quan trọng.
Sản phẩm liên quan: MinuteAI Tất cả sản phẩm Giải pháp
Chép lời chưa bao giờ là toàn bộ công việc
Một bản chép lời thô không phải là thứ ai đó thực sự muốn nhận được từ một công cụ ghi âm cuộc họp. Điều người ta muốn là bản tóm tắt ba dòng, danh sách các quyết định, danh sách việc cần làm kèm tên người phụ trách — phần biến bốn mươi phút hội thoại thành thứ có thể đọc trong hai mươi giây. Chúng tôi từng viết về việc MinuteAI giữ toàn bộ khâu chép lời trên thiết bị, chạy Whisper qua Core ML để âm thanh không bao giờ rời khỏi máy Mac hay iPhone. Nhưng chép lời chỉ là một nửa của pipeline. Nửa còn lại là tóm tắt — và đây chính là nửa mà nhiều công cụ vốn tự nhận chú trọng quyền riêng tư lại âm thầm đổi cách nói.
Nơi phần còn lại của thị trường vẫn đang vẽ ranh giới
Nhìn qua thế hệ trợ lý cuộc họp AI hiện nay, một khuôn mẫu nhanh chóng lộ ra: từ “cục bộ” và “riêng tư” thường chỉ mô tả bước thu âm, chứ không phải toàn bộ pipeline. Một số bài so sánh năm 2026 về các công cụ như Granola, Otter, Fireflies và Fathom mô tả một cấu trúc chung — việc thu âm diễn ra cục bộ hoặc âm thầm ở nền, nhưng bản chép lời vẫn được gửi tới một LLM trên đám mây để tạo ra bản tóm tắt, danh sách việc cần làm và ghi chú thực tế. Granola là một ví dụ điển hình cho khuôn mẫu này: công cụ này thu ghi chú cục bộ mà không có bot nào tham gia cuộc gọi, nhưng bước “làm giàu” biến ghi chú thô thành bản tóm tắt hoàn chỉnh lại chạy trên đám mây. Đó là một lập trường quyền riêng tư khác biệt đáng kể so với việc bản chép lời không bao giờ rời khỏi thiết bị, ngay cả khi nhà cung cấp cẩn trọng về chính sách lưu giữ dữ liệu và cho phép người dùng từ chối việc dữ liệu được dùng để huấn luyện mô hình.
Mối lo ngại đang đẩy lùi khuôn mẫu đó không phải là giả thuyết suông. Các bài viết về công cụ AI cục bộ cho cuộc họp trong năm nay chỉ ra chủ quyền dữ liệu là một trong những phản đối hàng đầu mà các đội IT và tuân thủ đưa ra đối với trợ lý cuộc họp dựa trên đám mây — mối lo không chỉ dừng ở “nhà cung cấp này có huấn luyện mô hình bằng dữ liệu của chúng tôi không”, mà còn là “nội dung cuộc họp của chúng tôi có rời khỏi hạ tầng của chúng tôi hay không” — một câu hỏi mà chính sách không huấn luyện không thực sự trả lời được. Các đội ngũ trong lĩnh vực y tế, pháp lý và tài chính đặc biệt được nhắc đến như những người áp dụng sớm nhất các công cụ hoàn toàn cục bộ, chính vì một lời hứa ở phía máy chủ không phải là sự đảm bảo giống như một kiến trúc không có máy chủ nào tham gia vào quy trình.
Bước tóm tắt cục bộ của MinuteAI
Đây chính là khoảng cách mà kiến trúc của MinuteAI được xây dựng để lấp đầy ở cả hai phía, không chỉ riêng phía chép lời. Như chúng tôi đã mô tả trong bài viết về chép lời trên thiết bị, pipeline của MinuteAI chia công việc ra hai runtime cục bộ khác nhau vì chép lời và tóm tắt là hai loại tải công việc khác nhau: Core ML xử lý mô hình chuyển giọng nói thành văn bản dựa trên Whisper, còn một mô hình GGUF chạy qua llama.cpp xử lý phần hậu xử lý dựa trên LLM — bao gồm cả tóm tắt. Cả hai giai đoạn đều đi qua cùng một Model Manager, được nạp theo kiểu lười (lazy loading) và giải phóng sau một khoảng thời gian không hoạt động, và cả hai đều ghi vào cùng một kho lưu trữ kết quả dựa trên SQLite ngay trên thiết bị. Không có điểm nào trong chuỗi này mà bản chép lời phải vượt qua ranh giới mạng để trở thành bản tóm tắt, bởi mô hình thực hiện việc tóm tắt nằm trong cùng những trọng số được ánh xạ bộ nhớ (memory-mapped), trên cùng một thiết bị đã thực hiện việc chép lời.
Đó cũng chính là bản năng đã định hình Tiện ích mở rộng Chrome của MinuteAI — công cụ này truyền âm thanh thu được tới localhost thay vì bất kỳ máy chủ từ xa nào — và tính năng phân tách người nói, cung cấp pyannote.audio dưới dạng bản tải về cục bộ tùy chọn thay vì một lệnh gọi API trên đám mây. Mọi giai đoạn biến một bản ghi âm thành ghi chú hữu dụng — thu âm, chép lời, gán người nói, tóm tắt — đều diễn ra bên trong cùng một ranh giới trên thiết bị, chứ không phải chỉ phần lớn trong số đó.
Được và mất khi chỉ “cục bộ một nửa”
Điều này không có nghĩa là tóm tắt trên đám mây kém hơn về mặt kỹ thuật. Các họ mô hình trọng số mở mà phần lớn công cụ cuộc họp cục bộ dựa vào cho tác vụ này trong năm 2026 — nổi bật nhất là các thế hệ Llama 3.x và 4.x — nhỏ hơn so với các mô hình đám mây hàng đầu mà Granola hay Fireflies có thể gọi tới, và một mô hình GGUF đã lượng tử hóa chạy trên Neural Engine của điện thoại sẽ không thể vượt qua chất lượng tóm tắt của một mô hình lưu trữ đám mây kích thước đầy đủ trong mọi trường hợp biên. Đó là một sự đánh đổi thực sự, không phải một chú thích tiếp thị — và cũng là kiểu đánh đổi mà pipeline phân tách người nói đã chấp nhận khi chọn một mô hình cục bộ nhỏ hơn thay vì một giải pháp thay thế lớn hơn trên đám mây.
Đổi lại, cách tiếp cận cục bộ mang lại một điều thuộc về kiến trúc: không có bước nào trong quy trình mà chính sách bảo mật của công ty, một NDA, hay kỳ vọng về quyền riêng tư của khách hàng phải được cân nhắc so với lời hứa lưu giữ dữ liệu của nhà cung cấp, bởi vì không hề có việc tải lên nào để lời hứa đó áp dụng vào. Đối với một cuộc họp đề cập đến điều khoản giao dịch, chi tiết y tế, hoặc bất cứ điều gì thuộc phạm vi NDA, đó không phải là một tính năng “có thì tốt” — đó là ranh giới giữa một công cụ mà bộ phận pháp lý sẽ chấp thuận và một công cụ mà họ sẽ không chấp thuận.
Vị trí trong danh mục sản phẩm
Việc giữ toàn bộ pipeline cục bộ — không chỉ những phần dễ giữ cục bộ — là kỷ luật xuyên suốt phần còn lại của danh mục sản phẩm AityTech. PrivateAI áp dụng điều này cho các công cụ chạy trên trình duyệt thay vì một ứng dụng gốc; Legacy Dragon áp dụng điều này cho việc phân tích mã nguồn hệ thống cũ. Quy tắc chung giống hệt quy tắc mà MinuteAI áp dụng cho chính bước tóm tắt của mình: đừng dừng lại giữa chừng pipeline chỉ vì nửa sau khó giữ cục bộ hơn.
MinuteAI hiện có trên App Store cho macOS và iOS, hoặc bạn có thể tìm hiểu thêm tại getminute.app. Có câu hỏi về cách công cụ này phù hợp với quy trình làm việc của bạn? Liên hệ tại [email protected].
Bài viết liên quan
Đóng gói một trình thông dịch Python nặng 234MB vào trong ứng dụng Swift: Quy trình phát hành runtime ML tùy chọn của MinuteAI
Quy trình MinuteAI build, kiểm thử và phát hành runtime Python/PyTorch 743MB đứng sau tính năng phân tách người nói, trước khi tới máy Mac người dùng.
Hướng dẫnApple và Google Vừa Bắt Đầu Ghi Chép Cuộc Gọi Miễn Phí. Không Bên Nào Chạm Đến Tab Zoom
iOS 26 và Pixel Recorder phiên âm cuộc gọi miễn phí trên thiết bị, nhưng chưa chạm tới tab Zoom, nơi Tiện ích Chrome của MinuteAI hoạt động.
Hướng dẫnAi nói gì: Vì sao MinuteAI cung cấp tính năng phân tách người nói dưới dạng tải về, thay vì đóng gói sẵn
Phân tách người nói của MinuteAI chạy trên pyannote.audio và PyTorch, nên được cung cấp dưới dạng bản tải về tùy chọn 234MB thay vì đóng gói sẵn.