Xử lý ngôn ngữ tự nhiên (NLP) có nhiều ứng dụng thiết thực, đóng góp đáng kể cho sự phát triển của các thiết bị thông minh, điển hình là tính năng trợ lý ảo đang rất được quan tâm thời gian gần đây. Liên quan trực tiếp đến đối thoại tự nhiên của con người, các mô hình của NLP có những đòi hỏi khắt khe về hàm lượng dữ liệu đầu vào và thời gian đào tạo chuyên sâu để hoàn thiện khả năng phân tích chính xác và giao tiếp phù hợp ngữ cảnh. Có vô số cơ sở dữ liệu mã nguồn mở hỗ trợ cho chu trình Xử lý ngôn ngữ tự nhiên, với nội dung tập trung vào các từ, các câu, đoạn văn bản, bài phát biểu, tiếng lóng và những điều liên quan tới đối thoại tự nhiên của con người. y nhiên, sự nở rộ của các cơ sở dữ liệu mở lại đang khiến nhiều nhà nghiên cứu hoang mang trong việc “chọn mặt gửi vàng”, thậm chí là có thể đi sai hướng nếu họ sử dụng các nguồn không đầy đủ hoặc bộ dữ liệu lỗi thời

Dưới đây là  gợi ý những cơ sở dữ liệu mã nguồn mở được ưa chuộng và đánh giá cao trên thế giới, nhằm cung cấp thông tin hữu ích cho các nhà nghiên cứu và phát triển trong lĩnh vực NLP. 

cơ sở dữ liệu mô hình NLP
Gợi ý những cơ sở dữ liệu mã nguồn mở được ưa chuộng và đánh giá cao trên thế giới

1. Quora Question Insincerity Dataset

Đây là một bộ dữ liệu sử dụng trong bài toán phân loại câu hỏi của người dùng có trung thực hay không. Bộ dữ liệu này được cung cấp bởi Quora và sử dụng trong một cuộc thi trên Kaggle. Bộ dữ liệu này mang lại nhiều hữu ích với những người đang tiếp cận các bài toán phân loại văn bản chỉ với hai lớp (binary classification).

Dưới đây là một số bài viết khoa học hữu ích có thể giúp các bạn giải quyết bài toán phân loại sử dụng bộ dữ liệu Quora Question Insincerity Dataset:

2. Stanford Question Answering Dataset (SQuAD)

SQuAD là một bộ dữ liệu phổ biến được sử dụng trong các bài toán hỏi – đáp tự động dựa trên đọc hiểu (machine reading comprehension – MRC). MRC là một cách tiếp cận mô phỏng quá trình chúng ta đọc một văn bản rồi trả lời các câu hỏi liên quan trong văn bản đó. Để giải quyết bài toán hỏi – đáp tự động dựa trên cách tiếp cận này, Stanford xây dựng bộ dữ liệu gồm tập hợp các cặp câu hỏi – trả lời cùng với đoạn văn bản có thể chứa câu trả lời (các bài viết trên Wikipedia).  

Nói một cách đơn giản, trong tập dữ liệu này, người dùng được đưa ra một câu hỏi và một đoạn văn bản chứa câu trả lời. Nhiệm vụ sau đó là tìm ra vị trí câu trả lời đang ở đâu. Nhiệm vụ này thường được gọi là Nhiệm vụ Câu hỏi & Trả lời.

Để tìm hiểu sâu hơn về vấn đề này có thể tham khảo bài viết “Understanding BERT with Hugging Face”, gợi ý phương thức dự đoán câu trả lời cho các câu hỏi với tập dữ liệu có sẵn và sử dụng mô hình BERT đồng thời với thư viện Hugging Face.

3. UCI ML Drug Review Dataset

Đây là cơ sở dữ liệu chuyên về đánh giá các loại thuốc. Tại đây cung cấp đánh giá của bệnh nhân về từng mẫu thuốc cụ thể cùng với các tình trạng bệnh tương ứng. Hệ thống xếp hạng trên thang điểm 10 để minh chứng sự hài lòng của bệnh nhân.

Tập dữ liệu này có thể được sử dụng để phân loại nhiều nhãn, thành một trong ba hoặc nhiều lớp (Multiclass classification).

4. Yelp Reviews Dataset

Tập dữ liệu Yelp cung cấp các đánh giá về nhà hàng kèm theo các thông tin khác như danh mục, thời gian mở cửa và thời gian đóng cửa ở định dạng JSON. Ngoài ra, cơ sở dữ liệu này cũng tạo ra hệ thống để phân loại món ăn. Chúng ta có thể sử dụng các kỹ thuật  nhận dạng tên thực thể (NER) để tìm ra các món ăn trong từng bài đánh giá. Bộ dữ liệu này được đánh giá khá cao với hoạt động kinh doanh và tìm kiếm của Yelp.

5.  IMDB Movie Dataset

Bộ dữ liệu dành riêng cho lĩnh vực phim ảnh, bao gồm các thông tin mô tả phim, xếp hạng trung bình, số phiếu bầu, thể loại và dàn diễn viên từ hệ thống 50k phim của IMDB.

Không chỉ hỗ trợ chu trình Xử lý ngôn ngữ tự nhiên (NLP), bộ dữ liệu này còn có thể được sử dụng theo nhiều phương thức và mục đích để đào tạo nhiều mô hình thuật toán khác nhau. Các nhà nghiên cứu có thể sử dụng tập dữ liệu để xây dựng thuật toán hệ thống gợi ý, phân loại thể loại và tìm kiếm các bộ phim tương tự.

6. 20 Newsgroups

Bộ dữ liệu thông tin thường thức được chia thành 20 nhóm, bao gồm khoảng 18.000 bài đăng về đa dạng chủ đề như giải trí, tiện ích, thể thao, hệ tư tưởng, chính trị, v.v. Đây là tập dữ liệu phân loại đa lớp và các nhà phát triển có thể sử dụng tập dữ liệu này để học lập mô hình chủ đề (Topic Modeling).

7. IWSLT (International Workshop on Spoken Language Translation) Dataset

Đây là bộ dữ liệu liên quan tới lĩnh vực dịch máy với nhiều tiêu chuẩn thực tế sử dụng cho các nhiệm vụ dịch thuật. Nó cung cấp bản dịch các bài nói chuyện của TED và TEDx về nhiều chủ đề khác nhau bằng các ngôn ngữ Đức, Anh, Ý, Hà Lan và Rumani. Nguồn dữ liệu tại IWSLT có thể được sử dụng để phục vụ huấn luyện mô hình  dịch máy với các các ngôn ngữ trên. Ngoài ra, IWSLT có thể được truy cập bằng PyTorch khi sử dụng torchtext.datasets.

Trên đây là các bộ dữ liệu mã nguồn mở mà bất kỳ nhà nghiên cứu nào trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) nên tham khảo. 

Nếu bạn mong muốn trải nghiệm chuyên sâu và tham gia vào các dự án đột phá về Xử lý ngôn ngữ tự nhiên (NLP), đừng ngại ứng tuyển để trở thành Chuyên gia quản lý dự án (Senior Technical Project Manager) tại Trung tâm Công nghệ Trợ lý ảo VinBigData. Gia nhập ngay để cùng đội ngũ chuyên gia, kỹ sư giàu kinh nghiệm giải quyết những bài toán thú vị về Trợ lý giọng nói, chatbot, voicebot hàng đầu Việt Nam.
Tìm hiểu về vị trí Chuyên gia quản lý dự án (Senior Technical Project Manager): Tại đây

Nguồn tham khảo: Kdnuggets

Ngày nay, việc ra lệnh cho trợ lý ảo để thực hiện một số tác vụ đang dần trở nên phổ biến. Giao tiếp bằng giọng nói chính là cách thức tự nhiên nhất để tương tác, kết nối giữa người và máy. Trải nghiệm bằng giọng nói cũng đem lại sự tiện lợi rõ rệt cho người dùng cuối, giúp họ tiết kiệm thời gian nhập lệnh/truy vấn/tác vụ cần thực hiện.

Vậy công nghệ nào đã giúp máy có thể giao tiếp như người thật? Đây có phải nhân tố chính nằm sau sự ra đời của các sản phẩm trợ lý ảo hay không?

Giống như hầu hết các công nghệ mang tính cách mạng, câu trả lời nằm ở trí tuệ nhân tạo (AI) – đặc biệt là trí tuệ nhân tạo hội thoại (Conversational AI). Bài viết dưới đây sẽ hé mở một số hiểu biết cơ bản về AI hội thoại và những kỹ thuật hỗ trợ máy có thể tương tác với người thông qua giọng nói.

AI đàm thoại là gì?

AI đàm thoại có thể được định nghĩa là một cơ chế thông minh bắt chước các cuộc trò chuyện của con người ngoài đời thực. Công nghệ này được xây dựng trên nền tảng của học máy (ML) và xử lý ngôn ngữ tự nhiên (NLP). Bằng cách cung cấp một lượng lớn dữ liệu, máy tính có thể học bản chất của các tương tác giữa con người, từ đó nhận dạng giọng nói và văn bản đầu vào, đồng thời dịch nghĩa sang một loạt các ngôn ngữ khác mà người dùng mong muốn.

Trợ lý giọng nói có phải là ví dụ của AI hội thoại hay không?

Câu trả lời là có. Trợ lý giọng nói chính là một ví dụ điển hình về AI hội thoại. AI bot hiện nay tiên tiến hơn các chatbot thông thường (đơn thuần chỉ cung cấp câu trả lời được lập trình sẵn cho một số câu hỏi nhất định). Chúng được cấu hình để tạo ra các phản hồi tự nhiên như người thực, hạn chế tối đa cảm giác như trò chuyện giữa người và máy.

Nếu bạn hỏi trợ lý ảo “Thời tiết hôm nay thế nào?” hoặc yêu cầu ứng dụng “phát danh sách nhạc ưa thích tối thứ bảy!”, nó sẽ đưa ra phản hồi phù hợp chỉ trong vài giây và có thể thực hiện tác vụ nhanh hơn so với thao tác chạm/gõ phím thông thường. Tất cả điều này có thể thực hiện được nhờ phần mềm hội thoại tạo ra bằng trí tuệ nhân tạo.

AI hội thoại vận hành như thế nào?

Học máy là một phần không thể thiếu giúp trợ lý ảo có được những năng lực như của con người. Ứng dụng Trí tuệ nhân tạo, học máy tập trung vào việc đào tạo để các hệ thống cải thiện khả năng học hỏi, từ đó thực hiện các tác vụ một cách tốt hơn. Muốn làm được như vậy, cần cung cấp một bộ dữ liệu để máy tự động tiến hành phân tích các mẫu. Một số lĩnh vực khác của học máy như xử lý ngôn ngữ tự nhiên và học sâu cũng được ứng dụng trong việc xây dựng AI đàm thoại. Những công nghệ này trang bị cho trợ lý ảo năng lực tự học, nhằm sử dụng kinh nghiệm thu được từ các lần phản hồi đúng/sai trước đó để cải thiện trong tương lai. 

Tóm tắt quy trình vận hành của AI đàm thoại
Tóm tắt quy trình vận hành của AI đàm thoại

Quy trình hoạt động của AI hội thoại cơ bản gồm các bước: 

Sau khi truy vấn được đưa ra, AI phải hiểu được tiếng nói của người dùng, thông qua công nghệ tự động nhận dạng giọng nói (ASR) giúp chuyển tiếng nói thành văn bản.

Hiểu ngôn ngữ tự nhiên (NLU) giúp hệ thống diễn giải, phân tích cảm xúc và ý định đằng sau truy vấn. Các hệ thống tiên tiến thậm chí có thể hiểu được nội dung những câu thoại không tuân thủ nguyên tắc ngữ pháp hoặc khi người dùng nói tắt. 

Dựa trên ý định của người dùng, học máy sẽ tạo ra phản hồi phù hợp. Theo thời gian, phản hồi của máy sẽ ngày một tốt lên, bằng cách học hỏi các biến thể khác nhau của cùng một truy vấn, một mục đích.

Sau khi tổng hợp tất cả thông tin này, máy tạo ra phản hồi có thể hiểu được dựa trên công nghệ tạo ngôn ngữ tự nhiên (NLG). Dù là yêu cầu hoàn thành tác vụ hay trả lời một truy vấn, hệ thống cũng có thể hoàn tất quy trình này tương tự như con người. 

Với công nghệ chuyển văn bản thành giọng nói (TTS), trợ lý ảo sẽ trò chuyện, giao tiếp tự nhiên với con người.

Vì sao AI hội thoại quan trọng đối với doanh nghiệp?

1. Nâng cao trải nghiệm khách hàng

Với tương tác tự nhiên, đơn giản chỉ bằng giọng nói, trợ lý ảo giúp đem lại trải nghiệm “không chạm” tiện lợi và an toàn đối với người dùng cuối. Đồng thời, ứng dụng trợ lý ảo góp phần xây dựng hệ sinh thái thông minh, đồng bộ, tối ưu cho khách hàng.

2. Tối ưu hóa các tác vụ lặp lại

RPA (Robotics Process Automation) ra đời, giúp tự động hóa các tác vụ lặp lại. Tuy nhiên, RPA gặp hạn chế đáng kể trong việc hướng đến trải nghiệm khách hàng. Trong những trường hợp này, AI hội thoại là giải pháp hữu ích hơn, vừa hỗ trợ tương tác với khách hàng một cách tự nhiên, thân thiện, vừa giải phóng một khối lượng lớn công việc cho đội ngũ nhân sự. 

3. Xây dựng cơ sở dữ liệu về khách hàng

AI hội  thoại là một cơ chế giao tiếp không cấu trúc, giúp thu thập thông tin trong mọi tương tác để cải tiến thuật toán. Điều này mang đến cho doanh nghiệp một cái nhìn cụ thể về khách hàng mục tiêu, từ đó tiếp tục xây dựng và cải thiện các sản phẩm, dịch vụ hướng khách hàng.

Với hơn 10,000 giờ phân tích các dữ liệu tiếng Việt chất lượng, được phân loại và chọn lọc kỹ càng, Trợ lý giọng nói tiếng Việt ViVi (phát triển bởi VinBigData) có khả năng phản hồi câu thoại nhanh chóng và chính xác. Công nghệ chuyển đổi giọng nói thành văn bản với tỷ lệ WER nhỏ hơn 6% và sẽ tiếp tục được cải thiện, nhờ quy trình không ngừng làm giàu, làm mới và xử lý dữ liệu. Đặc biệt, từ cơ sở dữ liệu lớn và đặc thù, lần đầu tiên tại Việt Nam, trợ lý ảo có thể hiểu ngôn ngữ từng vùng miền, giúp đem lại trải nghiệm sử dụng đầy thuận tiện, dễ dàng cho người sử dụng. Đồng thời, sở hữu giọng đọc tự nhiên và chất lượng từ MC Hoài Anh, ViVi có thể giao tiếp một cách tự nhiên và thân thiện, với tông giọng lên xuống để biểu hiện cảm xúc.

Nếu bạn đang xây dựng hệ thống nhận dạng tiếng nói hoặc AI đàm thoại, vậy thì chắc chắn sẽ cần đến các bộ dữ liệu huấn luyện và thử nghiệm các mô hình. Tuy nhiên, có thể tìm kiếm dữ liệu chất lượng về nhận dạng tiếng nói ở đâu? Làm thế nào để tìm được các bản ghi âm giọng nói đáp ứng chính xác thông số kỹ thuật đào tạo mà bạn cần?

Thực tế có hàng trăm bộ dữ liệu tiếng nói được chia sẻ trên Internet. Song, để có được dữ liệu giọng nói phù hợp với chính sản phẩm/giải pháp đang phát triển, bạn sẽ cần thu thập dữ liệu của riêng mình. Dưới đây là 04 phương pháp gợi ý giúp bạn xây dựng bộ dữ liệu đào tạo cho các mô hình học máy. Đi kèm với mỗi phương pháp là những phân tích về ưu, nhược điểm của chúng.

1, Các bộ dữ liệu tiếng nói mở cho cộng đồng

Trước tiên, hãy tận dụng những tài nguyên miễn phí trên Internet. Các bộ dữ liệu nhận dạng tiếng nói được mở cho cộng đồng là một lựa chọn tuyệt vời để khởi đầu. Những bộ dữ liệu này được thu thập từ các dự án nghiên cứu công khai và chia sẻ mã nguồn với mục tiêu thúc đẩy đổi mới sáng tạo trong cộng đồng xử lý ngôn ngữ và tiếng nói.

Một số nguồn bạn có thể tham khảo bao gồm:

Ưu điểm:

Hạn chế: 

2, Tập dữ liệu tiếng nói được đóng gói sẵn

Trong trường hợp không thể tự xây dựng bộ dữ liệu riêng, đồng thời cảm thấy các bộ dữ liệu nguồn mở là không phù hợp, bạn có thể cân nhắc đến việc mua các bộ dữ liệu được đóng gói sẵn. Dữ liệu này đã được nhà cung cấp thu thập và tổng hợp, phục vụ mục tiêu của từng khách hàng.

Ưu điểm:

Hạn chế:

3, Bộ dữ liệu thu thập từ xa 

Để xây dựng ứng dụng điều khiển bằng giọng nói, bạn sẽ cần một bộ dữ liệu với ngôn ngữ chuyên ngành đặc thù. Ví dụ: đối với lĩnh vực ngân hàng, bạn sẽ cần các mẫu giọng nói liên quan đến hoạt động giao dịch, sao kê, tiết kiệm,… Không phải bất kỳ bộ dữ liệu nào cũng đáp ứng được yêu cầu này. Đó là khi bạn phải tự thu thập dữ liệu riêng hoặc thông qua các nhà cung cấp giải pháp dữ liệu. 

Để thu thập dữ liệu giọng nói, có hai lựa chọn: thu thập từ xa hoặc trực tiếp.

Thu thập dữ liệu giọng nói từ xa
Người tham gia dự án có thể thu giọng qua các thiết bị di động, tiến hành dán nhãn hoặc phiên âm và gửi bộ dữ liệu về các nhà phát triển

Với lựa chọn thứ nhất, dữ liệu giọng nói được thu thập từ xa thông qua các ứng dụng dành cho thiết bị di động hoặc nền tảng trình duyệt web từ một nhóm đáng tin cậy. Những người tham gia được tuyển chọn trực tuyến dựa trên hồ sơ ngôn ngữ và nhân khẩu học. Sau đó, họ được yêu cầu ghi lại các mẫu giọng nói bằng cách đọc lời nhắc trên màn hình hoặc bằng giao tiếp qua nhiều tình huống khác nhau.

Đối với hầu hết các dự án thu thập dữ liệu, đây là lựa chọn tối ưu nhất bởi giá cả phải chăng, khả năng mở rộng và tùy chỉnh theo nhu cầu của nhà phát triển.

Ưu điểm

Hạn chế:

4, Bộ dữ liệu thu âm trực tiếp

Thu âm trực tiếp thường đòi hỏi một khoản đầu tư lớn hơn so với thu thập dữ liệu từ xa. Tuy nhiên, đây lại là lựa chọn tốt nhất để đáp ứng yêu cầu của những nhà phát triển khó tính.

Ưu điểm

Hạn chế:

Với hơn 10,000 giờ phân tích các dữ liệu tiếng Việt chất lượng, được phân loại và chọn lọc kỹ càng, Trợ lý giọng nói tiếng Việt ViVi (phát triển bởi VinBigData) có khả năng phản hồi câu thoại nhanh chóng và chính xác. Mô hình AI giúp chuyển đổi giọng nói thành văn bản với tỷ lệ WER nhỏ hơn 6%. Đặc biệt, lần đầu tiên tại Việt Nam, trợ lý ảo có thể hiểu ngôn ngữ đặc thù từng vùng miền, giúp đem lại trải nghiệm sử dụng đầy thuận tiện, dễ dàng cho người sử dụng. Đồng thời, sở hữu giọng đọc tự nhiên và chất lượng từ MC Hoài Anh, ViVi có thể giao tiếp một cách tự nhiên và thân thiện, với tông giọng lên xuống để biểu hiện cảm xúc.

Trải nghiệm ViVi tại đây.