Xử lý ngôn ngữ tự nhiên - Phần 2 Phương pháp cổ điển để học cách thể hiện từ Trong Tập tin này, chúng ta sẽ thảo luận về một chủ đề có tầm quan trọng trong NLP, Word2vec, một kỹ thuật để tìm hiểu các từ nhúng hoặc các biểu diễn tính năng số phân tán (nghĩa là các vectơ) của các từ. Học cách biểu diễn từ nằm ở nền tảng của nhiều nhiệm vụ NLP vì nhiều nhiệm vụ NLP dựa vào cách biểu diễn tính năng tốt cho các từ bảo tồn ngữ nghĩa cũng như ngữ cảnh của chúng trong ngôn ngữ. Ví dụ, cách biểu diễn đặc trưng của từ forest phải rất khác so với từ oven vì những từ này hiếm khi được sử dụng trong ngữ cảnh tương tự, trong khi cách biểu thị của forest và jungle phải rất giống nhau.Nghĩa của từ là gì? Đây là một câu hỏi triết học nhiều hơn là một câu hỏi kỹ thuật. Vì vậy, chúng tôi sẽ không cố gắng phân biệt câu trả lời đúng nhất cho câu hỏi này, nhưng chấp nhận một câu trả lời khiêm tốn hơn, đó là nghĩa hoặc ý tưởng biểu đạt một từ. Vì mục tiêu chính của NLP là đạt được hiệu suất giống như con người trong các nhiệm vụ ngôn ngữ, nên có thể hợp lý với khám phá những nguyên tắc trình bày / hiễn thị các từ cho máy móc. Phương pháp cổ điển để học cách thể hiện từ Đầu tiên, chúng ta sẽ thảo luận về WordNet, một trong những cách tiếp cận dựa trên tài nguyên bên ngoài phổ biến nhất để thể hiện các từ. Sau đó chúng ta sẽ tiến tới các phương thức được bản địa hóa nhiều hơn (nghĩa là các phương pháp không dựa vào tài nguyên bên ngoài), chẳng hạn như mã hóa nóng một lần (one-hot encoding) và Tần số xuất hiện của từ (Term Frequency) - Tần số tài liệu nghịch đảo (Term Frequency-Inverse Document Frequency (TF-IDF)).WordNet là một trong những cách tiếp cận cổ điển hoặc thống kê NLP phổ biến nhất liên quan đến các cách thể hiện từ. Nó dựa vào một nền tảng kiến thức từ vựng bên ngoài mã hóa thông tin về định nghĩa, từ đồng nghĩa, tổ tiên, hậu duệ, v.v. của một từ nhất định. WordNet cho phép người dùng suy luận nhiều thông tin khác nhau cho một từ nhất định, chẳng hạn như các khía cạnh của một từ được thảo luận trong câu trước và sự giống nhau giữa hai từ.Những khuyết điểm của WordNetWordNet là một tài nguyên tuyệt vời mà bất cứ ai cũng có thể sử dụng để tìm hiểu ý nghĩa của từ trong các nhiệm vụ về NLP, tuy nhiên nó có nhiều hạn chế trong việc sử dụng. • Thiếu sắc thái là một vấn đề quan trọng trong WordNet. • WordNet có tính chủ quan vì WordNet được thiết kế bởi một cộng đồng tương đối nhỏ. • Ngoài ra còn có vấn đề duy trì WordNet, vốn thâm dụng lao động. • Phát triển WordNet cho các ngôn ngữ khác có thể tốn kém. Tiếp theo, chúng tôi sẽ thảo luận về một số kỹ thuật biểu diễn từ không dựa vào tài nguyên bên ngoài.1 - Hiễn thị mã hóa một nóng - One Hot EncodingMột phần lớn của tiền xử lý là mã hóa. Điều này có nghĩa là trình bày / hiễn thị từng phần dữ liệu theo cách mà máy tính có thể hiểu, do đó nó có tên là mã hóa, nghĩa đen là chuyển đổi thành mã máy tính. Có nhiều cách mã hóa, như Mã hóa nhãn - Label Encoding, hoặc Mã hóa một nóng - One Hot Encoding. 2 - Phương pháp TF-IDF - TF-IDF (Term Frequency – Inverse Document Frequency) là kĩ thuật sử dụng trong khai phá dữ liệu văn bản. Trọng số này được sử dụng để đánh giá tầm quan trọng của một từ trong một văn bản. Giá trị cao thể hiện độ quan trọng cao và nó phụ thuộc vào số lần từ xuất hiện trong văn bản nhưng bù lại bởi tần suất của từ đó trong ngữ liệu. Một vài biến thể của tf-idf thường được sử dụng trong các hệ thống tìm kiếm như một công cụ chính để đánh giá và sắp xếp văn bản dựa vào truy vấn của người dùng. Tf-idf cũng được sử dụng để lọc những từ stopword (như the, a, an) trong các bài toán như tóm tắt và phân loại văn bản.3 - Ma trận xuất hiệnCác ma trận đồng xuất hiện Co-occurrence matrices, không giống như Hiễn thị mã hóa một nóng, mã hóa thông tin ngữ cảnh của các từ, nhưng yêu cầu duy trì ma trận V × V. Tất cả những nhược điểm thúc đẩy điều tra các cách học nguyên tắc, mạnh mẽ và có khả năng mở rộng hơn và suy ra nghĩa (nghĩa là các cách diễn đạt) của các từ: Word2vec.