Một yếu tố quan trọng trong cách thức hoạt động của các mô hình ngôn ngữ lớn (LLM) là cách chúng biểu diễn các từ. Các hình thức học máy truyền thống sử dụng các bảng số để biểu diễn các từ. Tuy nhiên, một hạn chế lớn của điều này là chúng không thể nhận ra mối quan hệ giữa các từ. Các bảng cũng rất dài – dài bằng số lượng từ trong tiếng Anh – và các biểu diễn này không nắm bắt được bất kỳ ý nghĩa nào giữa các từ (Amazon Web Services). Ví dụ, các từ cat và kitten sẽ khác nhau như cat và airplane. Để giải quyết vấn đề này, một danh sách các số đặc biệt được gọi là vectơ đa chiều có thể được sử dụng để biểu diễn các từ sao cho các từ có ý nghĩa hoặc mối quan hệ ngữ cảnh tương tự sẽ gần nhau bên trong các danh sách này. Sử dụng các nhúng từ này cho phép chúng ta hiểu ngữ cảnh của các từ có ý nghĩa tương tự và các mối quan hệ khác giữa các từ.
Nhúng từ thường được đào tạo bằng mô hình mạng nơ-ron trên lượng lớn dữ liệu văn bản. Quá trình đào tạo bao gồm việc điều chỉnh nhúng để mô hình có thể dự đoán các từ dựa trên ngữ cảnh của chúng. Làm như vậy đảm bảo rằng các từ xuất hiện trong ngữ cảnh tương tự có nhúng tương tự. Quá trình đào tạo cũng sẽ thực hiện các điều chỉnh để đưa các từ trong vectơ lại gần nhau hơn hoặc xa nhau hơn dựa trên cách chúng được sử dụng cùng nhau trong văn bản (Cloudflare). Vào cuối quá trình này, các từ xuất hiện trong ngữ cảnh tương tự sẽ có nhúng tương tự. Theo thời gian, mô hình sẽ trở nên tiên tiến hơn và có thể thấy cả mối quan hệ đơn giản và phức tạp.
Ví dụ về LLM
Trò chuyệnGPT
ChatGPT và các mô hình GPT tương tự sử dụng các cơ chế tự chú ý (một chức năng giúp mô hình tập trung vào các phần có liên quan của đầu vào) để cải thiện khả năng hiểu và tạo phản hồi. Các cơ chế này cho phép mô hình đánh giá tầm quan trọng của từng từ trong ngữ cảnh. Các mô hình được đào tạo ban đầu trên một tập dữ liệu văn bản lớn theo cách không giám sát để tìm hiểu các mẫu, ngữ cảnh và sắc thái của ngôn ngữ. Giai đoạn này được gọi là tiền đào tạo. Mô hình học cách dự đoán từ tiếp theo trong câu bằng cách xem xét các từ đứng trước nó. Sau đó, nó có thể trải qua quá trình tinh chỉnh trên các tác vụ hoặc tập dữ liệu cụ thể hơn để cải thiện hiệu suất của nó đối với các tác vụ đó. Ở chế độ tương tác, khi bạn cung cấp cho nó một lời nhắc, nó sẽ tạo ra các phản hồi dựa trên quá trình đào tạo của nó, cố gắng tiếp tục văn bản theo cách mạch lạc và phù hợp với ngữ cảnh.
Claude AI
Claude là một chatbot AI được phát triển bởi Anthropic AI, một công ty khởi nghiệp về trí tuệ nhân tạo được đồng sáng lập bởi các thành viên cũ của Open AI (công ty đã phát triển ChatGPT). Claude được hỗ trợ bởi một mô hình ngôn ngữ lớn và thiết kế độc đáo của nó đảm bảo rằng tất cả các câu trả lời đều vô hại và trung thực (Proudfoot). Một trong những điểm khác biệt chính giữa Claude và các chatbot AI khác là Claude có khả năng đọc tệp và hình ảnh. Nó cũng cực kỳ an toàn và tuân theo một số quy định về bảo mật và HIPPA. Ngoài ra, Claude tuân theo một bộ nguyên tắc đạo đức để đảm bảo tính an toàn và độ tin cậy. Đây là một khía cạnh tuyệt vời của Claude đối với các công ty hoặc người dùng cần sử dụng nó cho các nhiệm vụ nhạy cảm với dữ liệu. Một khía cạnh thú vị khác của Claude AI là nó sẽ thừa nhận khi nó sai hoặc không biết điều gì đó, điều mà các mô hình AI khác không làm được.
BERT
BERT, viết tắt của Bidirectional Encoder Representations from Transformers, là một mô hình thường được sử dụng để xử lý ngôn ngữ tự nhiên. Theo IBM, xử lý ngôn ngữ tự nhiên liên quan đến việc sử dụng các mô hình học máy để nhận dạng, hiểu và phát hiện văn bản và giọng nói. Một ví dụ về nơi BERT được sử dụng là trong các chatbot, như ChatGPT. Một mô hình như BERT hoặc chính BERT sẽ xem xét văn bản bạn nhập vào và hiểu văn bản đó. Bằng cách này, máy tính có thể xem xét giọng điệu của bạn là tức giận hay buồn, nếu bạn cần trợ giúp hoặc chỉ đang bắt đầu một cuộc trò chuyện. Sau đó, nó có thể tóm tắt văn bản của bạn hoặc cô đọng lại nếu cần. Hầu như bất kỳ máy móc AI nào liên quan đến việc hiểu hoặc đọc ngôn ngữ của con người đều liên quan đến phần mềm xử lý ngôn ngữ tự nhiên/BERT. Điều này bao gồm các thiết bị như Alexa, Google Assistant và Siri.
