Giới thiệu về hệ thống AI, mạng thần kinh và NLP: Công cụ tìm kiếm cho cõi chết

Mỗi khi nghe chuyện ma, tôi thường rất tò mò về cuộc sống sau khi chết. Tôi bắt đầu lên Google tra cứu những câu hỏi như: Tại sao ma lại sợ tỏi? Ma cà rồng có thật sự tồn tại? Chó thật sự có thể nhìn thấy ma? Nhưng không ai có thể đưa ra câu trả lời thật sự thỏa mãn trí tò mò của tôi. Có lẽ vì những người viết ra nội dung ấy… họ vẫn chưa chết. 😂

Vì vậy, tôi tự nghĩ, thay vì tìm kiếm trên Google, tại sao không tìm câu trả lời từ “Google của thế giới chết”? Nhưng liệu một công cụ như vậy có tồn tại không? Bởi Google vẫn chưa chết mà!

Ý tưởng ấy mang đến cho tôi một suy nghĩ táo bạo: Tại sao tôi không khởi nghiệp với một công cụ tìm kiếm dành cho thế giới sau khi chết? Tôi thậm chí đã nghĩ ra một cái tên cho nó—Noodle. Tại sao không nhỉ? Một ý tưởng thú vị, đúng không?

Công cụ tìm kiếm Noodle của tôi sẽ được tạo dựa trên hệ thống đề xuất (recommendation system). Hệ thống này được sử dụng phổ biến trên các trang web. Ví dụ: khi truy cập Spotify, bạn sẽ thấy nhiều bài hát và danh sách phát được đề xuất; hoặc khi truy cập Netflix, bạn thấy rất nhiều bộ phim được đề xuất. Tất cả đều dựa trên hệ thống đề xuất, đề xuất cho người dùng những thứ mà họ có thể quan tâm. Đề xuất thành công tất nhiên sẽ mang lại nhiều doanh thu. Đó là lý do tại sao Netflix đã tạo ra “Giải thưởng Netflix” trị giá một triệu đô la, một cuộc thi để tìm kiếm thuật toán tốt nhất nhằm dự đoán xếp hạng của người dùng cho các bộ phim dựa trên xếp hạng của người dùng trước đó và các thông tin khác liên quan.

Quay lại với công cụ tìm kiếm Noodle của tôi, khi người dùng tìm kiếm bằng một từ khóa, nó cần trả về một danh sách kết quả được xếp theo mức độ liên quan và chất lượng. Nếu đây là một người dùng mới, thông tin như vị trí và ngôn ngữ của họ sẽ giúp cải thiện kết quả tìm kiếm. Ví dụ, khi một con ma tìm kiếm các địa điểm ăn uống ở Việt Nam, kết quả sẽ khác so với một con ma tìm kiếm từ khóa đó ở Na Uy hoặc New York.

Noodle cũng cần đánh giá chất lượng của một trang web. Làm cách nào để biết một trang web có nội dung chất lượng cao? Một cách là đo lường có bao nhiêu trang web chứa một liên kết đến trang đó. Điều này tương tự như cách những người nổi tiếng thường được chú ý nhiều hơn. Tuy nhiên, một số người có thể tạo ra hàng loạt trang web chứa liên kết đến trang của họ, vì vậy thời gian mà người dùng dành cho một trang web cũng là yếu tố quan trọng trong việc xếp hạng.

Đối với nội dung mới, việc đánh giá sẽ dựa vào tên miền của trang. Nếu một tên miền như MrDracula.lalala nổi tiếng, thì các trang con của nó cũng có thể đáng tin cậy. Tuy nhiên, không nên bỏ qua các trang web không nổi tiếng. Sau khi đảm bảo rằng nội dung không chứa thông tin rác hoặc virus nguy hiểm, một số nội dung mới có thể được giới thiệu để thử nghiệm. Nếu người dùng thấy nội dung hữu ích, nó sẽ được xếp hạng cao hơn; nếu không, thứ hạng sẽ giảm.

Cuối cùng, cần quan tâm đến giá trị nội dung theo thời gian. Một số nội dung, như lời khuyên cho ma về cách xử lý khi ăn phải tỏi, có thể vẫn hữu ích theo thời gian. Tuy nhiên, nội dung liên quan đến một ban nhạc pop sẽ mất giá trị nếu ban nhạc ngừng hoạt động do xu hướng âm nhạc thay đổi.

Mạng thần kinh & Xử lý ngôn ngữ tự nhiên

Những điều quan trọng nhất là làm thế nào để Noodle hiểu được những gì bạn đang tìm kiếm? Xin lỗi, bạn không phải là ma, hoặc… ít nhất là chưa! Ngoài ra, một từ/cụm từ có thể được diễn đạt lại theo cách khác với cùng một ý nghĩa. Làm sao Noodle có thể biết được điều đó để chọn ra những kết quả phù hợp nhất?

Bây giờ chúng ta phải nói về Mạng thần kinh (neural network), một kỹ thuật Trí tuệ nhân tạo và Xử lý ngôn ngữ tự nhiên (Natural Language Processing), một nhánh của Khoa học máy tính cố gắng làm cho máy tính hiểu văn bản và lời nói tương tự như con người.

Mạng thần kinh nhân tạo (neural network) hiện là nền tảng cho rất nhiều công nghệ tiên tiến. Nó được lấy cảm hứng từ cách bộ não của con người xử lý thông tin. Ví dụ, khi chúng ta nhìn vào một hình ảnh, các tế bào thần kinh sau khi nhận được tín hiệu sẽ trích xuất các tín hiệu quan trọng và gửi chúng qua các synap đến não.

Mạng nơ-ron được lấy cảm hứng từ cách bộ não xử lý thông tin, và nó chứa nhiều lớp. Mỗi lớp là một tập hợp các nơ-ron, nơi mỗi nơ-ron được biểu thị bằng một chiếc bánh tròn. Các nơ-ron trong cùng một lớp được kết nối với các nơ-ron ở lớp khác gần đó bằng các kết nối, và mỗi kết nối ấy được biểu diễn bằng một đường thẳng.

Lưu ý rằng lớp đầu vào (input layer) nằm trong khung màu vàng trong mạng nơ-ron trên. Khi dữ liệu đến, lớp đầu vào sẽ tiếp nhận. Sau đó, mỗi nơ-ron trong lớp vàng này sẽ thực hiện một số chuyển đổi trước khi chuyển nó sang lớp tiếp theo. Lớp tiếp theo chứa các nơ-ron trong khung màu đỏ ngay bên cạnh khung màu vàng. Chúng tôi gọi nó là một lớp ẩn. (Bất kỳ lớp nào nằm giữa lớp đầu vào và lớp đầu ra đều được gọi là lớp ẩn. Có hai lớp ẩn trong trường hợp này.) Một lần nữa, mỗi nơ-ron trong lớp này sẽ biến đổi thông tin đến từ lớp trước. Vì vậy, bạn có thể hình dung các lớp này như một hệ thống tiêu hóa của mạng lưới thần kinh bánh này. Cuối cùng, thông tin được biến đổi đến lớp đầu ra, nơi mọi thứ kết thúc. Lớp đầu ra sẽ cung cấp cho chúng ta thông tin cho phép chúng ta biết những gì chúng ta đang xem là mèo, chó, thỏ, hay hoa anh đào.

Đó là ý tưởng. Nhưng trên thực tế, lúc đầu, mạng nơ-ron không hoạt động tốt như vậy. Nó giống như một đứa trẻ sơ sinh, biết rất ít về thế giới. Vì vậy, chúng ta cần phải dạy nó. Chúng ta dạy nó thông qua một hàm tổn thất (loss function) và một phương pháp tối ưu (optimization method) để giảm thiểu hàm tổn thất. Điều này tương tự như cách một em bé tập đi, chịu đau nhưng cố gắng để ít đau hơn và ít ngã hơn, tức là giảm thiểu cơn đau và số lần ngã quá mức. Nhưng tại sao lại là một hàm mất mát chứ không phải một hàm lợi ích? Có lẽ vì mọi người thường không thích rủi ro nên họ thích thuật ngữ này hơn. Dù sao đi nữa, không phải ai cũng sẵn sàng chích vắc-xin ngay cả khi nó an toàn đến 99%, nhưng 1% trường hợp gây ra cục máu đông và có thể dẫn đến tử vong!

Xử lý ngôn ngữ tự nhiên

Vì máy tính nói và làm việc bằng số, chúng ta cần chuyển văn bản thành số. Một cách để làm điều này là sử dụng kỹ thuật gọi là Bag-of-words. Kỹ thuật này bỏ qua ngữ pháp, thứ tự từ và chỉ đếm số lần một từ xuất hiện.

Ví dụ, giả sử rằng tôi có một văn bản như thế này:

Jenny thích kem. Chồng của Jenny cũng thích kem.

Giờ thì tôi có thể tạo danh sách các từ xuất hiện trong văn bản này:

A = {“Jenny”, “thích”, “kem”, “chồng”, “của”, “cũng”}

Dựa trên danh sách này, tôi có thể tạo danh sách để đếm số lần một từ xuất hiện trong văn bản như sau:

• “Jenny”: 2
• “thích”: 2
• “kem”: 2
• “chồng”: 1
• “của”: 1
• “cũng”: 1

Các con số này cung cấp tần suất cho danh sách A mà tôi đã tạo, giúp chuyển văn bản (màu xanh lam) thành các dữ liệu số.

[2, 2, 2, 1, 1, 1]

Như vậy, mức nhập đầu tiên của danh sách là 2, vì “Jenny” xuất hiện hai lần trong văn bản. Mức thứ hai của danh sách cũng là 2, vì “thích” xuất hiện hai lần trong văn bản.

Tiếp theo, để máy tính hiểu nghĩa của văn bản, chúng ta sử dụng word2vec, một phương pháp dựa trên mạng nơ-ron để tìm hiểu liên kết giữa các từ từ một lượng lớn văn bản. Word2vec biểu diễn mỗi từ bằng một vector (một danh sách các số). Sau đó, nó có thể được dùng để phát hiện các từ có nghĩa tương tự, tạo ra sự kết nối giữa chúng.

Như vậy, giờ đây tôi có thể sử dụng word2vec trong công cụ tìm kiếm của mình để phát hiện các từ có nghĩa tương tự với từ khóa đầu vào mà người dùng nhập.

Kết luận

Tuy nhiên, khi bạn tìm kiếm trực tuyến, danh sách các trang web được trả về không chỉ được xếp hạng dựa trên chất lượng của các trang mà còn dựa trên sở thích, vị trí,… của bạn. Vì vậy, có rất nhiều yếu tố mà hệ thống đề xuất phải xem xét để trả về kết quả mong muốn: độ tuổi của trang, vị trí của người dùng, số lượng trang liên kết đến trang đó, v.v.

Cuối cùng nhưng không kém phần quan trọng, thời gian chạy cũng rất quan trọng. Nếu tốc độ của công cụ tìm kiếm Noodle của bạn mất tới ba phút để đưa ra kết quả tìm kiếm, giống như instant noodle (mì ăn liền) mất vài phút thì mới ăn được, tôi nghĩ rằng người dùng sẽ không bao giờ truy cập Noodle.gh lần thứ hai.

Bạn đã dành rất nhiều thời gian để nghĩ về kế hoạch sau khi chết này, nhưng bạn bè lại nói rằng Google chưa chết, trong khi một số công cụ tìm kiếm khác đã chết. Vì vậy, bạn sẽ có rất nhiều đối thủ cạnh tranh! Nhưng ai sẽ chiến thắng?

Mua sắm trực tuyến trong cõi chết

Cho dù bà con có đốt nhiều vàng mã cỡ mấy thì tôi nghĩ chắc thế giới tâm linh cũng cần mua sắm trực tuyến. Hơn nữa, công cụ tìm kiếm Noodle cho cõi chết của tôi có thể gặp phải nhiều đối thủ cạnh tranh, nên tôi cần có kế hoạch dự phòng. Vì vậy, chắc tôi sẽ mở một cửa hàng mua sắm trực tuyến cho cõi chết chăng? Hãy gọi nó là Biển Chết!

Những điều này không liên quan gì đến cái hồ muối giáp ranh giữa Jordan và Israel mà bạn có thể đi bộ. Tôi không biết tại sao họ gọi cái hồ muối đó là Biển Chết, nhưng tôi có lý do chính đáng để đặt tên trung tâm mua sắm của mình là Biển Chết: đó là một biển sản phẩm nơi người chết có thể tha hồ mua sắm.

Đối với những người dùng mới, lúc đầu, tôi không biết nhiều về những cá nhân này ngoài những thông tin cơ bản của họ. Nhưng vì họ đã mở tài khoản tại trang web của tôi, chắc chắn họ quan tâm đến việc mua sắm trực tuyến. Vì vậy, sau khi họ nhập từ khóa vào thanh tìm kiếm, tôi sẽ trả về một danh sách các kết quả được xếp hạng dựa trên đánh giá của sản phẩm, giá cả,… Điều này cũng dựa trên hệ thống đề xuất và cách nó tạo ra kết quả tìm kiếm khá giống với cách công cụ tìm kiếm Noodle của tôi hoạt động.

Tiếp theo, giả sử rằng người dùng nhấp vào một mục sản phẩm. Tuy nhiên, tôi không chắc liệu sản phẩm này có khiến người dùng của tôi hài lòng hay không. Vì vậy, tôi cũng sẽ gợi ý trên web các sản phẩm tương tự với mặt hàng hiện tại mà người dùng đang xem để đảm bảo rằng nếu họ không hài lòng với mặt hàng hiện tại, họ có thể nhanh chóng điều hướng đến các sản phẩm tương tự.

Nhưng làm thế nào để tôi làm điều đó?
Tôi sẽ tạo một bảng trong đó ô ở hàng i, cột j cho tôi biết mức i và mức j liên quan đến nhau như thế nào.

Như vậy, giả sử rằng tôi có các mức: giấy thực hiện, bút hiện thực, tẩy hiện thực, nước hồi sinh. Sau đó, tôi có thể tạo bảng này:

Ý nghĩa:

• Ô ở hàng i, cột j thể hiện mức độ liên quan giữa mục i và mục j.
• 1.0 cho thấy liên quan tối đa, và giá trị càng gần 0 thì càng ít liên quan.
• Đường chéo chính luôn là 1.0, vì mỗi mục liên quan hoàn toàn đến chính nó.

Dưới đây là phiên bản văn bản của bạn đã được sửa format, khôi phục dấu tiếng Việt đầy đủ và trình bày rõ ràng hơn:

Làm thế nào để tôi xây dựng cái bảng đó?
Vâng, bạn có thể quen thuộc với những thứ như: cô ấy trông rất giống với mẹ cô ấy, áo khoác của bạn trông giống của tôi. Tuy nhiên, khi nói chuyện với máy tính, mọi thứ phải là số.

Vì vậy, giả sử tôi có một vector , đại diện cho thông tin về một mặt hàng A, và một vector , đại diện cho thông tin về một mặt hàng B.

Sau đó, tôi muốn sử dụng một phép đo sự tương quan đáp ứng các điều kiện sau:

• Sự tương đồng giữa A và chính nó là 1
• Sự tương đồng giữa A và B luôn nằm trong khoảng từ -1 đến 1
• Càng gần 1, hai mức càng có liên quan với nhau
• Càng gần -1, hai mức càng không liên quan

Mức độ liên quan giữa A và B bằng với mức độ liên quan giữa B và A.

Và cosine là một phép đo hoàn hảo trong trường hợp này.
Vâng, tôi đang nói về thước đo cosine của góc giữa hai vector :

mức độ liên quan giữa A và B =

Rõ ràng, cos = 1 có nghĩa là góc giữa hai thứ bằng 0 độ, và vì vậy chúng rất liên quan — hoặc có thể là giống hệt nhau.
Cos = 0 có nghĩa là góc giữa hai thứ là 90 độ, tức là chúng không liên quan.
Nếu cos < 0, thì rõ ràng A và B không bao giờ được mua cùng nhau.

Tuy nhiên, vì cửa hàng có rất nhiều sản phẩm, sẽ không hiệu quả khi tạo ra một bảng lớn để cho tôi biết mọi cặp mặt hàng có liên quan như thế nào. Thực ra, chúng ta không cần quan tâm đến cặp mặt hàng có cos quá nhỏ hoặc âm.

Vì vậy, tôi sẽ sử dụng một cái gì đó tương tự như chiến lược của Amazon:

Chiến lược tính toán độ liên quan giữa các mặt hàng:

Với mỗi mặt hàng I trong danh mục:

• Với mỗi khách hàng K đã mua I
  • Với mỗi mặt hàng J mà K đã mua,
    → Ghi lại rằng có ai đó đã mua I và J cùng một lúc

Sau đó, với mỗi cặp mặt hàng (I, J), ta sẽ:

• Tính toán độ tương đồng (similarity) giữa I và J, ví dụ như sử dụng cosine similarity giữa các vector biểu diễn mặt hàng.

Nếu bạn thích nội dung này, xin đừng quên mua các sản phẩm từ [deadsea.ghost] sau khi bạn… ngủm củ tỏi.
Nếu bạn ngủm sớm hơn tôi, xin vui lòng xem xét các lựa chọn thay thế khác!

Đừng khiến tôi ngủm củ tỏi chỉ vì bạn muốn ngẫm sớm hơn để tạo lên trang web [deadsea.ghost] cho bạn mua đồ nhé!!

Tr? lý ?o cho các linh h?n

Tôi không có cái quả Ok Google, nhưng bạn tôi lại có. Tôi thấy thật thú vị khi xem họ nói chuyện với Ok Google để hỏi thời tiết, điều khiển ánh sáng, v.v.

Từ những cuộc trò chuyện này, tôi đã học được rằng Ok Google có vẻ cũng không “ok” cho lắm.

• Thứ nhất, Ok Google hơi nặng tai, nên bạn cần phải nói đủ lớn và đủ rõ ràng để nó nghe thấy.
• Thứ hai, khi nói chuyện với bạn bè của tôi thì Ok Google hết sức đãng trí, và dường như không nhớ những gì bạn bè tôi đã nói một lúc trước đó.

Nhưng dù sao đi nữa, nếu một thứ như Ok Google tồn tại trong thế giới chết, thì cũng sẽ rất thú vị.

Tôi chưa bao giờ có thể nghe thấy tiếng của con ma, mặc dù với số lượng người đã qua đời trên Trái Đất này, có lẽ có rất nhiều ma xung quanh chúng ta. Vì vậy, tôi nghĩ rằng có lẽ giọng nói của người chết có tần số nằm ngoài phạm vi thính giác sống của con người (khoảng 20Hz – 20.000Hz).

Thế nên, sẽ rất thú vị nếu biết làm thế nào Ok Google hoặc những đối tượng tương tự trong thế giới chết có thể nhận ra những gì các linh hồn nói.

Biết đâu trợ lý cho thế giới người chết còn lãng tai và đãng trí hơn – nhưng chắc “méo mó có hơn không”, và dần dà thì nó cũng sẽ tiến bộ thôi.

Nhưng nếu một thứ như vậy chưa tồn tại trong cõi chết, thì chắc đây là cơ hội tốt cho tôi khởi nghiệp sau khi ngẫm cỡ tỉ tỉ.

Khi đó, tôi sẽ gọi trợ lý robot ấy là Lax Wanderer, và hy vọng rằng, dù ma quỷ nói trong một số vùng tần số đặc biệt, Lax vẫn có thể nghe thấy được. Nó cũng có thể đi bộ – Amazon Alexa chỉ có thể xoay theo hướng của chủ sở hữu. Vì vậy, nó chỉ có thể theo dõi chủ sở hữu của nó trong phạm vi nhất định.

Tuy nhiên, Lax Wanderer sẽ theo dõi chủ của nó bằng cách… theo dõi họ.

Điều này sẽ giúp tôi tìm hiểu thêm về người dùng, và tôi có thể sử dụng thông tin này để quảng cáo tốt hơn cho công cụ tìm kiếm Noodle của tôi, hoặc dự đoán tốt hơn những gì khách hàng có nhiều khả năng sẽ mua trên trung tâm mua sắm trực tuyến.

Bi?n Ch?t c?a tôi.

Để làm cho những con ma thích thú khi có sự đồng hành của Lax Wanderer, tôi sẽ làm cho nó trông dễ thương đến nỗi không có bóng ma nào có thể cưỡng lại nó. Vì vậy, tôi sẽ làm cho nó trông giống như một cây bình, nhưng với bàn chân. Và phần “bình” nên có màu trắng (theo những câu chuyện ma, sau đó ma thường xuất hiện trong màu trắng — vì vậy tôi đoán họ thích màu đó).

Để làm điều này tốt hơn, có lẽ chúng ta nên tìm hiểu tại sao “Ok Google” và nhiều trợ lý robot tương tự lại có thính giác kém và hay quên.

Ok Google, Amazon Alexa, Siri của Apple đều dựa vào nhận dạng giọng nói, mà cụ thể là nhận dạng giọng nói dựa trên sequence-to-sequence learning. Đây là quá trình chuyển đổi trình tự từ miền này sang miền khác, chẳng hạn như dịch một câu từ tiếng Anh sang tiếng Việt, hoặc chuyển đổi từ âm thanh sang văn bản tương ứng (công nghệ Speech-to-Text, còn được gọi là Nhận dạng giọng nói tự động).

Thật không may, công nghệ này thậm chí không thể nhớ một câu dài — không nói một vài câu dài mà bạn tôi đã nói trước “Ok Google” hoàn toàn quên.

May mắn thay, một thứ gọi là “attention” đã xuất hiện trong những năm gần đây và đã cứu nguy. Ý tưởng về sự chú ý giống như cách người nói tiếng Anh lắng nghe: họ chú ý nhiều hơn đến những từ mà người nói nhấn mạnh.

Ví dụ, nếu tôi có câu:

“Thứ Hai là ngày đầu tiên của một tuần.”
thì các từ in đậm là những từ quan trọng và mạng lưới thần kinh sẽ cố gắng chú ý nhiều hơn đến những từ đó.

Bằng cách chỉ giữ lại những thông tin quan trọng, mạng lưới thần kinh có thể nhớ những câu dài hơn trước. Tuy nhiên, nó vẫn chưa đủ để có một trợ lý có trí nhớ tốt.

Tôi nhớ một câu chuyện ở Việt Nam như sau:
Hai người đàn ông lớn tuổi, cả hai đều bị khiếm thính, muốn sống khỏe mạnh. Vì vậy, họ quyết định rằng họ sẽ thức dậy sớm vào buổi sáng và tập thể dục cùng nhau.

4 giờ sáng ngày hôm sau, hai chàng trai đi bộ cùng nhau. Và vì họ có thính giác kém, nên cuộc trò chuyện giống như:
– “Xin lỗi?”
– “Không thể nghe thấy bạn. Anh có thể nói to hơn không?”

Sau đó, sự cãi vã của họ đánh thức cả thôn làng khi họ đi bộ xung quanh.
Vì Lax Wanderer có thể đi lại, chúng ta chỉ cần một con ma có thính giác kém, cùng với Lax Wanderer của anh ta, để đánh thức toàn bộ nghĩa trang!