Zero Shot Learning là gì và nó có thể cải thiện AI như thế nào

Bài học chính

• Khái quát hóa là điều cần thiết trong học sâu để đảm bảo dự đoán chính xác với dữ liệu mới. Học không cần bắn giúp đạt được điều này bằng cách cho phép AI sử dụng kiến ​​thức hiện có để đưa ra dự đoán chính xác về các lớp mới hoặc chưa được nhìn thấy mà không có dữ liệu được gắn nhãn.
• Học tập không bắn bắt chước cách con người học và xử lý dữ liệu. Bằng cách cung cấp thêm thông tin ngữ nghĩa, một mô hình được đào tạo trước có thể xác định chính xác các lớp mới, giống như con người có thể học cách xác định một cây đàn guitar thân rỗng bằng cách hiểu các đặc điểm của nó.
• Zero-shot learning cải thiện AI bằng cách cải thiện tính tổng quát, khả năng mở rộng, giảm trang bị quá mức và tiết kiệm chi phí. Nó cho phép các mô hình được đào tạo trên các tập dữ liệu lớn hơn, thu được nhiều kiến ​​thức hơn thông qua học chuyển giao, hiểu rõ hơn về ngữ cảnh và giảm nhu cầu về dữ liệu được dán nhãn rộng rãi. Khi AI tiến bộ, việc học không cần bắn sẽ càng trở nên quan trọng hơn trong việc giải quyết các thách thức phức tạp trong nhiều lĩnh vực khác nhau.

Một trong những mục tiêu lớn nhất của deep learning là đào tạo các mô hình đã thu được kiến ​​thức tổng quát. Việc khái quát hóa là cần thiết vì nó đảm bảo mô hình đã học được các mẫu có ý nghĩa và có thể đưa ra dự đoán hoặc quyết định chính xác khi gặp dữ liệu mới hoặc chưa được nhìn thấy. Việc huấn luyện các mô hình như vậy thường đòi hỏi một lượng đáng kể dữ liệu được dán nhãn. Tuy nhiên, những dữ liệu đó có thể tốn kém, tốn nhiều công sức và đôi khi không thể thực hiện được.

Zero-shot learning được triển khai để thu hẹp khoảng cách này, cho phép AI sử dụng kiến ​​thức hiện có của mình để đưa ra dự đoán khá chính xác mặc dù thiếu dữ liệu được gắn nhãn.

Học Zero-Shot là gì?

Zero-shot learning là một loại kỹ thuật học chuyển giao cụ thể. Nó tập trung vào việc sử dụng mô hình được đào tạo trước để xác định các lớp mới hoặc chưa từng thấy trước đây chỉ bằng cách cung cấp thêm thông tin mô tả các chi tiết của lớp mới.

Bằng cách sử dụng kiến ​​thức chung của mô hình về các chủ đề nhất định và cung cấp thêm ngữ nghĩa về những gì cần tìm kiếm, mô hình sẽ có thể xác định khá chính xác chủ đề mà nó được giao nhiệm vụ xác định.

Giả sử chúng ta cần xác định một con ngựa vằn. Tuy nhiên, chúng tôi không có mô hình có thể xác định những động vật như vậy. Vì vậy, chúng tôi huấn luyện một mô hình có sẵn để xác định ngựa và cho mô hình biết rằng ngựa có sọc đen trắng là ngựa vằn. Khi chúng tôi bắt đầu suy luận mô hình bằng cách cung cấp hình ảnh của ngựa vằn và ngựa, rất có thể mô hình sẽ xác định chính xác từng con vật.

Giống như nhiều kỹ thuật deep learning, zero-shot learning bắt chước cách con người học và xử lý dữ liệu. Con người được biết đến là những người học tự nhiên. Nếu bạn được giao nhiệm vụ tìm một cây đàn guitar thân rỗng trong một cửa hàng bán nhạc cụ, bạn có thể gặp khó khăn khi tìm kiếm một cây đàn. Nhưng khi tôi nói với bạn rằng thân rỗng về cơ bản là một cây đàn guitar có lỗ hình chữ F ở một hoặc cả hai bên, bạn có thể sẽ tìm thấy ngay lập tức.

Để có ví dụ thực tế, hãy sử dụng ứng dụng phân loại không ảnh của trang web lưu trữ LLM mã nguồn mở Ôm mặt bằng cách sử dụng mô hình clip-vit-large.

Bức ảnh này khắc họa hình ảnh chiếc bánh mì đựng trong túi hàng tạp hóa được buộc trên một chiếc ghế cao. Vì mô hình đã được đào tạo trên một tập dữ liệu hình ảnh lớn nên mô hình có thể xác định từng mục trong ảnh, chẳng hạn như bánh mì, hàng tạp hóa, ghế và dây an toàn.

Bây giờ, chúng tôi muốn mô hình phân loại hình ảnh bằng các lớp chưa từng thấy trước đó. Trong trường hợp này, các lớp học mới hoặc chưa được xem sẽ là “Bánh mì thư giãn”, “Bánh mì an toàn”, “Bánh mì ngồi”, “Tạp hóa lái xe” và “Tạp hóa an toàn”.

Lưu ý rằng chúng tôi đã cố tình sử dụng các lớp và hình ảnh không được nhìn thấy để chứng minh tính hiệu quả của việc phân loại không ảnh trên một hình ảnh.

Sau khi suy luận mô hình, nó có thể phân loại với độ chắc chắn khoảng 80% rằng phân loại phù hợp nhất cho hình ảnh là “Bánh mì an toàn”. Điều này có thể là do người mẫu cho rằng ghế cao mang lại sự an toàn hơn là ngồi, thư giãn hoặc lái xe.

Tuyệt vời! Cá nhân tôi đồng ý với kết quả đầu ra của mô hình. Nhưng chính xác thì làm thế nào mà mô hình này có thể đạt được kết quả như vậy? Dưới đây là thông tin chung về cách hoạt động của phương pháp học không cần bắn.

Cách thức hoạt động của phương pháp học Zero-Shot

Zero-shot learning có thể giúp mô hình được đào tạo trước xác định các lớp mới mà không cần cung cấp dữ liệu được gắn nhãn. Ở dạng đơn giản nhất, việc học không cần bắn được thực hiện theo ba bước:

1. Chuẩn bị

Việc học không cần bắn bắt đầu bằng cách chuẩn bị ba loại dữ liệu

• Lớp đã thấy: Dữ liệu được sử dụng để đào tạo mô hình được đào tạo trước. Mô hình đã cung cấp các lớp nhìn thấy. Các mô hình tốt nhất cho việc học không cần tập trung là các mô hình được đào tạo trên các lớp có liên quan chặt chẽ với lớp mới mà bạn muốn mô hình xác định.
• Lớp chưa thấy/tiểu thuyết: Dữ liệu chưa bao giờ được sử dụng trong quá trình đào tạo mô hình. Bạn sẽ phải tự mình quản lý dữ liệu này vì bạn không thể lấy dữ liệu này từ mô hình.
• Dữ liệu ngữ nghĩa/phụ trợ: Các bit dữ liệu bổ sung có thể giúp mô hình xác định lớp mới. Điều này có thể bằng từ, cụm từ, từ nhúng hoặc tên lớp.

2. Ánh xạ ngữ nghĩa

Bước tiếp theo là vạch ra các đặc điểm của lớp chưa nhìn thấy. Điều này được thực hiện bằng cách tạo các từ nhúng và tạo bản đồ ngữ nghĩa liên kết các thuộc tính hoặc đặc điểm của lớp không nhìn thấy với dữ liệu phụ trợ được cung cấp. Học chuyển giao bằng AI giúp quá trình này diễn ra nhanh hơn nhiều vì nhiều thuộc tính liên quan đến lớp chưa được nhìn thấy đã được ánh xạ.

3. Suy luận

Suy luận là việc sử dụng mô hình để tạo ra dự đoán hoặc đầu ra. Trong phân loại hình ảnh không chụp, các từ nhúng được tạo trên đầu vào hình ảnh nhất định, sau đó được vẽ và so sánh với dữ liệu phụ trợ. Mức độ chắc chắn sẽ phụ thuộc vào sự giống nhau giữa dữ liệu đầu vào và dữ liệu phụ trợ được cung cấp.

Học Zero-Shot cải thiện AI như thế nào

Zero-shot learning cải thiện các mô hình AI bằng cách giải quyết một số thách thức trong học máy, bao gồm:

• Cải thiện khái quát hóa: Giảm sự phụ thuộc vào dữ liệu được gắn nhãn cho phép các mô hình được đào tạo trong các tập dữ liệu lớn hơn, cải thiện khả năng khái quát hóa và làm cho mô hình trở nên mạnh mẽ và đáng tin cậy hơn. Khi các mô hình trở nên có kinh nghiệm và khái quát hơn, các mô hình thậm chí có thể học được cách hiểu thông thường thay vì cách phân tích thông tin thông thường.
• Khả năng mở rộng: Các mô hình có thể được đào tạo liên tục và thu thập thêm kiến ​​thức thông qua học tập chuyển giao. Các công ty và nhà nghiên cứu độc lập có thể liên tục cải tiến mô hình của họ để có năng lực cao hơn trong tương lai.
• Giảm khả năng trang bị quá mức: Việc trang bị quá mức có thể xảy ra do mô hình được huấn luyện trên một tập dữ liệu nhỏ không chứa đủ sự đa dạng để thể hiện tất cả các đầu vào có thể có. Huấn luyện mô hình thông qua phương pháp học không cần thực hiện sẽ giảm nguy cơ trang bị quá mức bằng cách huấn luyện mô hình để hiểu rõ hơn về ngữ cảnh của các đối tượng.
• Hiệu quả về chi phí: Việc cung cấp một lượng lớn dữ liệu được dán nhãn có thể tốn thời gian và nguồn lực. Sử dụng phương pháp học chuyển giao không cần bắn, việc đào tạo một mô hình mạnh mẽ có thể được thực hiện với ít thời gian và dữ liệu được gắn nhãn hơn.

Khi AI tiến bộ, các kỹ thuật như zero-shot learning sẽ càng trở nên quan trọng hơn.

Tương lai của việc học không cần bắn

Zero-shot learning đã trở thành một phần thiết yếu của machine learning. Nó cho phép các mô hình nhận dạng và phân loại các lớp mới mà không cần đào tạo rõ ràng. Với sự tiến bộ không ngừng trong kiến ​​trúc mô hình, cách tiếp cận dựa trên thuộc tính và tích hợp đa phương thức, phương pháp học không cần bắn có thể giúp đáng kể làm cho các mô hình có khả năng thích ứng cao hơn nhiều trong việc giải quyết các thách thức phức tạp về robot, chăm sóc sức khỏe và thị giác máy tính.