‫Mô hình hóa Phần thứ tư.
‫Đây là phần cuối cùng của mô hình hóa và so sánh của nó.
‫Muốn biết ở đây là mô hình của chúng ta sẽ hoạt động như thế nào trong thế giới thực.
‫Vì vậy, sau khi bạn đã khuấy động và cải thiện hiệu suất của mô hình của mình thông qua điều chỉnh siêu thông số,
‫đã đến lúc xem nó hoạt động như thế nào trên bộ thử nghiệm.
‫Bộ bài kiểm tra giống như bài kiểm tra cuối cùng dành cho mô hình học máy.
‫Nếu bạn đã tạo các phần tách dữ liệu của mình một cách chính xác, nó sẽ cung cấp cho bạn dấu hiệu về cách mô hình của
‫bạn sẽ hoạt động sau khi được triển khai trong sản xuất.
‫Điều đó có nghĩa là khách hàng phải đối mặt thay vì chỉ ở trên máy tính cục bộ của bạn.
‫Vì mô hình của bạn chưa bao giờ thấy dữ liệu trong tập hợp thử nghiệm, nên đánh giá mô hình của bạn trên đó là một cách hay để
‫xem nó khái quát như thế nào.
‫Và hãy nhớ rằng, bằng cách khái quát hóa, ý tôi là điều chỉnh theo dữ liệu mà nó chưa từng thấy trước đây, chẳng hạn như cách
‫mô hình Máy học dự đoán bệnh tim của chúng tôi sẽ hoạt động trong việc phân loại xem một bệnh nhân có bị bệnh tim
‫hay không trên một bệnh nhân không phải là bệnh nhân gốc của chúng tôi. tập dữ liệu.
‫Một mô hình tốt sẽ mang lại kết quả tương tự trên các tập huấn luyện, xác thực và thử nghiệm, và không có gì
‫lạ khi thấy sự suy giảm hiệu suất từ mô hình trong tập huấn luyện và xác nhận đối với tập thử
‫nghiệm.
‫Ví dụ: mô hình của bạn có thể đạt được độ chính xác 98% trên tập dữ liệu huấn luyện và độ chính xác 96% trên tập
‫thử nghiệm.
‫Điều bạn nên lo lắng là nếu hiệu suất tập luyện cao hơn đáng kể so với tập kiểm tra,
‫còn được gọi là không phù hợp.
‫Và nếu hiệu suất của bộ kiểm tra cao hơn hiệu suất của bộ luyện tập, còn được gọi là overfitting.
‫Việc trang bị quá mức và không phù hợp của cả hai ví dụ về một mô hình không có khả năng tổng quát hóa tốt, đó là
‫điều chúng tôi không muốn.
‫Mô hình lý tưởng xuất hiện trong vùng Goldilocks.
‫Nó vừa phải.
‫Không quá tốt nhưng cũng không quá kém.
‫Bạn thấy đây mô hình máy học này, nếu đây là dữ liệu của bạn, thì những điểm dữ liệu màu xanh lá cây
‫này, dòng này ở đây, nó giống như hình dạng.
‫Nhưng đó là điều này sẽ được phân loại là không phù hợp.
‫Đây không phải là những gì chúng tôi muốn mô hình của chúng tôi làm.
‫Và cái này ở đây, tốt, nó đang làm rất tốt việc khớp tất cả các điểm dữ liệu, nhưng nó
‫đang đi quá gần.
‫Nó gần như là một mô hình quá hoàn hảo.
‫Nó chỉ đang rình mò giữa họ.
‫Vì vậy, ví dụ này có nghĩa là mô hình đã học các mẫu quá tốt trong tập dữ liệu này.
‫Nó sẽ giống như nhìn thấy bài kiểm tra cuối cùng trước khi thực sự tham gia kỳ thi cuối cùng.
‫Cái này ở đây là khu Goldilocks.
‫Đúng.
‫Đây là một quá trình lặp đi lặp lại mà chính xác vùng Goldilocks này giống như một mô hình cân bằng.
‫Chúng tôi thực sự phụ thuộc vào dữ liệu của bạn và vấn đề bạn đang cố gắng giải quyết.
‫Đó là lý do tại sao, một lần nữa, đó là một quá trình lặp đi lặp lại, để tìm ra vùng cân bằng này.
‫Và bây giờ sau một số kinh nghiệm và thực hành làm việc với các vấn đề học máy khác nhau, bạn sẽ
‫có thể bắt đầu biết liệu mô hình của mình có quá vừa hay không.
‫Bây giờ có một số lý do tại sao việc không phù hợp và trang bị quá mức có thể xảy ra, nhưng những lý do chính là
‫rò rỉ dữ liệu và dữ liệu không khớp.
‫Rò rỉ dữ liệu xảy ra khi một số dữ liệu thử nghiệm của bạn bị rò rỉ vào dữ liệu đào tạo của bạn và điều này thường dẫn đến việc trang bị
‫quá nhiều hoặc một mô hình hoạt động tốt hơn trên tập thử nghiệm hơn là trên tập dữ liệu đào tạo.
‫Nó giống như, hãy nhớ rằng, nó giống như nếu bạn xem xét bài kiểm tra cuối kỳ hoặc mọi người phải
‫xem bài kiểm tra cuối cùng là kỳ thi thực hành, mô hình học máy của bạn vừa học được những gì nó
‫sắp được kiểm tra.
‫Vì vậy, khi nói đến mô hình hóa, nó chỉ là đã học nó quá tốt và nó bắt đầu phù hợp với dữ liệu
‫như thế này.
‫Và đây là lý do tại sao điều quan trọng là phải thực hiện phân tách của bạn một cách chính xác và đảm bảo rằng việc đào tạo mô
‫hình học máy chỉ diễn ra trên tập dữ liệu đào tạo.
‫Việc xác thực và điều chỉnh mô hình chỉ xảy ra trên tập dữ liệu xác thực hoặc đào tạo.
‫Và việc thử nghiệm và so sánh mô hình đó xảy ra trên tập dữ liệu thử nghiệm.
‫Và tôi nhớ một số cách tiếp cận khác nhau.
‫Chỉ sử dụng một tập huấn luyện và thử nghiệm và thực hiện điều chỉnh mô hình trên tập huấn luyện.
‫Nhưng thử nghiệm luôn luôn giống nhau.
‫Nó giống như khi bạn đi học đại học, bạn đang thực hiện một khóa học.
‫Bạn muốn chắc chắn rằng bài kiểm tra cuối kỳ là một dấu hiệu cho thấy bạn hiểu mọi thứ đến mức nào.
‫Tương tự với bộ dữ liệu thử nghiệm cho học máy.
‫Tập dữ liệu thử nghiệm được sử dụng như một dấu hiệu cho thấy mô hình của bạn sẽ khái quát hóa tốt như thế nào trong thế giới thực.
‫Vì vậy, bạn muốn tránh rò rỉ dữ liệu.
‫Dữ liệu không khớp xảy ra khi dữ liệu bạn đang kiểm tra khác với dữ liệu bạn đang đào tạo, chẳng hạn
‫như có các tính năng khác nhau trong dữ liệu đào tạo với dữ liệu kiểm tra.
‫Việc có kiểu không khớp này có thể dẫn đến việc các mô hình hoạt động kém trên dữ liệu thử nghiệm so với dữ liệu đào
‫tạo.
‫Đây là lý do tại sao điều quan trọng là phải đảm bảo rằng việc đào tạo được thực hiện trên cùng một loại dữ liệu mà bạn
‫sẽ thử nghiệm và càng gần càng tốt với những gì bạn sẽ sử dụng trong các ứng dụng trong tương lai của mình.
‫Các cách khác để chống lại sự không phù hợp bao gồm sử dụng một mô hình tiên tiến hơn.
‫Điều này có thể có nghĩa là một mô hình hoàn toàn khác hoặc tăng số lượng siêu tham số trên mô hình hiện tại của
‫bạn.
‫Hãy nhớ rằng khi chúng ta nấu món gà của mình, chúng ta có thể thay đổi một trong các thông số siêu lớn của lò
‫bằng cách lật nó lên.
‫Đó có thể là điều mà bạn có thể làm trên mô hình học máy thay vì chỉ sử dụng hai
‫lớp trong mạng nơ-ron mà bạn có thể sử dụng.
‫Chúng ta sẽ thấy nhiều điều này hơn trong một dự án trong tương lai.
‫Bạn cũng có thể giảm số lượng tính năng mà bạn đang cố gắng tạo mô hình.
‫Có thể dữ liệu của bạn có quá nhiều tính năng và mô hình bạn đang sử dụng đang gặp khó khăn trong việc tìm kiếm các mẫu trong
‫đó.
‫Cuối cùng, bạn có thể đào tạo mô hình của mình lâu hơn.
‫Đôi khi các mô hình mất nhiều thời gian hơn để đào tạo hoặc lâu hơn để học hơn bạn mong đợi.
‫Một trong những thử nghiệm của bạn có thể liên quan đến giai đoạn đào tạo dài hơn.
‫Để giảm việc mặc quá nhiều.
‫Các giải pháp hữu ích là thu thập thêm dữ liệu.
‫Nhiều dữ liệu hơn sẽ cung cấp nhiều mẫu tiềm năng hơn để một mô hình tìm thấy và do đó làm giảm khả năng
‫tìm thấy tất cả chúng.
‫Hoặc bạn có thể thử sử dụng một mô hình ít nâng cao hơn.
‫Điều này là không phổ biến, nhưng nó có thể xảy ra.
‫Mô hình bạn đang sử dụng học hỏi quá tốt và nó mô hình hóa dữ liệu của bạn quá tốt.
‫Hãy thận trọng với các mô hình hoạt động quá tốt vì chúng có thể dẫn đến các dự đoán không chính xác.
‫Hãy nhớ rằng không có mô hình nào là hoàn hảo, vì vậy hãy chắc chắn kiểm tra kết quả tốt cũng như kiểm tra kết
‫quả kém.
‫Cuối cùng, khi so sánh hai mô hình khác nhau với nhau, điều quan trọng là đảm bảo
‫bạn đang so sánh táo với táo và cam với cam, chẳng hạn.
‫Mô hình hai Được đào tạo về dữ liệu.
‫Đặt một so với Mô hình ba được đào tạo trên dữ liệu, đặt một.
‫Và trong quá trình so sánh, bạn muốn đảm bảo rằng bạn không chỉ tính đến kết quả cuối cùng mà còn phải tính đến những
‫gì để đạt được điều đó.
‫Nếu Mô hình hai lấy 1/2 để đưa ra dự đoán ở 93. Độ chính xác 1%.
‫Mô hình ba mất 4 giây để đưa ra dự đoán ở 94. 7 độ chính xác.
‫Độ chính xác thêm 3% đó có xứng đáng với thời gian dự đoán thêm 3 giây đó không?
‫Bây giờ, điều này sẽ phụ thuộc vào mục tiêu là gì, nhưng nếu bạn đang tối ưu hóa thời gian dự đoán, bạn muốn đưa
‫ra dự đoán càng nhanh càng tốt.
‫Bạn có thể chọn mô hình hai vì mô hình này đưa ra dự đoán nhanh hơn bốn lần so với mô hình ba, nhưng
‫ở mức độ chính xác cao hơn.
‫Một lần nữa, điều này sẽ khác nhau tùy thuộc vào loại ứng dụng hoặc trường hợp sử dụng sản xuất bạn muốn
‫sử dụng.
‫Nhưng một số điều cần lưu ý không chỉ là cách một mô hình hoạt động mà còn liên quan đến việc chọn cái
‫nào bạn nên sử dụng.
‫Một số điều bạn muốn ghi nhớ từ bài học này Tránh trang bị quá mức và không phù hợp.
‫Bạn muốn một mô hình hướng tới tính tổng quát.
‫Giống như khi bạn làm bài kiểm tra thực hành, nếu bạn xem bài kiểm tra cuối kỳ, bạn có thể sẽ trở thành một cỗ máy ghi
‫nhớ chuyên nghiệp hơn là một người có thể sử dụng kiến thức của họ trong thế giới thực.
‫Giữ riêng bộ thử nghiệm bằng mọi giá.
‫Khi bạn chia nhỏ dữ liệu của mình, bạn muốn có một tập hợp đào tạo, sau đó vứt bỏ tập dữ liệu thử nghiệm và
‫khóa nó lại.
‫Và khi mô hình của bạn đã được đào tạo, thì bạn có thể mở tập dữ liệu thử nghiệm, bạn có thể mở khóa,
‫lấy nó ra khỏi két và xem mô hình của bạn hoạt động như thế nào khi bạn so sánh các mô hình.
‫So sánh quả táo với quả táo, có mô hình một và mô hình hai trên dữ liệu, bộ một và bộ dữ liệu một.
‫Bạn muốn đảm bảo rằng hai mô hình bạn đang so sánh đã được tạo trong cùng một loại môi trường
‫để bạn có thể đảm bảo rằng những gì bạn đang so sánh là so sánh hợp pháp.
‫Cuối cùng, một chỉ số hiệu suất tốt nhất không bằng mô hình tốt nhất.
‫Hãy nhớ rằng, trong ví dụ của chúng tôi, bạn có thể đang tối ưu hóa thời gian dự đoán.
‫Vì vậy, mặc dù một mô hình đưa ra dự đoán nhanh hơn không có được độ chính xác cao như một mô hình khác sẽ
‫mất nhiều thời gian hơn một chút.
‫Nó có thể không quan trọng với bạn bởi vì bạn cần một cái gì đó có thể dự đoán nhanh nhất có thể.
‫Phew, đó là rất nhiều, nhưng chúng ta sẽ thấy nhiều điều này hoạt động trong suốt khóa học.
‫Bạn cũng sẽ sử dụng nó trong toàn bộ sự nghiệp học máy của mình, vì vậy điều quan trọng là phải nhớ
‫những khái niệm này.
‫Hãy chuyển sang bước tiếp theo và xem cách chúng ta có thể kết hợp tất cả các bước trước này lại với nhau trong
‫thử nghiệm bước sáu.