‫Trong video cuối cùng, chúng tôi đã chấm điểm mô hình học máy của mình mà chúng tôi đã trang bị cho dữ liệu sau khi chúng
‫tôi chỉ điền tất cả các giá trị số, điền tất cả các giá trị phân loại và biến tất cả dữ liệu của chúng
‫tôi thành số.
‫Mô hình đã hoạt động.
‫Dữ liệu của chúng tôi không có giá trị nào bị thiếu và tất cả đều là số.
‫Nhưng chúng tôi đã dừng lại với câu hỏi Tại sao số liệu này không đáng tin cậy?
‫Hãy đặt điều đó ở đây, bởi vì điều đó đáng để làm nổi bật, bởi vì hãy nhớ rằng, hãy luôn nhớ rằng việc lắp một
‫mô hình học máy hoặc đánh giá một mô hình học máy cũng quan trọng như việc lắp một mô hình học máy.
‫Và đó là nơi chúng tôi cho đến bây giờ vì chúng tôi vừa phù hợp với một mô hình học máy.
‫Chúng tôi phải đảm bảo rằng kết quả của chúng tôi có giá trị, đúng không, bởi vì chúng tôi không muốn hứa hẹn những điều mà mô hình
‫của chúng tôi không thể làm được.
‫Vì vậy, câu hỏi tại sao số liệu trên không giữ nước?
‫Giữ nước là một biểu hiện cho lý do tại sao số liệu này không đáng tin cậy?
‫Đó chỉ là một cách nói.
‫Vậy tại sao nó không giữ nước?
‫Tại sao nó không đáng tin cậy?
‫Bạn đã phải nghĩ về nó chưa?
‫Tôi sẽ chỉ cho bạn một sơ đồ có thể làm mới trí nhớ của bạn nếu chúng ta quay lại bài phát biểu chính của mình.
‫Bạn nhớ ngay từ đầu, khái niệm quan trọng nhất trong học máy.
‫Được rồi, ba bộ.
‫Vì vậy, những gì chúng tôi đã làm là chúng tôi đã đào tạo một mô hình học máy trên một tập dữ liệu, nhưng sau đó chúng tôi đã
‫làm gì?
‫Chúng ta quay lại mã.
‫Chúng tôi phù hợp với mô hình.
‫Trên tập dữ liệu trên một số dữ liệu, nhưng sau đó chúng tôi đã đánh giá nó trên cùng một dữ liệu.
‫Ờ.
‫Och, vậy nếu chúng ta quay lại đây, về cơ bản những gì chúng ta đã làm là nếu chúng ta nghĩ về điều
‫này như một khóa học đại học, chúng ta đã học các tài liệu về khóa học.
‫Nhưng những gì chúng tôi đã làm, thay vì thử nghiệm mô hình của chúng tôi tương đương với một bài kiểm tra cuối kỳ,
‫hay còn gọi là tập dữ liệu thử nghiệm, chúng tôi chỉ đánh giá mô hình học máy của mình trên cùng các tài liệu mà nó đã
‫học.
‫Bạn đang ở trong một lớp học và bạn được đưa cho một cuốn sách để đọc, và sau đó chính xác là
‫bạn sẽ được kiểm tra với các câu hỏi trực tiếp từ cuốn sách mà bạn đang đọc.
‫Hừ!
‫Được chứ.
‫Nhưng chúng tôi sau khả năng tổng quát hóa và có được khả năng của mô hình học máy để hoạt động tốt trên dữ liệu mà
‫nó chưa từng thấy trước đây, đó là điều chúng tôi đang theo đuổi.
‫Nếu chúng ta quay trở lại Kaggle.
‫Có một tập dữ liệu đào tạo chứa dữ liệu đến cuối năm 2011.
‫Có một bộ xác thực và một bộ kiểm tra.
‫Vì vậy, đó là những gì chúng tôi đang theo đuổi.
‫Chúng tôi cần đánh giá mô hình của mình, không phải dựa trên dữ liệu mà chúng tôi đã đào tạo về nó, đó là điều chúng tôi cần đánh
‫giá nó trên dữ liệu thử nghiệm.
‫Nhưng trước khi chúng tôi làm điều đó.
‫Nếu bạn nhớ sao lưu ngay ở trên cùng, hãy quay lại ngay trên cùng để chúng tôi nhập khung dữ liệu đầu tiên của mình.
‫Tôi đã nói chúng ta sẽ xem lại điều này và bây giờ đã đến lúc.
‫Vì vậy, chúng tôi đi đây.
‫Chúng tôi đã nhập khẩu nó.
‫Đào tạo và csv hợp lệ.
‫Hừ!
‫Tự hỏi tại sao chúng tôi lại làm như vậy?
‫Chà, tất cả sẽ trở nên rõ ràng trong video này.
‫Vì vậy, chúng tôi có csv đào tạo không hợp lệ, chúng tôi có csv hợp lệ và chúng tôi đã thử và xem như v, tại sao chúng tôi không
‫chỉ nhập chúng một cách riêng biệt?
‫Chà, tôi muốn chứng minh việc tạo tập xác thực của riêng bạn giống như việc bạn tạo ra hơn là người khác tạo nó
‫cho bạn bằng tập dữ liệu chuỗi thời gian, đó là những gì chúng tôi đang nghiên cứu.
‫Vì vậy, đây là một sân chơi hoàn hảo cho điều đó.
‫Vì vậy, nếu chúng ta đọc ở đây train CSV là tập huấn luyện.
‫Vì vậy, về cơ bản những gì chúng tôi đang làm và CSV hợp lệ là một tập hợp xác thực.
‫Điểm mấu chốt ở đây là vì đó là một chuỗi thời gian, tập dữ liệu đào tạo có dữ liệu đến cuối năm 2011,
‫trong khi tập xác thực có dữ liệu trong khoảng thời gian từ ngày 1 tháng 1 năm 2012 đến ngày 30 tháng 4 năm 2012.
‫Vì vậy, những gì chúng tôi sẽ làm để đánh giá tốt hơn mô hình của mình, chúng tôi cần chia dữ liệu của mình thành tập huấn luyện và xác nhận.
‫Vì vậy, chúng ta hãy làm điều đó.
‫Hãy vào đây chia nhỏ dữ liệu thành các tập hợp xác thực đào tạo vì đó là những gì chúng ta đang theo đuổi.
‫Bây giờ chúng tôi đã có một mô hình.
‫Bây giờ chúng ta có thể xây dựng các mô hình, nhưng chúng tôi cần thay vì chỉ xây dựng các mô hình tốt hơn, chúng tôi
‫cần đảm bảo rằng những gì chúng tôi đang đánh giá là có ý nghĩa.
‫Vì vậy, hãy kiểm tra lại dữ liệu của chúng tôi, như chúng tôi vẫn thường làm.
‫Vì vậy, có lẽ chúng ta có thể sử dụng năm, nó được gọi là gì, nói.
‫Ồ, đúng vậy.
‫Vì vậy, bạn có phải nói.
‫Ồ, vâng.
‫Chúng ta bắt đầu.
‫Được chứ.
‫Vì vậy, có thể bởi vì khung dữ liệu của chúng tôi là theo thứ tự.
‫Đúng.
‫Điều này sẽ giúp chúng tôi khi chúng tôi nhập khung dữ liệu của mình.
‫Chúng tôi đã đặt hàng theo thứ tự của ngày bán.
‫Vì vậy, bây giờ đọc phần này để tạo bộ xác thực của riêng chúng tôi, chúng tôi muốn chia nhỏ dữ liệu của mình.
‫Vì vậy, tất cả các hàng cho đến năm 2011, do đó, năm bán hàng là 2011 có thể nằm trong tập hợp đào tạo.
‫Và sau đó tất cả các hàng trong năm 2012 có thể là tập hợp xác thực.
‫Hiện tại, chúng tôi sẽ không lo lắng về tập thử nghiệm vì đó là tập dữ liệu riêng biệt.
‫Lý do tại sao chúng tôi chỉ làm việc trên tàu và CSV hợp lệ là vì chúng tôi đã nhập tàu
‫và CSV hợp lệ ở đầu sổ ghi chép.
‫Tệp này ở đây.
‫Vì vậy, chúng tôi phải tạo tập dữ liệu xác thực của riêng mình.
‫Vì vậy, chúng ta hãy làm điều đó.
‫Vì vậy, chúng tôi đã có các mẫu dành cho nhà phát triển, hãy kiểm tra số lượng giá trị của năm bán hàng.
‫Bắt đầu rồi, 2012.
‫Vì vậy, có 11.573 mẫu trong năm 2012.
‫Được rồi.
‫Vì vậy, để phân chia dữ liệu của chúng tôi thành đào tạo và xác thực, nó sẽ dễ dàng như vậy, được rồi, chúng ta hãy xem xét kỹ điều này.
‫Cột năm của chúng tôi và mỗi cột bằng 2012 sẽ là một bộ xác thực cho năm và ví dụ bán hàng
‫và mọi hàng không bằng năm đó, không bằng 2012 sẽ nằm trong tập huấn luyện.
‫Vì vậy, chúng ta hãy ngừng nói về nó, Daniel, và chúng ta hãy xem mã.
‫Vì vậy, hãy chia dữ liệu thành đào tạo và xác nhận.
‫Đây là điều mà bạn có thể phải làm với dữ liệu chuỗi thời gian của riêng mình, phải không?
‫Bởi vì không phải lúc nào bạn cũng được đưa ra ở định dạng Kaggle, phải không?
‫Khi bạn đang làm việc với khách hàng hoặc làm việc trong một dự án, không phải lúc nào bạn cũng tự động có dữ liệu
‫của mình trong quá trình đào tạo, hợp lệ và thử nghiệm.
‫Đây là những thứ bạn sẽ phải tạo ra cho chính mình.
‫Nhìn vào cột giảm giá này hoặc nhìn vào cột thời gian, nhìn vào cột ngày và tìm ra cách
‫bạn có thể tạo bộ đào tạo và xác nhận của riêng mình.
‫Vì vậy, đó chính xác là lý do tại sao chúng tôi nhập chúng thành một bộ để bắt đầu, vì vậy chúng tôi có thể thực hành tạo bộ đào tạo
‫và xác nhận của riêng mình.
‫Và tôi cảm thấy như tôi đang nói từ đặt ra rất nhiều, nhưng điều đó quan trọng bởi vì chúng tôi quay lại với của chúng tôi.
‫Chủ đạo.
‫Đây là khái niệm quan trọng nhất trong học máy vì bất cứ điều gì chúng tôi đào tạo mô hình của mình, chúng tôi muốn đảm
‫bảo rằng chúng tôi đang đánh giá nó trên một cái gì đó khác.
‫Vì vậy, đến đây để xác nhận tập hợp là mọi hàng trong DF tạm thời mà cột năm bán bằng 2012?
‫Vâng đúng rồi.
‫Và ngày tập luyện là mọi hàng trong DF tạm thời mà cột cùng năm không bằng 2012.
‫Tuyệt vời.
‫Và sau đó chúng ta có thể đi, Len.
‫DF Val và Len df train.
‫Vì vậy, tất cả những điều này sẽ cho chúng ta biết là độ dài của hai khung dữ liệu này.
‫Xinh đẹp.
‫Vì vậy, bây giờ chúng ta có một tập hợp xác thực chứa 11.573 hàng và một tập dữ liệu đào tạo chứa 401.125 hàng hoặc mẫu và
‫sự phân chia của chúng vào ngày.
‫Xinh đẹp.
‫Chúng tôi đang lấy hộp ở đây.
‫Vì vậy, bây giờ những gì chúng ta có thể làm là chia dữ liệu thành X và Y.
‫Chúng tôi đã thấy điều này trước đây.
‫Và theo cách đó, chúng ta có một tập huấn luyện X và một tập huấn luyện Y và một tập hợp lệ X và một tập hợp lệ Y,
‫là dữ liệu và nhãn của chúng ta.
‫Vì vậy, chúng ta sẽ có X train, y train bằng DF.
‫Bây giờ chúng tôi đang làm việc với tập huấn luyện ở đây.
‫Chúng tôi muốn giảm cột giá bán trên trục đầu tiên a. k. chỉ cần thả cột và chúng tôi sẽ đặt
‫nó thành huấn luyện DF.
‫Chuyến tàu Y sẽ bằng với giá bán.
‫Vì vậy, hãy xem cách tôi thực hiện với dấu phẩy ở đây.
‫Tôi hơi khó khăn khi chỉ làm nó trong một dòng.
‫Xinh đẹp.
‫Và chúng ta sẽ đến đây.
‫Hợp lệ y hợp lệ.
‫Không chắc đầu ra df giảm giá bán lại như cũ, nhưng lần này với bộ xác nhận df val
‫dot, đây thực sự sẽ là giá bán.
‫Chúng ta bắt đầu.
‫Và bây giờ chúng ta sẽ kiểm tra dữ liệu của mình một chút chỉ để đảm bảo rằng chúng ta không mắc phải một lỗi nhỏ nào ở đâu đó
‫mà tất cả các bạn phải là những hình dạng có thể so sánh được với nhau.
‫Tại sao?
‫Hình dạng hợp lệ.
‫Vì vậy, chúng tôi chỉ lấy những tập dữ liệu mà chúng tôi đang tạo ở đây và chúng tôi đang tìm ra hình dạng của chúng.
‫Xinh đẹp.
‫Vì vậy, tập huấn luyện của chúng tôi là 401.000 hàng hoặc khoảng đó với 102 tính năng, 102 cột.
‫Đào tạo Y của chúng tôi là 401.000 hàng và sau đó xác nhận là khoảng 11 nghìn rưỡi với cùng số lượng cột cho X
‫và không có cột nào cho Y vì y chỉ là một cột.
‫Chúng ta hãy có một cái nhìn.
‫Bây giờ, hãy nhìn xem, đây là những gì chúng ta làm.
‫Đảm bảo tất cả dữ liệu của chúng tôi.
‫Được rồi, đây là tất cả giá ưu đãi.
‫Xinh đẹp.
‫Thật tuyệt.
‫Được rồi, vì vậy chúng tôi đã có dữ liệu của mình vào tập hợp xác thực và đào tạo.
‫Chúng tôi đã quan tâm đến hai trong ba điều quan trọng nhất hoặc bộ quan trọng nhất.
‫Chúng ta sẽ xem xét bộ thử nghiệm sau.
‫Nhưng đây là những gì chúng tôi đã tạo, một tập hợp đào tạo và một tập hợp xác thực.
‫Đã đến lúc tiếp tục xây dựng một số mô hình khác.
‫Vì vậy, chúng tôi có thể kết thúc video này ở đây và chúng tôi phải tìm ra cách để đánh giá mô hình học máy của chúng tôi.
‫Vì vậy, chúng ta có thể sẽ xem xét điều đó trong video tiếp theo.