‫Tôi hy vọng bạn đã sẵn sàng, vì bây giờ đã đến lúc đào tạo một mô hình trên dữ liệu đầy đủ.
‫Chúng tôi đã xác minh rằng mọi thứ đang hoạt động bằng cách xem xét, kiểm tra các dự đoán của mô hình của chúng tôi, đánh giá chúng
‫và tiếp tục, Đúng vậy, mô hình của chúng tôi chắc chắn đang học được điều gì đó, nhưng vì chúng tôi chỉ
‫đào tạo nó trên một nghìn hình ảnh, hãy xem liệu chúng tôi có thể thử mô hình quy mô đầy đủ như chương trình đào tạo mô hình
‫học sâu hoàn chỉnh đầu tiên của chúng tôi trên hơn 10.000 hình ảnh.
‫Và đây là lúc sức mạnh của các hàm mà chúng ta đã tạo trước đó thực sự phát huy tác dụng.
‫Vì vậy, chúng ta hãy tạo ra một tiêu đề nhỏ cho chính mình.
‫Thực ra, huấn luyện một người mẫu, hãy gọi nó là huấn luyện một người mẫu chó lớn.
‫Và chúng ta có thể đặt một chút moji ở đây.
‫Trên dữ liệu đầy đủ và bạn nhận được nó.
‫Đó là một mô hình con chó lớn vì chúng tôi đang đào tạo trên rất nhiều hình ảnh của những con chó.
‫Tôi yêu dự án này ngay bây giờ.
‫Cắt.
‫Những gì chúng ta cần là ghi nhớ ngay trên cùng.
‫Nếu bạn không, điều đó không sao.
‫Chúng ta sẽ xem xét nó ngay bây giờ.
‫Chúng ta có X và y, len x, len y và đây là tất cả dữ liệu huấn luyện của chúng ta.
‫Đây là các tên tệp và đây là các nhãn.
‫Vì vậy, nếu chúng ta đến đây, X là tất cả các tên tệp trong train.
‫Vì vậy, nếu chúng ta xem xét phần đầu tiên có thể là mười của X, mười của X.
‫Đây là tất cả các tên tệp hình ảnh đào tạo của chúng tôi.
‫Trước đây chúng tôi chia chúng thành đoàn tàu X, chỉ có chiều dài 800.
‫Chúng ta bắt đầu.
‫Vì vậy, nếu chúng ta có một cái nhìn về tàu đất X.
‫Chỉ 800 hình ảnh.
‫Vì vậy hiện tại người mẫu của chúng tôi mới chỉ đào tạo trên 800 hình ảnh.
‫Và nếu chúng ta muốn xem tại sao, tại sao các nhãn được liên kết với mỗi đường dẫn tệp?
‫Dưới dạng mảng Boolean.
‫Vậy chúng ta cần làm gì để đào tạo ra một người mẫu đầy đủ?
‫Nếu chúng ta quay lại bài phát biểu của mình, thì quy trình làm việc của chúng ta là gì?
‫Chuẩn bị sẵn sàng dữ liệu.
‫Chuyển nó thành các thì.
‫Chà, chúng tôi có một chức năng cho việc đó.
‫Bạn có nhớ?
‫Tạo các lô dữ liệu.
‫Nếu bạn không, nó không sao cả.
‫Chúng tôi đã tạo một chức năng cho điều đó và chúng tôi đã chọn một mô hình phù hợp với vấn đề của bạn.
‫Vì vậy, trung tâm TensorFlow, chúng tôi có rằng chúng tôi có thể chỉ cần sử dụng tạo mô hình, sau đó điều chỉnh mô hình với dữ liệu và
‫đưa ra dự đoán.
‫Hãy cho nó một vết nứt.
‫Vì vậy, chúng ta hãy tạo tạo một lô dữ liệu.
‫Với bộ dữ liệu đầy đủ.
‫Vì vậy, đây là nơi mà các chức năng thực sự hữu ích sẽ xuất hiện sau này trong sổ ghi chép của bạn.
‫Tôi đã nói với bạn rằng nó đáng giá vì dữ liệu bằng.
‫Tạo các lô dữ liệu.
‫Nhìn này.
‫Đây là chức năng của chúng tôi mà chúng tôi đã viết ở trên.
‫Tạo dữ liệu, hàng loạt dữ liệu của các cặp hình ảnh x và gắn nhãn y.
‫Xáo trộn dữ liệu đẹp mắt.
‫Nếu đó là đào tạo nhưng không, tốt, đó là một chút trở ngại.
‫Chúng tôi không thể thấy điều đó cũng chấp nhận dữ liệu thử nghiệm làm đầu vào.
‫Không nhãn hiệu.
‫Vậy là ổn rồi.
‫Đây không phải là dữ liệu đào tạo.
‫Vì vậy, hãy tạo một lô dữ liệu dữ liệu đầy đủ.
‫Bây giờ chúng ta có một cái nhìn về dữ liệu đầy đủ.
‫Đó là một tập dữ liệu hàng loạt.
‫Xinh đẹp.
‫Với hình ảnh và nhãn.
‫Tuyệt vời.
‫Và nếu bạn đang thắc mắc về việc tạo dữ liệu thực sự là gì, hãy quay lại ngay lập tức nếu chúng
‫ta xem chỉ mục của chúng ta ở đây, chúng ta đang làm gì?
‫Trực quan hóa các lô dữ liệu biến dữ liệu của chúng ta thành các lô.
‫Vì vậy, đây là chức năng lớn của chúng tôi tạo ra các lô dữ liệu.
‫Cần X và Y.
‫Và đây là những gì đang xảy ra.
‫Điều này là do đó là tập dữ liệu đào tạo.
‫Tạo các lô dữ liệu đào tạo biến X và Y thành các thì.
‫Nó xáo trộn chúng và sau đó nó ánh xạ chức năng xử lý hình ảnh của chúng tôi cũng như lấy chức năng nhãn cho
‫dữ liệu.
‫Và sau đó, nó biến dữ liệu thành kích thước hàng loạt là 32.
‫Nhưng chúng tôi đã xem một video về điều này.
‫Vì vậy, nếu bạn cần làm mới, hãy quay lại và xem video nơi chúng tôi đã tạo chức năng này.
‫Vì vậy, chúng ta hãy trở lại nơi chúng ta đã ở.
‫Vì vậy, bây giờ chúng tôi đã lấy lại dữ liệu của mình.
‫Bước tiếp theo là gì?
‫Chà, chúng ta cần một mô hình.
‫Vì vậy, chúng ta hãy tạo một mô hình cho mô hình đầy đủ cho mô hình bằng nhau tạo mô hình.
‫Hãy nhớ những gì tôi tạo ra.
‫Chức năng mô hình đã làm.
‫Ồ, không có chuỗi tài liệu.
‫Hừ!
‫Vâng, hãy chạy nó bằng cách nào.
‫Chúng ta có thể đi kiểm tra nó.
‫Vì vậy, xây dựng một mô hình với TF Dev image net mobile nat v2.
‫Vì vậy, chúng tôi đã có một mô hình.
‫Được chứ.
‫Chúng tôi có một tập dữ liệu hàng loạt và chúng tôi có một mô hình.
‫Bây giờ, nếu chúng ta muốn kiểm tra những gì tạo mô hình, nó đang xây dựng một mô hình ở đâu?
‫Nếu chúng ta đi xuống đây, đây là chức năng tạo mô hình của chúng ta.
‫Ah, nó không có chuỗi tài liệu.
‫Có lẽ đó là một cái gì đó bạn có thể thêm.
‫Vì vậy, bạn tạo một hàm xây dựng mô hình của người chăm sóc.
‫Vì vậy, những gì nó sẽ trải qua là thực hiện các bước trước đó để tạo mô hình tuần tự của người chăm
‫sóc bằng cách sử dụng mô hình chúng tôi đã tải xuống từ trung tâm TensorFlow và một lớp dày đặc ở trên cùng để đảm bảo đầu ra
‫của chúng tôi có cùng kích thước với các nhãn chúng ta có.
‫Nó sẽ biên dịch mô hình với hàm mất mát và trình tối ưu hóa, mà Adam, người bạn của chúng
‫tôi, người ở dưới chân đồi, nói với chúng tôi cách xuống đồi tại Giải vô địch quốc tế
‫xuống đồi và chỉ số chính xác là những gì chúng tôi làm. chúng tôi đang đo lường.
‫Và sau đó chúng tôi đang xây dựng mô hình cho ăn ở hình dạng đầu vào, có kích thước như hình ảnh của chúng tôi.
‫Tuyệt vời.
‫Trở lại.
‫Vì vậy, làm thế nào chúng ta có thể đào tạo điều này?
‫Cái gì tiếp theo?
‫Chúng ta làm gì tiếp theo?
‫Chà, chúng tôi đã tạo một số lệnh gọi lại, vì vậy chúng tôi có thể phải thực hiện một số lệnh gọi lại cụ thể cho mô hình của chúng
‫tôi.
‫Vì vậy, chúng ta hãy làm điều đó.
‫Hãy bắt đầu tạo các lệnh gọi lại mô hình đầy đủ.
‫Đầy đủ thì căng thẳng trên tàu bằng.
‫Tạo lều trên tàu.
‫Quay lại.
‫Chúng ta bắt đầu.
‫Có chức năng của chúng tôi từ trước để tạo một cuộc gọi lại bảng tensor.
‫Hãy nhớ rằng, lệnh gọi lại của bảng tensor giúp chúng tôi theo dõi hiệu suất của mô hình của chúng tôi và so sánh nó với
‫những người khác.
‫Và do đó, không có xác thực nào được thiết lập khi đào tạo trên tất cả dữ liệu.
‫Vì vậy, với việc dừng và gọi lại sớm, chúng tôi không thể theo dõi độ chính xác của quá trình xác thực.
‫Vì vậy, để dừng cuộc gọi lại sớm của chúng tôi, chúng tôi cần dừng mô hình sớm.
‫Dấu bằng tfw dấu chấm gọi lại chấm dừng sớm.
‫Chúng ta bắt đầu.
‫Và chúng tôi sẽ làm cho nó để theo dõi độ chính xác khi mô hình của chúng tôi chiếu trên dữ liệu đầy
‫đủ, khi độ chính xác của nó ngừng tăng lên trong ba kỷ nguyên.
‫Chúng tôi sẽ yêu cầu nó ngừng tập luyện để nó không bị đánh bay quá mức hoặc chúng tôi sẽ cố
‫gắng ngăn nó không bị quá tải.
‫Vì vậy, thay đổi và nhập.
‫Tuyệt vời.
‫Có vẻ như chúng tôi có thể có một công thức để bắt đầu đào tạo mô hình của mình sao cho phù hợp với mô hình đầy đủ với dữ liệu đầy đủ.
‫Vì vậy, đây là nơi chúng ta có thể đi.
‫Chúng tôi có thể đi đầy đủ mô hình chấm phù hợp.
‫Vì vậy, chúng tôi chỉ gọi mô hình mà chúng tôi đã tạo.
‫Dấu chấm phù hợp với x bằng toàn bộ dữ liệu.
‫Hãy nhớ rằng bây giờ không có tập hợp xác thực nào vì chúng tôi đang đào tạo về dữ liệu đầy đủ.
‫Kỷ nguyên sẽ là 100.
‫Hoặc nó có thể chỉ là num epochs vì chúng ta đã đặt num epochs trước đó và chúng ta sẽ có
‫callback, là hai callback mà chúng ta vừa tạo.
‫Bây giờ đây chỉ là thực hiện các bước chính xác như những gì chúng tôi đã làm, đào tạo một mô hình nhỏ hơn,
‫nhưng lần này với nhiều dữ liệu hơn.
‫Tuyệt vời.
‫Và bây giờ tôi sẽ đưa ra một lưu ý nhỏ ở đây để cung cấp cho bạn một chút lưu ý và tốt, tôi sẽ nói
‫ra.
‫Vì vậy, bạn cũng biết.
‫Việc chạy ô bên dưới sẽ mất một chút thời gian, có thể lên đến 30 phút hoặc có thể lâu hơn
‫một chút, 30 phút cho kỷ nguyên đầu tiên vì GPU chúng tôi đang sử dụng trong thời gian chạy phải tải tất cả hình ảnh vào
‫bộ nhớ.
‫Vì vậy, kỷ nguyên đầu tiên, hãy nhớ, với mô hình nhỏ hơn của chúng tôi trên 1000 hình ảnh, kỷ nguyên đầu tiên mất vài phút, có
‫thể là ba hoặc 4 phút, như bạn có thể tưởng tượng, bởi vì kỷ nguyên này nằm trên tập dữ liệu đầy
‫đủ.
‫Đó là đào tạo với 10.000 hình ảnh.
‫Vì vậy, sẽ mất nhiều thời gian hơn một chút để tải tất cả dữ liệu cho kỷ nguyên đầu tiên.
‫Vì vậy, trước khi chúng tôi chạy điều này, miễn là tất cả các mã đều đúng, thực sự thì nó có thể bị lỗi.
‫Đó là lý do tại sao thay vì thử toàn bộ dữ liệu ngay từ đầu, chúng tôi đã đảm bảo mọi thứ hoạt động.
‫Bởi vì khi đào tạo một mô hình học máy đầy đủ, một mô hình học tập sâu, đầy đủ.
‫Nó có thể mất một thời gian khá dài và hàng giờ.
‫Chúng tôi khá may mắn ở đây.
‫Điều này sẽ được đào tạo trong vòng một giờ vì chúng tôi đang sử dụng GPU.
‫Nhưng bạn có thể tưởng tượng nếu bạn đang làm việc tại một công ty lớn hơn, bạn có thể bỏ dở khóa đào tạo gì đó
‫trong một tuần.
‫Vì vậy, đó là lý do tại sao bạn muốn đảm bảo rằng khi bạn thiết lập các thử nghiệm, hãy tưởng tượng việc đào
‫tạo một mô hình học sâu trong cả tuần, và sau đó hóa ra là nó không hoạt động.
‫Vì vậy, đó là lý do tại sao chúng tôi đã thực hiện tất cả các bước ở trên để đảm bảo rằng mọi thứ đều hoạt động.
‫Vì vậy, trước khi chúng tôi đào tạo một mô hình lớn, chúng tôi có thể chắc chắn rằng, được rồi, mọi thứ đã ổn định.
‫Hãy bắt đầu một đợt tập luyện đầy đủ.
‫Vậy bạn đã sẵn sàng chưa?
‫Chúng tôi sắp đào tạo mô hình học sâu, hoàn chỉnh đầu tiên của mình trên hơn 10.000 hình ảnh.
‫Thị giác chó đang thực sự trở thành hiện thực.
‫Ghét nó với tôi.
‫Ba hai một.
‫Shift và nhập.
‫Ngón tay bắt chéo.
‫Hy vọng rằng điều này hiệu quả.
‫Chúng ta sẽ thấy một thanh tải nhỏ xuất hiện và bởi vì chúng tôi đã đặt số lượng kỷ nguyên là 100, nó sẽ tiếp
‫tục đào tạo trong tối đa 100 kỷ nguyên.
‫Nhưng nếu nó ngừng cải thiện, chúng tôi đã có mô hình đầy đủ ngừng gọi lại sớm.
‫Điều đó sẽ dừng lại ở việc đào tạo sớm và sau đó chúng ta có thể kiểm tra kết quả bằng cách sử dụng phần mười thứ tự sau
‫khi kết thúc.
‫Vì vậy, chúng tôi sẽ chỉ đợi điều này bắt đầu.
‫Và sau đó, những gì tôi có thể sẽ làm là tạm dừng video này vì nó sẽ mất khoảng nửa giờ.
‫Tôi sẽ nghỉ ngơi một chút, có lẽ bạn có thể, đi dạo một chút, thư giãn.
‫Ồ.
‫Có lẽ sẽ lâu hơn nửa giờ một chút.
‫Lần này tôi nên đi xuống trừ khi thử nghiệm của tôi không chính xác.
‫Nhưng chúng tôi sẽ đợi một vài giây và sau đó tôi sẽ quay lại video này khi mô hình đã dừng.
‫Vì vậy, khi mô hình dừng sớm, lệnh gọi lại dừng sớm của mô hình đầy đủ đã bắt đầu.
‫Được chứ.
‫Vì vậy, tôi sẽ để điều này chạy cho đến khi nào nó cần chạy.
‫Tôi sẽ quay lại khi mô hình của tôi đã ngừng hoạt động, cảm ơn bạn đã dừng sớm và gọi lại.
‫Vì vậy, tôi sẽ gặp bạn trong một vài giây, nhưng đối với tôi, nó sẽ là một vài giờ trong tương lai.
‫Có thể đó là một vài giờ trong tương lai của bạn.
‫Và chúng tôi đã trở lại.
‫Được rồi.
‫Vì vậy, chúng ta hãy xem xét mô hình được đào tạo đầy đủ của chúng tôi.
‫Như bạn có thể thấy, kỷ nguyên đầu tiên của tôi diễn ra khá lâu và điều này thực sự sẽ mất một chút thời gian nếu bạn
‫hoàn thành điều này, nếu bạn đã trải qua điều này.
‫Bạn cần tự vỗ về mình vì đây giống như một nghi thức luyện tập mạng
‫nơ-ron học sâu và đầu tiên của bạn.
‫Và mất nhiều thời gian.
‫Một trong những điều bạn sẽ phải tìm ra khi trở thành nhà khoa học dữ liệu
‫hoặc kỹ sư máy học là cách để vượt qua thời gian trong khi đào tạo mô hình của bạn.
‫Vì vậy, tôi đã đi dạo với những con chó của mình vì điều này đã lấy mất một con.
‫Đó là bao nhiêu giây?
‫Vậy 4730 chia cho 60.
‫78 phút.
‫Vì vậy, chỉ còn hơn một giờ để thực hiện kỷ nguyên đầu tiên.
‫Nhưng như tôi đã nói, sau khi hình ảnh được tải vào bộ nhớ của GPU, hãy kiểm tra tốc độ của nó sau
‫đó.
‫Và những gì bạn có thể muốn làm là khi ô này đang chạy, lẽ ra tôi phải nói với bạn điều này trước
‫đây, nhưng bạn có thể lưu ý cho tương lai.
‫Khi ô này đang chạy, bạn muốn có một mô hình lưu chạy sau nó.
‫Bằng cách đó, khi mô hình của bạn ngừng đào tạo.
‫Cảm ơn bạn đã sớm dừng cuộc gọi dừng lại sớm của chúng tôi ở đây.
‫Nó sẽ tự động gọi hàm lưu mô hình của chúng tôi và lưu mô hình đầy đủ của chúng tôi vào thư mục mô hình của chúng tôi.
‫Bây giờ chúng ta hãy đến đây và xem xét các mô hình.
‫Ồ, tôi có một vài cái ở đó.
‫Vì vậy, hãy giả sử nó sẽ là một trong đó chúng tôi đi toàn bộ hình ảnh thiết lập mạng di động vào ngày 2 tháng 2 và tôi bắt đầu
‫vào khoảng 5 giờ chiều. m ..
‫Vì vậy, lần này thực sự là sai đối với tôi vì tôi không chắc chắn.
‫Có lẽ thời gian hẹn hò đang sai thời gian đối với tôi.
‫Nhưng chúng ta sẽ đi.
‫Điều đó được lưu ở đây.
‫Chúng tôi đã có con đường của chúng tôi.
‫Vì vậy, bây giờ chúng ta có thể xem xét những gì thực sự đã làm khá tốt.
‫Nhìn kìa.
‫Đó là sự chính xác trong đào tạo.
‫Nhưng tôi có một chút hoài nghi ở đây.
‫Bạn biết tại sao mà?
‫Bởi vì chúng tôi không xác thực điều này.
‫Đây chỉ là một mô hình đào tạo trên dữ liệu đào tạo đầy đủ.
‫Vì vậy, chúng ta hãy đến đây.
‫Đó là đào tạo trên tất cả các hình ảnh trong tệp được đào tạo này, a. k. một. X và Y.
‫Vì vậy, chúng tôi không thể thực sự kiểm tra trên một tập hợp xác thực, nhưng những gì chúng tôi có thể làm là nhập tập dữ liệu kiểm tra mà chúng tôi
‫đã tải xuống ban đầu từ Kaggle.
‫Đây là tệp thử nghiệm.
‫Và chúng tôi có thể nhập chúng, biến chúng thành một nhóm dữ liệu, sau đó sử dụng mô hình của chúng tôi để đưa ra dự đoán
‫và gửi chúng cho Kaggle.
‫Làm thế nào là sử thi này là?
‫Vì vậy, hãy mô hình của chúng tôi được lưu.
‫Hãy kiểm tra chức năng mô hình tải của chúng tôi.
‫Vì vậy, tải cho mô hình bằng với mô hình tải.
‫Chúng tôi sẽ sao chép đường dẫn này ở đây.
‫Được chứ.
‫Họ đang tải toàn bộ mô hình.
‫Và nếu chúng tôi sao chép dòng này ở đây.
‫Đánh dấu.
‫Ồ, chúng tôi không muốn đặt nó ở đó.
‫Chúng tôi muốn đưa nó vào đây dưới dạng một chuỗi.
‫Hãy kiểm tra điều đó.
‫Tuyệt vời.
‫Đó là thông qua.
‫Đó là những gì chúng tôi đang theo đuổi.
‫Vì vậy, một lần nữa, chúng tôi nhận được những cảnh báo mà tài liệu TensorFlow cho biết có thể bị bỏ qua.
‫Được rồi.
‫Bây giờ tiếp theo là gì?
‫Chà, tôi nghĩ bây giờ chúng ta đã có một mô hình được đào tạo đầy đủ trên tất cả hơn 10.000 hình ảnh, tôi nghĩ chúng ta sẽ thấy
‫cách đưa ra một số dự đoán trên tập dữ liệu thử nghiệm.
‫Vì vậy, hãy làm điều đó trong video tiếp theo.