KHAI PHÁ và MÔ HÌNH DỮ LIỆU VỚI R

Ý chính của một lớp học về khoa học dữ liệu -> thành chuyên gia được ư?

Giảng viên: TS. Nguyễn Quang và Ths Nguyễn Thế Anh

KẾT QUẢ NHẬN ĐƯỢC

  • Thành thạo lập trình ngôn ngữ R
  • Khai phá dữ liệu: tổng hợp, làm sạch, chuẩn hóa, biến đổi dữ liệu kinh doanh
  • Biểu diễn hình ảnh và tạo lập các báo cáo Business Intelligence hiệu quả
  • Sử dụng các phương pháp thống kê để phân tích dữ liệu kinh doanh
  • Xây dựng các mô hình dự báo xu hướng và rủi ro
  • Làm chủ quá trình triển khai dự án khoa học dữ liệu trong Doanh nghiệp

CÔNG VIỆC PHÙ HỢP

  • Data analyst
  • Business analyst
  • Business Intelligence
  • Machine Learning specialist
  • Data Manager

CHƯƠNG TRÌNH HỌC (10 buổi * 3h hoặc 4 ngày * 7.5h)

Phần 1:

  • Giá trị của Dữ liệu và vai trò của Khoa học dữ liệu
  • Quy trình một dự án Khoa học dữ liệu
  • Cách nhận diện bài toán Dữ liệu trong DN và giá trị mang lại
  • Giới thiệu công cụ: R, Rstudio, Markdown

Phần 2:

– Ngôn ngữ lập trình R: từ cơ bản đến nâng cao

– Thao tác với dữ liệu:

  • Tải dữ liệu, ghép nối, tổng hợp, làm sạch, xây dựng từ điển dữ liệu
  • Xây dựng báo cáo kinh doanh cơ bản

Phần 3:

– Khai phá dữ liệu kinh doanh (EDA):

  • Thống kê và Biểu diễn đồ thị đơn biến phân loại và liên tục
  • Thống kê và Biểu diễn đồ thị đa biến với ggplot2
  • Phân nhóm dữ liệu

Phần 4:

    – Giới thiệu về Business Intelligence

    – Thực hành xây dựng báo cáo Business Intelligence

Phần 5:

– Biến đổi dữ liệu:

o Tìm kiếm điểm bất thường

o Chuẩn hóa dữ liệu, xử lý phân bố

o Giảm chiều dữ liệu

o Tạo biến mới từ dữ liệu

– Các mô hình thống kê:

  • Khoảng tin cậy
  • Kiểm định giả thiết
  • Kiểm định Bootstrap
  • Phân tích phương sai (ANOVA)

Phần 6:

– Mô hình Hồi quy:

  • Hồi quy đơn biến
  • Phân tích sai số
  • Hồi quy đa biến

Phần 7:

    – Các mô hình phân loại

    o Giới thiệu Các mô hình phân loại

    o Mô hình Hồi quy Logistics

o Mô hình cây quyết định và Random Forest

Phần 8:

    – Đánh giá và hiệu chỉnh mô hình

    o Đánh giá mô hình liên tục

o Đánh giá mô hình phân loại

o Xây dựng biến mới

o Lựa chọn biến

Phần 9:

    – Các mô hình không giám sát

    o Mô hình phân cụm

o Mô hình Khuyến nghị

Phần 10:

    – Giới thiệu về mạng Neuron và Deep Learning

– Cách trình bày kết quả dự án ML

– Dự án cuối khóa học

Giải thuật cho hệ thống gợi ý

Hệ thống gợi ý ngày càng được ứng dụng rộng rãi trong nhiều lĩnh lực khác nhau ví dụ hệ thống gợi ý video của youtube, của Netflix, hệ thống gợi ý bài hát của Zing… hoặc hệ thống gợi ý mua hàng online.
Ứng dụng là nhiều vậy, nói đơn giản thì cũng đơn giản nhưng nói phức tạp thì cũng thực sự phức tạp.
Đây là 1 bài viết khá hay về giải thật cho hệ thống gợi ý.
Link: http://www.giaithuatlaptrinh.com/?p=1320

Top 10 ứng dụng thực tế của Machine Learning

Machine Learning là một sáng tạo hiện đại giúp con người không chỉ ở quy mô công nghiệp và các quy trình chuyên nghiệp mà còn thúc đẩy cuộc sống hàng ngày. Nhưng Machine Learning là gì? Nó là một phần của Trí tuệ nhân tạo, Machine Learning tập trung vào các kỹ thuật thống kê để xây dựng các hệ thông máy tính trông minh để học từ các cơ sở dữ liệu sẵn có cho nó. Hiện nay, Machine learning đã được sử dụng trong nhiều lĩnh vực và ngành công nghiệp. Ví dụ: chuẩn đoán trong y học, xử lý ảnh, dự đoán tài chính, phân loại, học kết hợp, hồi quy…
Các hệ thống thông minh được dây dựng dựa trên các thuật toán Machine Learning có khả năng học hỏi từ kinh nghiệm trước đó hoặc dữ liệu lịch sử. Các ứng dụng của Machine Learning cung cấp kết quả trên cơ sở dữ liệu hoặc kinh nghiệp từ quá khứ. Trong bài này, chúng ta sẽ thảo luận về 10 ví dụ thực tế về cách sử dụng Machine Learning đang giúp tạo ra các công nghệ mới mạnh mẽ hơn.

Nhận dạng hình ảnh (Image Recognition)

Nhận dạng hình ảnh là một trong những ứng dụng phổ biến nhất của Machine Learning. Có nhiều tình huống để phân loại đối tượng trong một hình ảnh kỹ thuật số. Ví dụ, trường hợp ảnh đen trắng thì sẽ sử dụng phép đo mức xám của từng pixel còn trong ảnh màu thì lại sử dụng phép đo cường độ của 3 màu khác nhau tạo nên 1 pixel (R-G-B).
Machine Learning cũng được ứng dụng để phát hiện khuôn mặt trong ảnh. Có một danh mục riêng cho mỗi người trong cơ sở dữ liệu hình ảnh của nhiều người. Machine Learning cũng được sử dụng trong nhận dạng chữ viết để phân biệt chữ viết tay hay chữ in. Chúng ta cần phân đoạn một đoạn văn bản thành các hình ảnh nhỏ hơn, mỗi hình ảnh chứa một ký tự.

Nhận dạng giọng nói (Speech Recognition)

Nhận dạng giọng nói là việc chuyển đổi giọng nói thành văn bản. Nó được biết đến với máy nhận dạng giọng nói hoặc nhận dạng giọng nói tự động. Ở đây, một phần mềm có thể nhận ra các từ được nói trong các clip hoặc audio và sau đó chuyển đổi thành file văn bản. Phép đo trong ứng dụng này có thể là một tập hợp các số đại diện cho tín hiệu giọng nói. Ta cũng có thể phân đoạn tín hiệu giọng nói theo cường độ trong các khung thời gian khác nhau.
Nhận dạng giọng nói được sử dụng trong các ứng dụng có giao diện tương tác qua giọng nói, tìm kiếm bằng giọng nói… Giao diện người dùng thông qua giọng nói bao gồm quay số bằng giọng nói, điều hướng cuộc gọi và điều khiển thiết bị. Nó cũng có thể được sử dụng như một công cụ nhập liệu đơn giản và chuẩn bị các tài liệu có cấu trúc.

Chuẩn đoán trong ý học (Medical diagnosis)

Machine Learning có thể sử dụng trong các kỹ thuật và công cụ chuẩn đoán bệnh. Nó được sử dụng để phân tích các biểu hiện lâm sàng và kết hợp chúng để tiên đoán về sự tiến triển của bệnh tật để thông tin tới bác sỹ để lập kế hoạch điều trị và theo dõi bệnh nhân. Đây là những ứng dụng thành công của các phương pháp Machine Learning. Nó có thể giúp tích hợp các hệ thống trong lĩnh vực chăm sóc sức khỏe.

Phân tích chứng khoán (Statistical Arbitrage)

Trong lĩnh vực tài chính, chứng khoán nhắm vào các giao dịch tự động ngắn hạn với số lượng giao dịch lớn. Trong các chiến lược này, người dùng sẽ tập trung vào việc thực hiện các thuật toán giao dịch cho một mã chứng khoán trên cơ sở số lượng cũng như tương quan lịch sử và các biến số kinh tế chung. Phương pháp Machine Learning được áp dụng để có thể có được các chiến lược chênh lệnh giá. Chúng ta có thể áp dụng hồi quy tuyến tính (linear regression) và Vecto hỗ trợ (Support Vector Machine – SVM) cho bài toán này.

Learning associations

Learning associations là quá trình phát triển những hiểu biết sâu sắc về các hiệp hội giữa các sản phẩm. Ví dụ điển hình là làm thể nào các sản phẩm không liên quan có thể liên kế được với nhau. Một trong những ứng dụng của Machine Learning nghiên cứu mối liên hệ giữa các sản mà người dùng mua. Nếu một người mua sản phẩm thì hệ thống sẽ gợi ý các sản phẩm tương tự vì chúng có mối liên quan với nhau. Khi bất kỳ một sản phẩm mới nào được tung ra thị trường thì chúng sẽ được liên kết với các sản phẩm cũ để tăng doanh số.

Phân loại (Classification)

Classification là quá trình đặt từng cá nhân vào một trong nhiều lớp. Classification giúp phân tích các phép đo của một đối tượng để xác định xem nó sẽ thuộc vào danh mục nào. Để thiết lập mối quan hệ hiệu quả, các nhà phân tích sử dụng dữ liệu. Ví dụ, trước khi ngân hàng quyết định cho khách hàng vay, ngân hàng sẽ đánh giá xem khách hàng có khả năng trả khoản vay đó hay không. Bằng cách xem xét các yếu tố như thu nhập, tiết kiệm, lịch sử tài chính… Thông tin này được lấy từ dữ liệu cũ trong khoản vay.

Dự đoán (Prediction)

Machine Learning cũng được sử dụng trong các hệ thống dự đoán. Vẫn xem xét ví dụ về việc cho vay của ngân hàng, để tính xác suất xảy ra lỗi, hệ thống cần phân loại dữ liệu có sẵn theo nhóm. Nó được xác định bởi một bộ quy tắc được quy định bởi các nhà phân tích. Sau khi được phân loại xong, ta có thể tính xác xuất về lỗi có thể xảy ra. Những tính toán này có thể áp dụng trên nhiều lĩnh vực và mục đích khác nhau. Tạo dự đoánh là một ứng dụng phổ biến của Machine Learning.

Khai thác (Extraction)

Khai thác thông tin là một ứng dụng tốt nhất của Machine Learning. Nó là quá trình trích xuất thông tin có cấu trúc từ dữ liệu phi cấu trúc. Ví dụ các trang web, bài viết, blog, báo cáo kinh doanh và email. Cơ sở dữ liệu quan hệ duy trì đầu ra sản phẩm bởi việc trích xuất thông tin. Quá trình trích xuất lấy một tập hợp các tài liệu làm đầu vào và đầu ra dữ liệu có cấu trúc.

Hồi quy (Regression)

Chúng ta có thể thực hiện Machine Learning bằng thuật toán hồi quy. Trong hồi quy, chúng ta sử dụng các nguyên tắc của Machine Learning để tối ưu hóa các tham số. Nó cũng được sử dụng để giảm sai số gần đúng và tính toán kết quả gần nhất có thể. Cjimgs ta cimxh cps thể sử dụng Machine Learning để tới ưu hóa các chức năng. Chúng ta có thể chọn thay đổi các đầu vào để có được các kết quả gần nhất có thể.

Dịch vụ tài chính (Financial Services)

Machine Learning có rất nhiều tiềm năng trong lĩnh vực tài chính ngân hàng. Nó là động lực đằng sau sự phổ biến các dịch vụ tài chính. Machine Learning có thể giúp các ngân hàng, tổ chức tài chính đóng các tài khoản trước khi nó xảy ra. Nó cũng có thể theo dõi các mô hình chi tiêu của khách hàng. Machine Learning cũng có thể phân tích thị trường. Máy thông minh có thể được đào tạo để theo dõi các môi hình chi tiêu. Thuật toán có thể xác định các xu hướng dễ dàng và phản ứng ngay trong thời gian thực.

Kết luận

Tóm lại, chúng ta có thể nói rằng Machine Learning là một bước đột phá đáng kinh ngạc trong lĩnh vực trí tuệ nhân tạo. Trong khi đó, hàng ngày Machine Learning thay đổi để cải thiện cuộc sống của chúng ta.

Có thể bạn quan tâm:

Lộ trình học Machine Learning cho người mới

Giới thiệu với các bạn bài viết về 8 giải thuật Machine Learning do The Learning Machine cung cấp. Các giải thuật được liệt kê theo roadmap và phân thành 4 nhóm: Regression, classification, clustering và generation. Ngoài 8 giải thuật trên thì các giải thuật khác sẽ được hoàn thành trong tương lai. Ngoài ra, các bạn cũng có thể tìm hiểu các kiến thức về thông kê được cung cấp bởi trang này.

Nhóm Regression:

  1. Lasso, Ridge & Elastic Net
  2. Random Forest

Nhóm Classification:

3. Naive Bayes

4. Decision Trees (ID3)

5. Random Forest

6. Logistic Regression

Nhóm Clustering:

7. K-means

8. Hierarchical Clustering

Trên đây là 3 nhóm với 8 thuật toán chính của Machine Learning. Bạn có thể dùng nó làm lộ trình học Machine Learning cho bản thân mình.

Chi tiết bạn có thể xem thêm tại đây.