Bài học về phát triển AI

Lưu lại link này để đọc để nâng cao hiểu biết về các dự án thực tế của Trí tuệ nhân tạo.

https://viblo.asia/p/bai-hoc-rut-ra-tu-su-that-bai-cua-cac-du-an-ai-proof-of-concepts-ByEZkwj4ZQ0

Lạm dụng và ngáo AI

Một bài viết khá hay về việc làm dụng và ngáo AI. AI là công nghệ tốt nhưng không phải là tất cả.

https://viblo.asia/p/xin-dung-ngao-ai-ByEZkOPWZQ0?fbclid=IwAR2kkk3uky_6Pztvm7z_S-s1mv1n-h6aV_gcG3PdjGKDAjDI95b5ufMh_T4

Top 26 Free Python Tools for Developer

Python là một ngôn ngữ lập trình xuất hiện từ lâu với nhiều ứng dụng và được rất nhiều lập trình viên ưa thích. Nhưng gần đây nó trở nên nổi tiếng và phổ biến bởi sử phát triển mạnh mẽ của Machine Learning và Trí tuệ nhân tạo. Sau đây là top 26 Free Python Tools hàng đầu được sử dụng phổ biến trong lĩnh vực Data Science, Machine Learning, Trí tuệ nhân tạo, Thống kê số liệu, Tính toán hiệu năng cao…

1. Pandas: Used for data analysis

Từ lâu Python là ngôn ngữ tuyệt vời cho việc trộn và chuẩn bị dữ liệu nhưng không mạnh về việc phân tích và mô hình hóa dữ liệu. Pandas giúp lấp đầy khoảng trống này cho phép ta có thể thực hiện toàn bộ quy trình phân tích dữ liệu trong Python mà không phải sử dụng đến ngôn ngữ chuyên về phân tích dữ liệu như R.

2. SciPy: Algorithms to use with numpy

Thư viện SciPy chứa một tập hợp các thuật toán và các công cụ để xử lý dữ liệu như số như xử lý tín hiệu, tối ưu hóa, thống kê và nhiều tính năng khác.

3. HDF5: Used to store and manipulate data

Thư viện HDF5 kết hợp với Numpy có thể lưu trữ và xử lý một lượng lớn dữ liệu số. Giúp ta có thể xử lý hàng Terabyte dữ liệu cũng nhưng hàng ngàn bộ dữ liệu (dataset) trong một tập dữ liệu.

4. Jupyter: Research collaboration tool

Jupyter là môi trường phát triển tương tác trực quan trên web giúp ta có thể code, xử lý dữ liệu, xem dữ liệu như bảng, biểu đồ và đặc biệt có thể chia sẻ cho tất cả mọi người. Jupyter khá linh hoạt, có thể cấu hình và sắp xếp giao diện để hỗ trợ tốt hơn các công việc hoặc nghiên cứu trong ngành data science, scientific computing và machine learning.

5. HDFS: C/C++ wrapper for Hadoop

Đây là một thư viện giúp Python có thể tương tác với hệ thống tệp của Hadoop để xử lý BigData

6. SQLAlchemy: Python SQL Toolkit

SQLAlchemy là một thư viện cơ bản giúp Python có thể giao tiếp với cơ sở dữ liệu. Thư viện này chủ yếu được sử dụng như một công cụ lập bản đồ quan hệ để dịch các lớp của Python thành các bảng trên cơ sở dữ liệu quan hệ và tự động chuyển đổi các lệnh gọi hàm thành các câu lệnh SQL.

Ngôn ngữ lập trình Python
Ngôn ngữ lập trình Python

7. pyMySQL: MySQL connector

pyMySQL là thư viện giúp Python kết nối tới hệ quản trị cơ sở dữ liệu MySQL.

8. Theano: Deep learning with neural network

Theano làm tăng sức mạnh tính toán của Python, cho phép developer có thể định nghĩa, tối ưu hóa và đánh giá các biểu thức toán hoạc liên quan đến mảng đa chiều một cách hiệu quả. Nó có thể chạy hiệu quả cả trên GPU và CPU, hỗ trợ đắc lực cho các tính toán neural network phục vụ các thuật toán Deep Learning.

9. Lasagne: Build and train neural network in Theano

Lasagne là một thư viện khá gọn nhẹ để xây dựng và huấn luyện neural network dựa trên Theano.

10. Seaborn: Data visualization tool

Seaborn là một thư viện mới dựa trên Matplotlib giúp ta có thể visualization dữ liệu một cách trực quan. Khi làm về data science thì việc hiển thị dữ liệu là một việc quan trọng và thường xuyên giúp ta có thể hiểu được dữ liệu. Seaborn đơn giản, dễ học và dễ sử dụng hơn Matplotlib vì nó trực quan và ít tham số hơn.

11. Airflow: Data enginnering tool

Airflow là một nền tảng giúp ta có thể lập trình, lên lịch và theo dõi các tiến trình công việc. Airflow có giao diện phong phú giúp ta có thể dễ dàng hình dung các quy trình, bước chạy trên hệ thống, có thể theo dõi trạng thái các tiến trình và khắc phục sự cố khi cần.

12. Elasticsearch: Data search engine

Elasticsearch là một công cụ tìm kiếm và phân tích dữ liệu, nó có khả năng tìm kiếm theo thời gian thực và phân tán. Nó cho phép bạn khám phá dữ liệu với tốc độ và ở quy mô chưa từng có trước đây. Nó có thể tìm kiếm toàn văn bản, tìm kiếm có cấu trúc, phân tích và kết hợp cả 3. Elasticsearch là ứng dụng mạnh mẽ nhất trong top free python tools bởi tính ứng dụng rất lớn trong việc tìm kiếm và phân tích dữ liệu.

13. PyBrain: Algorithms for ML

PyBrain là một module Machine Learning của Python. Mục tiêu của nó là sự linh hoạt, dễ sử dụng những vẫn chứa đầy đủ sức mạnh của các thuật toán Machine Learning.

14. NumPy: Multidimensional arrays

NumPy là một thư viện tính toán cơ bản rất hữu ích dành cho việc phân tích dữ liệu, thống kê và data science.

15. Matplotlib: Data visualization tool

Matplotlib là một thư viện hàng đầu giúp ta có thể dễ dàng mô hình hóa dữ liệu. Nói đơn giản hơn nó giúp ta có thể nghiên cứu dữ liệu thông qua các biểu đồ, hình vẽ… một cách trực quan.

16. PyTables: Used for managing HDF5 datasets

PyTables là một package của Python để quản lý các bộ dữ liệu phân cấp và được thiết kế để làm việc với lượng dữ liệu lớn và cực lớn.

17. IPython: Powerful shell

IPython là một ứng dụng giúp sử dụng code python shell một cách mạnh mẽ

18. PyMongo: MongoDB driver

PyMongo là thư viện giúp Python kết nối tới hệ quản trị cơ sở dữ liệu MongoDB.

19. Redis: Redis access libraries

Package này giúp Python làm việc dễ dàng với Redis.

20. Scikit-lear: Used for machine leaning algorithms

Đây là một trong những thư viện về Machine Learning nổi tiếng nhất giúp Python nằm trong top các ngôn ngữ lập trình phổ biến về Machine Learning. Scikit-lear chứa hầu hết các thuật toán Machine Learning từ đơn giản đến phức tạp, từ cổ điển đến hiện tại, xứng đáng nằm trong top free python tools cho lập trình viên.

21. Keras: High-level neural network API

Scikit-lear chuyên về Machine Learning còn Keras thì lại chuyên về Deep Learning giúp Python được sử dụng hiệu quả để phát triển các ứng dụng trí tuệ nhân tạo.

22. Bokeh: Data visualization tool

Bokeh kém nổi tiếng hơn Matplotlib nhưng cũng là một ứng dụng tốt để có thể visualization dữ liệu.

23. Dask: Data enginnering tool

Dask là giúp Python có thể xử lý các tác vụ liên quan đến tính toán song song.

24. Luigi: Data enginnering tool

Luigi giúp developer xây dựng các tác vụ, job phức tạp khi cần xử lý các công việc hàng loạt.

25. SymPy: Symbolic math

SymPy giúp Python tính toán các biểu thức toán học, các công thức toán học phức tạp.

26. Pattern: Natural language processing

Pattern là một module nổi tiếng giúp xử lý ngôn ngữ tự nhiên hiệu quả.

Trên đây là 26 free python tools phổ biến và hữu ích cho lập trình viên. Nếu bạn thấy có những tools, thư viện nào hữu ích và phổ biến hơn nữa thì chia sẻ cho mọi người thêm nhé.

Có thể bạn quan tâm:

Cài đặt keras và tensorflow trên CentOS 7

Sử dụng Linux để học ML và AI, ta cần cài đặt thư viện Keras để vọc thử.
nên cài đặt và đặt mặc định Python 3 để sử dụng.

 pip install --upgrade tensorflow
 pip install numpy scipy
 pip install scikit-learn
 pip install pillow
 pip install h5py
 pip install keras

https://www.pyimagesearch.com/2016/11/14/installing-keras-with-tensorflow-backend/

Tiếp theo làm ứng dụng luôn: Sử dụng Keras – Deep learning để phân loại ảnh

Sử dụng Keras trên Anaconda3 – Deep learning để phân loại ảnh

https://nttuan8.com/bai-7-gioi-thieu-keras-va-bai-toan-phan-loai-anh/
Có code test.

Cách cài đặt Keras trên Anaconda 3- Win 10:

Trong mục Environments chọn All nhập keras và nhấn tìm kiếm.

Tích vào keras, keras-base, keras-applications, keras-preprocessing. Sau đó nhấn Apply để cài đặt.

Con đường trở thành Fullstack AI developer

Con đường trở thành Fullstack AI developer

Các vấn đề cần học để trở thành Fullstack AI developer

Data – Dữ liệu:

  • Thu thập dữ liệu
  • Tinh lọc dữ liệu
  • Lưu trữ dữ liệu
  • Dãn nhãn dữ liệu
  • Làm giàu dữ liệu
  • Cập nhật dữ liệu

AI model – Mô hình AI:

  • Huấn luyện
  • Kiểm thử
  • Điều chỉnh
  • Tối ưu
  • Kết hợp
  • Nén

Backend:

  • Phân tải
  • Tìm kiếm
  • So sánh
  • Sắp xếp
  • Caching
  • Logging

Frontend:

  • Personalization
  • Visualization
  • Recommendation
  • User Experience
  • User Interface

Nguồn : FB Lê Công Thành

Adobe đã ứng dụng trí tuệ nhân tạo trong sản phẩm Photoshop

Có một người bạn đã gửi cho mình về một đoạn clip mô tải lại việc Photoshop tự động có thể tách đối tượng ra khỏi ảnh sử dụng Trí tuệ nhân tạo.

Đây có lẽ là thứ đầu tiên về ứng dụng thực tiễn nhất mà mình thấy hay. Bởi vì trước còn thời sinh viên mình cũng hay vọc Photoshop để cắt ảnh gép linh tinh hoặc chỉnh sửa vớ vẩn, việc cắt này đặc biệt khó khăn đối với những hình góc cạnh, phức tạp đặc biệt với tóc hoặc lẫn màu với nền hoặc vật khác. Với Trí tuệ nhân tạo có thể tách được đối tượng do có thể cho việc học máy học các đối tượng cụ thể để có thể tách được.

Nhìn qua demo thấy khá ngon lành, không biết thành phẩm có được như mong đợi không, dù sao cũng chờ để được sử dụng để việc cắt đối tượng từ ảnh được dễ dàng hơn.

Tổng hợp về trí tuệ nhân tạo

  • Slide về trí tuệ nhân tạo:

– Bài giảng của thầy Phạm Trọng Hoàn: https://pdfs.semanticscholar.org/presentation/33e2/1d6243aa43da3426198243dc387dcc69bdf1.pdf

– Nhập môn trí tuệ nhân tạo: https://pdfs.semanticscholar.org/presentation/33e2/1d6243aa43da3426198243dc387dcc69bdf1.pdf

– Trí tuệ nhân tạo: http://thuvien.tvu.edu.vn/ebook/download/cntt/baigiangtrituenhantao.pdf

  • Bài báo về trí tuệ nhân tạo:

– Bài nghiên cứu về ứng dụng trí tuệ tạo: https://arxiv.org/ftp/arxiv/papers/1801/1801.03604.pdf

  • Cổng tìm kiếm bài báo nghiên cứu khoa học:

– Semantic Scholar: https://www.semanticscholar.org/

ARTIFICIAL INTELLIGENCE For Life 2018 TALK LIST

ARTIFICIAL INTELLIGENCE For Life 2018 TALK LIST

The 2018 Vietnam joint Conference on Artificial Intelligence for Life (AI4Life-2018) is an international forum for practitioners and researchers among Acedemia, Industry, and Government to present novel research results in Artificial Intelligence, to communicate and exchange innovative ideas, as well as to discuss potential applications. The conference aims to raise the public awareness on the recent advances and emergence of Artificial Intelligence in every aspect of our life.

(09–11 May 2018: VNU University of Engineering and Technology – 144 Xuan Thuy, Cau Giay, Hanoi, Vietnam)

TUTORIALS

Deep Learning for Natural Language Processing and Beyond – Assoc. Prof. Nguyen Le Minh (Japan Advanced Institute for Science and Technology, Japan)

AI and data in cancer research – Dr. Pham Viet Thang (VU University Medical Center, Netherland)

Pattern recognition: feature engineering and (deep) feature learning – Assoc. Prof. Nguyen Duc Dung (Institute of Information Technology)

From ML Algorithms to ML Systems – Kenneth Tran (Microsoft Research, USA)

POLICY AND STRATEGY FOR DEVELOPMENT AND SOCIAL ISSUES

Fostering the communities of robotics and AI in Vietnam and in International – Dr. Vu Duy Thuc (Ohmilabs, USA)

AI2’s startup incubator: progress and directions – Dr. Ha Vu (Allen Institute for AI, USA)

Virtual and Augmented Reality: Applications and Issues in a Smart City context – Assoc. Prof. Perry Stuart (University of Technology Sydney, Australia)

Implementation of AI Platforms to create competitive advantages for enterprises – Dr. Le Hong Viet (FPT Corporation, Vietnam)

An application of Deep learning in smart city traffic management – Assoc. Prof. Pham Hong Quang (Vietnam Academy of Science and Technology, Vietnam)

AI in smart city infrastructure management – Prof. Nguyen Kim Khoa (University of Québec, Canada)

AI in Healthcare – Opportunities for Vietnam – Dr. Tran Dang Minh Tri (Harrison-AI, Australia)

Applied AI for predicting the quality of irrigation services in the Red river delta – Dr. Nguyen Thanh Tung (ThuyLoi University, Vietnam)

APPLICATIONS AND PRODUCTS

Data science: A key in the digital transformation time – Prof. Ho Tu Bao (Japan Advanced Institute for Science and Technology, Japan)

AI Strategy and Implementation on Got It’s Knowledge as a Service Platform – Dr. Hung Tran (Got it, USA)

Applied machine learning for decision making in real-life problems – Dr. Le Sy Quang (Google, UK)

ML&AI Approach to User Understanding Ecosystem at VCCorp: Applications to News, Ads, and E-commerce – Dr. Hoang Anh Tuan (VCCORP, Vietnam)

Application of artificial intelligence techniques in building economic-financial forecast models on high dimensional data sets – Assoc. Prof. Do Van Thanh (Nguyen Tat Thanh University, Vietnam)

Operations research: from theory to applications in Vietnam – Dr. Ha Minh Hoang (Vietnam National University, Vietnam)

Developing Intelligent Systems based on Internet of Things: Some preliminary results – Assoc. Prof. Le Hoang Son (VNU, Vietnam)

Cognitive Banking – Mr. Nguyen Manh Khang (IBM, Vietnam)

AI in Electro-Optical/Infrared camera surveillance systems – Dr. Dao Duc Minh (Viettel R&D, Vietnam)

Social graph analysis for verification and fill out users’ information – Mr. Le Minh (Five9, Vietnam)

BASIC RESEARCH

Structured prediction for the summarisation and alignment of videos – Prof. Massimo Piccardi (University of Technology Sydney, Australia)

From Human Machine Interaction to Human Machine Intelligence – Assoc. Prof. Le Thanh Ha (Vietnam National University, Vietnam)

How to Make Chatbots Smarter: Computational Semantics Beyond Events and Roles – Dr. Le Hong Phuong (Vietnam National University, Vietnam)

Analyzing Daily Activity Logs for Smart Interaction – Assoc. Prof. Tran Minh Triet (Vietnam National University Ho Chi Minh City, Vietnam)

Reinforcement learning for mobile robots – Dr. Nguyen Do Van (Vietnam National University, Vietnam)

20 years of Vietnamese Spoken Language Processing: Research & Achievements – Assoc. Prof. Vu Hai Quan (VNUHCM University of Science, Vietnam)

General Game Playing: a Challenge for AI – Assoc. Prof. Sylvain Lagrue (University of Artois, France)

Answer set programming and its Applications – Prof. Tran Cao Son (New Mexico State University, USA)

Evolutionary computation and its roles in AI – Assoc. Prof. Bui Thu Lam (Le Quy Don University, Vietnam)

AI in 5G networks – Prof. Do Van Tien (Budapest University Of Technology And Economics, Hungary)

A New Paradigm – Assoc. Prof. Huynh Thanh Binh (Hanoi University of Science and Technology, Vietnam) – Evolutionary Multitasking

Performance Improvement of Industrial Motor Drives using Artificial-Intelligence based Control Techniques – Prof. Ta Cao Minh (Hanoi University of Science and Technology, Vietnam)

Dialogue Engine Algorithms for Personal Artificial Intelligence (P.A.I.) – Dr. Nguyen Tuan Duc (Alt, Vietnam)


[Download] Tạp chí Trí tuệ nhân tạo số 3

Tạp chí Trí tuệ nhân tạo số 3

Tạp chí Trí tuệ nhân tạo
Tạp chí Trí tuệ nhân tạo

Tháng 11 đã tới và đã đến lúc Tạp chí Trí tuệ Nhân tạo số mới được phát hành. Lý do số thứ 3 đến hôm nay mới được ra mắt vì lịch phát hành được ấn định mới vào thứ Hai đầu tiên của mỗi tháng.
Trong số thứ 3 này:

  • Chuyên mục Machine Learning tutorial sẽ được tiếp tục với những kiến thức chuyên sâu hơn về thuật toán Regression.
  • Chuyên mục Python sẽ giới thiệu về những thư viện Python cơ bản được dùng thường xuyên trong Machine Leaning và Data Science.
  • Phần Góc nhìn chuyên gia sẽ giới thiệu bài viết về phân đoạn thị trường của Công nghiệp Trí tuệ Nhân tạo.
  • Chuyên mục 2 Pages Paper sẽ nói về một nghiên cứu mang tính thực tế cao trong lĩnh vực Big Data và Applied Statistic là sử dụng các dữ liệu tiêu thụ ánh sáng ban đêm quan sát từ không gian để ước lượng tốc độ phát triển kinh tế.

Bạn có thể xem và tải miễn phí tại đây.