Ray adalah framework open source untuk menskalakan aplikasi AI dan Python. Ray menyediakan infrastruktur untuk melakukan komputasi terdistribusi dan pemrosesan paralel untuk alur kerja machine learning (ML) Anda.
Jika sudah menggunakan Ray, Anda dapat menggunakan kode Ray open source yang sama untuk menulis program dan mengembangkan aplikasi di Vertex AI dengan sedikit perubahan. Selanjutnya, Anda dapat menggunakan integrasi Vertex AI dengan layanan Google Cloud lainnya seperti Inferensi Vertex AI dan BigQuery sebagai bagian dari alur kerja machine learning Anda.
Jika sudah menggunakan Vertex AI dan membutuhkan cara yang lebih sederhana untuk mengelola resource komputasi, Anda dapat menggunakan kode Ray untuk menskalakan pelatihan.
Alur kerja untuk menggunakan Ray di Vertex AI
Gunakan Colab Enterprise dan Vertex AI SDK untuk Python guna terhubung ke Cluster Ray.
| Langkah | Deskripsi |
|---|---|
| 1. Melakukan penyiapan untuk Ray on Vertex AI | Siapkan project Google Anda, instal versi Vertex AI SDK untuk Python yang menyertakan fungsi Ray Client, dan siapkan jaringan peering VPC, yang bersifat opsional. |
| 2. Membuat cluster Ray on Vertex AI | Membuat cluster Ray on Vertex AI. Peran Administrator Vertex AI diperlukan. |
| 3. Mengembangkan aplikasi Ray on Vertex AI | Terhubung ke cluster Ray di Vertex AI dan kembangkan aplikasi. Peran Pengguna Vertex AI diperlukan. |
| 4. (Opsional) Menggunakan Ray di Vertex AI dengan BigQuery | Membaca, menulis, dan mengubah data dengan BigQuery. |
| 5. (Opsional) Men-deploy model di Vertex AI dan mendapatkan inferensi | Men-deploy model ke endpoint online Vertex AI dan mendapatkan inferensi. |
| 6. Memantau cluster Ray di Vertex AI | Pantau log yang dibuat di Cloud Logging dan metrik di Cloud Monitoring. |
| 7. Menghapus cluster Ray on Vertex AI | Hapus cluster Ray on Vertex AI untuk menghindari penagihan yang tidak perlu. |
Ringkasan
Cluster Ray dibuat untuk memastikan ketersediaan kapasitas untuk workload ML penting atau selama musim puncak. Tidak seperti tugas kustom, yang mengharuskan layanan pelatihan untuk merilis resource setelah tugas selesai, cluster Ray akan tetap tersedia hingga dihapus.
Catatan: Gunakan cluster Ray yang berjalan lama dalam skenario berikut:
- Jika mengirimkan tugas Ray yang sama beberapa kali, Anda bisa mendapatkan manfaat dari data dan cache gambar dengan menjalankan tugas tersebut pada cluster Ray yang berjalan lama yang sama.
- Jika Anda menjalankan banyak tugas Ray berjangka pendek dengan waktu pemrosesan sebenarnya lebih singkat daripada waktu startup tugas, sebaiknya gunakan cluster yang berjalan lama.
Cluster Ray on Vertex AI dapat disiapkan dengan konektivitas publik atau pribadi. Diagram berikut menunjukkan arsitektur dan alur kerja untuk Ray di Vertex AI. Lihat Konektivitas publik atau pribadi untuk mengetahui informasi selengkapnya.
Arsitektur dengan konektivitas publik
Buat cluster Ray di Vertex AI menggunakan opsi berikut:
a. Gunakan Google Cloud konsol untuk membuat cluster Ray on Vertex AI.
b. Buat cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python.
Hubungkan ke cluster Ray on Vertex AI untuk pengembangan interaktif menggunakan opsi berikut:
a. Gunakan Colab Enterprise di konsol Google Cloud untuk koneksi yang lancar.
b. Gunakan lingkungan Python apa pun yang dapat diakses oleh internet publik.
Kembangkan aplikasi Anda dan latih model Anda di cluster Ray di Vertex AI:
Gunakan Vertex AI SDK untuk Python di lingkungan pilihan Anda (notebook Colab Enterprise atau Python).
Tulis skrip Python menggunakan lingkungan pilihan Anda.
Kirimkan Ray Job ke cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python, Ray Job CLI, atau Ray Job Submission API.
Men-deploy model terlatih ke endpoint Vertex AI online untuk inferensi langsung.
Gunakan BigQuery untuk mengelola data Anda.
Arsitektur dengan VPC
Diagram berikut menunjukkan arsitektur dan alur kerja untuk Ray di Vertex AI setelah Anda menyiapkan Google Cloud project dan jaringan VPC, yang bersifat opsional:
Siapkan (a) project Google dan (b) jaringan VPC Anda.
Buat cluster Ray di Vertex AI menggunakan opsi berikut:
a. Gunakan Google Cloud konsol untuk membuat cluster Ray on Vertex AI.
b. Buat cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python.
Hubungkan ke cluster Ray di Vertex AI melalui jaringan yang di-peering VPC menggunakan opsi berikut:
Gunakan Colab Enterprise di konsolGoogle Cloud .
Menggunakan notebook Vertex AI Workbench.
Kembangkan aplikasi Anda dan latih model Anda di cluster Ray on Vertex AI menggunakan opsi berikut:
Gunakan Vertex AI SDK untuk Python di lingkungan pilihan Anda (notebook Colab Enterprise atau Vertex AI Workbench).
Tulis skrip Python menggunakan lingkungan pilihan Anda. Kirimkan Ray Job ke cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python, Ray Job CLI, atau dasbor Ray.
Men-deploy model terlatih ke endpoint Vertex AI online untuk inferensi.
Gunakan BigQuery untuk mengelola data Anda.
Terminologi
Untuk daftar lengkap istilah, lihat glosarium Vertex AI untuk AI prediktif.
-
autoscaling
- Penskalaan otomatis adalah kemampuan resource komputasi, seperti kumpulan pekerja cluster Ray, untuk menyesuaikan jumlah node secara otomatis ke atas atau ke bawah berdasarkan permintaan workload, sehingga mengoptimalkan penggunaan resource dan biaya. Untuk mengetahui informasi selengkapnya, lihat Menskalakan cluster Ray di Vertex AI: Penskalaan otomatis.
-
inferensi batch
- Inferensi batch mengambil sekumpulan permintaan inferensi dan mengeluarkan hasilnya dalam satu file. Untuk mengetahui informasi selengkapnya, lihat Ringkasan cara mendapatkan inferensi di Vertex AI.
-
BigQuery
- BigQuery adalah data warehouse perusahaan yang terkelola sepenuhnya, serverless, dan sangat skalabel yang disediakan oleh Google Cloud, yang dirancang untuk menganalisis set data besar menggunakan kueri SQL dengan kecepatan yang sangat tinggi. BigQuery memungkinkan business intelligence dan analisis yang canggih tanpa mengharuskan pengguna mengelola infrastruktur apa pun. Untuk mengetahui informasi selengkapnya, lihat Dari data warehouse hingga platform AI dan data otonom.
-
Cloud Logging
- Cloud Logging adalah layanan logging real-time yang terkelola sepenuhnya dan disediakan oleh Google Cloud yang memungkinkan Anda mengumpulkan, menyimpan, menganalisis, dan memantau log dari semua resource Google Cloud, aplikasi lokal, dan bahkan sumber kustom. Cloud Logging memusatkan pengelolaan log, sehingga memudahkan pemecahan masalah, audit, dan pemahaman tentang perilaku dan kondisi aplikasi serta infrastruktur Anda. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cloud Logging.
-
Colab Enterprise
- Colab Enterprise adalah lingkungan notebook Jupyter terkelola yang kolaboratif dan menghadirkan pengalaman pengguna Google Colab yang populer ke Google Cloud, serta menawarkan kemampuan kepatuhan dan keamanan tingkat perusahaan. Colab Enterprise memberikan pengalaman tanpa konfigurasi dan berfokus pada notebook, dengan resource komputasi yang dikelola oleh Vertex AI, serta terintegrasi dengan layanan Google Cloud lainnya seperti BigQuery. Untuk mengetahui informasi selengkapnya, lihat Pengantar Colab Enterprise.
-
image container kustom
- Image container kustom adalah paket mandiri yang dapat dieksekusi dan mencakup kode aplikasi pengguna, runtime, library, dependensi, dan konfigurasi lingkungannya. Dalam konteks Google Cloud, khususnya Vertex AI, hal ini memungkinkan pengguna memaketkan kode pelatihan machine learning atau aplikasi penayangan dengan dependensi yang tepat, sehingga memastikan reproduksibilitas dan memungkinkan pengguna menjalankan beban kerja di layanan terkelola menggunakan versi software tertentu atau konfigurasi unik yang tidak disediakan oleh lingkungan standar. Untuk mengetahui informasi selengkapnya, lihat Persyaratan container kustom untuk inferensi.
-
endpoint
- Resource tempat Anda dapat men-deploy model terlatih untuk menayangkan inferensi. Untuk mengetahui informasi selengkapnya, lihat Memilih jenis endpoint.
-
Izin Identity and Access Management (IAM)
- Izin Identity and Access Management (IAM) adalah kemampuan terperinci tertentu yang menentukan siapa yang dapat melakukan tindakan apa pada resource Google Cloud tertentu. Peran ditetapkan ke kepala sekolah (seperti pengguna, grup, atau akun layanan) melalui peran, sehingga memungkinkan kontrol yang tepat atas akses ke layanan dan data dalam project atau organisasi Google Cloud. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses dengan IAM.
-
inferensi
- Dalam konteks platform Vertex AI, inferensi mengacu pada proses menjalankan titik data melalui model machine learning untuk menghitung output, seperti satu skor numerik. Proses ini juga dikenal sebagai "mengoperasikan model machine learning" atau "memasukkan model machine learning ke dalam produksi". Inferensi adalah langkah penting dalam alur kerja machine learning, karena memungkinkan model digunakan untuk membuat inferensi pada data baru. Di Vertex AI, inferensi dapat dilakukan dengan berbagai cara, termasuk inferensi batch dan inferensi online. Inferensi batch melibatkan menjalankan sekelompok permintaan inferensi dan menghasilkan hasilnya dalam satu file, sedangkan inferensi online memungkinkan inferensi real-time pada setiap titik data.
-
Network File System (NFS)
- Sistem klien/server yang memungkinkan pengguna mengakses file di seluruh jaringan dan memperlakukannya seolah-olah berada di direktori file lokal. Untuk mengetahui informasi selengkapnya, lihat Memasang berbagi secara NFS untuk pelatihan kustom.
-
Inferensi online
- Mendapatkan inferensi pada setiap instance secara serentak. Untuk mengetahui informasi selengkapnya, lihat Inferensi online.
-
resource persisten
- Jenis resource komputasi Vertex AI, seperti cluster Ray, yang tetap dialokasikan dan tersedia hingga dihapus secara eksplisit, yang bermanfaat untuk pengembangan iteratif dan mengurangi overhead startup antar-tugas. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan informasi resource persisten.
-
pipeline
- Pipeline ML adalah alur kerja ML portabel dan skalabel yang didasarkan pada container. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI Pipelines.
-
Container bawaan
- Image container yang disediakan oleh Vertex AI yang telah diinstal sebelumnya dengan framework dan dependensi ML umum, sehingga menyederhanakan penyiapan untuk tugas pelatihan dan inferensi. Untuk mengetahui informasi selengkapnya, lihat Container bawaan untuk pelatihan khusus .
-
Private Service Connect (PSC)
- Private Service Connect adalah teknologi yang memungkinkan pelanggan Compute Engine memetakan IP pribadi di jaringan mereka ke jaringan VPC lain atau ke Google API. Untuk mengetahui informasi selengkapnya, lihat Private Service Connect.
-
Cluster Ray di Vertex AI
- Cluster Ray di Vertex AI adalah cluster node komputasi terkelola yang dapat digunakan untuk menjalankan aplikasi machine learning (ML) dan Python terdistribusi. Ray menyediakan infrastruktur untuk melakukan komputasi terdistribusi dan pemrosesan paralel untuk alur kerja ML Anda. Cluster Ray dibangun ke dalam Vertex AI untuk memastikan ketersediaan kapasitas untuk workload ML penting atau selama musim puncak. Tidak seperti tugas kustom, yang mengharuskan layanan pelatihan untuk merilis resource setelah tugas selesai, cluster Ray akan tetap tersedia hingga dihapus. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Ray di Vertex AI.
-
Ray on Vertex AI (RoV)
- Ray on Vertex AI dirancang agar Anda dapat menggunakan kode Ray open source yang sama untuk menulis program dan mengembangkan aplikasi di Vertex AI dengan sedikit perubahan. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Ray di Vertex AI.
-
Ray on Vertex AI SDK untuk Python
- Ray on Vertex AI SDK untuk Python adalah versi Vertex AI SDK untuk Python yang menyertakan fungsi Ray Client, konektor Ray BigQuery, pengelolaan cluster Ray di Vertex AI, dan inferensi di Vertex AI. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI SDK untuk Python.
-
Ray on Vertex AI SDK untuk Python
- Ray on Vertex AI SDK untuk Python adalah versi Vertex AI SDK untuk Python yang menyertakan fungsi Ray Client, konektor Ray BigQuery, pengelolaan cluster Ray di Vertex AI, dan inferensi di Vertex AI. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI SDK untuk Python.
-
akun layanan
- Akun layanan adalah akun Google Cloud khusus yang digunakan oleh aplikasi atau virtual machine untuk melakukan panggilan API yang diotorisasi ke layanan Google Cloud. Tidak seperti akun pengguna, akun layanan tidak terikat dengan manusia, tetapi bertindak sebagai identitas untuk kode Anda, sehingga memungkinkan akses yang aman dan terprogram ke resource tanpa memerlukan kredensial manusia. Untuk mengetahui informasi selengkapnya, lihat Ringkasan akun layanan.
-
Vertex AI Workbench
- Vertex AI Workbench adalah lingkungan pengembangan terpadu berbasis notebook Jupyter yang mendukung seluruh alur kerja data science, mulai dari eksplorasi dan analisis data hingga pengembangan, pelatihan, dan deployment model. Vertex AI Workbench menyediakan infrastruktur terkelola dan skalabel dengan integrasi bawaan ke layanan Google Cloud lainnya seperti BigQuery dan Cloud Storage, sehingga memungkinkan ilmuwan data melakukan tugas machine learning secara efisien tanpa mengelola infrastruktur yang mendasarinya. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI Workbench.
-
worker node
- Node pekerja mengacu pada mesin atau instance komputasi individual dalam cluster yang bertanggung jawab untuk menjalankan tugas atau melakukan pekerjaan. Dalam sistem seperti cluster Kubernetes atau Ray, node adalah unit komputasi dasar.
-
kumpulan pekerja
- Komponen cluster Ray yang menjalankan tugas terdistribusi. Kumpulan worker dapat dikonfigurasi dengan jenis mesin tertentu dan mendukung penskalaan otomatis dan penskalaan manual. Untuk mengetahui informasi selengkapnya, lihat Struktur cluster pelatihan.
Harga
Harga untuk Ray on Vertex AI dihitung sebagai berikut:
Resource komputasi yang Anda gunakan akan ditagih berdasarkan konfigurasi mesin yang Anda pilih saat membuat cluster Ray di Vertex AI. Untuk mengetahui harga Ray on Vertex AI, lihat halaman harga.
Untuk cluster Ray, Anda hanya ditagih selama status RUNNING dan UPDATING. Tidak ada negara bagian lain yang dikenai biaya. Jumlah yang ditagih didasarkan pada ukuran cluster sebenarnya saat ini.
Saat Anda melakukan tugas menggunakan cluster Ray di Vertex AI, log akan otomatis dibuat dan ditagih berdasarkan harga Cloud Logging.
Jika Anda men-deploy model ke endpoint untuk inferensi online, lihat bagian "Prediksi dan penjelasan" di halaman harga Vertex AI.
Jika Anda menggunakan BigQuery dengan Ray di Vertex AI, lihat harga BigQuery.