DeepMind telah membuat AI penulisan perangkat lunak yang menyaingi pembuat kode manusia rata-rata

DeepMind telah membuat AI penulisan perangkat lunak yang menyaingi pembuat kode manusia rata-rata

Penulisan perangkat lunak : DeepMind, sebuah perusahaan AI yang berbasis di Inggris, telah mengajarkan beberapa mesinnya untuk menulis perangkat lunak komputer – dan kinerjanya hampir sama baiknya dengan rata-rata programmer manusia ketika dinilai dalam kompetisi.

Sistem AlphaCode baru diklaim oleh DeepMind mampu memecahkan masalah perangkat lunak yang membutuhkan kombinasi logika, pemikiran kritis, dan kemampuan memahami bahasa alami. Alat ini dimasukkan ke dalam 10 putaran di situs web kompetisi pemrograman Codeforces, di mana peserta manusia menguji keterampilan pengkodean mereka. Dalam 10 ronde ini, AlphaCode ditempatkan pada level pesaing median. DeepMind mengatakan ini adalah pertama kalinya sistem penulisan kode AI mencapai tingkat kinerja yang kompetitif dalam kontes pemrograman.

AlphaCode dibuat dengan melatih jaringan saraf pada banyak sampel pengkodean, yang bersumber dari repositori perangkat lunak GitHub dan peserta sebelumnya untuk kompetisi di Codeforces. Ketika disajikan dengan masalah baru, itu menciptakan sejumlah besar solusi dalam bahasa pemrograman C++ dan Python. Itu kemudian menyaring dan memberi peringkat ini ke dalam 10 besar. Ketika AlphaCode diuji dalam kompetisi, manusia menilai solusi ini dan mengirimkan yang terbaik dari mereka.

Menghasilkan kode adalah masalah yang sangat sulit bagi AI karena sulit untuk menilai seberapa dekat dengan keberhasilan keluaran tertentu. Kode yang mogok dan gagal mencapai tujuannya bisa menjadi satu karakter dari solusi yang berfungsi sempurna, dan beberapa solusi yang berfungsi dapat tampak sangat berbeda. Memecahkan kompetisi pemrograman juga membutuhkan AI untuk mengekstrak makna dari deskripsi masalah yang ditulis dalam bahasa Inggris.

GitHub milik Microsoft menciptakan alat serupa tetapi lebih terbatas tahun lalu yang disebut Copilot. Jutaan orang menggunakan GitHub untuk berbagi kode sumber dan mengatur proyek perangkat lunak. Kopilot mengambil kode itu dan melatih jaringan saraf dengannya, memungkinkannya memecahkan masalah pemrograman serupa.

Namun alat itu kontroversial karena banyak yang mengklaim bisa langsung menjiplak data pelatihan ini. Armin Ronacher di perusahaan perangkat lunak Sentry menemukan bahwa adalah mungkin untuk meminta Copilot menyarankan kode berhak cipta dari permainan komputer Quake III Arena 1999, lengkap dengan komentar dari pemrogram aslinya. Kode ini tidak dapat digunakan kembali tanpa izin.

Pada peluncuran Copilot, GitHub mengatakan bahwa sekitar 0,1 persen dari saran kodenya mungkin berisi “beberapa cuplikan” kode sumber kata demi kata dari set pelatihan. Perusahaan juga memperingatkan bahwa mungkin bagi Copilot untuk mengeluarkan data pribadi asli seperti nomor telepon, alamat email, atau nama, dan bahwa kode yang dikeluarkan mungkin menawarkan “hasil yang bias, diskriminatif, kasar, atau menyinggung” atau menyertakan kelemahan keamanan. Dikatakan bahwa kode harus diperiksa dan diuji sebelum digunakan.

AlphaCode, seperti Copilot, pertama kali dilatih tentang kode yang tersedia untuk umum yang dihosting di GitHub. Itu kemudian disempurnakan pada kode dari kompetisi pemrograman. DeepMind mengatakan bahwa AlphaCode tidak menyalin kode dari contoh sebelumnya. Mengingat contoh-contoh yang diberikan DeepMind dalam makalah pracetaknya, itu tampaknya memecahkan masalah sementara hanya menyalin sedikit lebih banyak kode dari data pelatihan daripada yang sudah dilakukan manusia, kata Riza Theresa Batista-Navarro di University of Manchester, Inggris.

Tetapi AlphaCode tampaknya telah disetel dengan sangat baik untuk memecahkan tantangan kompleks sehingga alat pengkodean AI sebelumnya masih dapat mengunggulinya pada tugas-tugas yang lebih sederhana, katanya.

“Apa yang saya perhatikan adalah, sementara AlphaCode mampu melakukan lebih baik daripada AI canggih seperti GPT dalam tantangan kompetisi, itu relatif buruk pada tantangan pengantar,” kata Batista-Navarro. “Asumsinya adalah bahwa mereka ingin melakukan masalah pemrograman tingkat kompetisi, untuk mengatasi masalah pemrograman yang lebih menantang daripada masalah pengantar. Tetapi ini tampaknya menunjukkan bahwa model itu telah disesuaikan dengan sangat baik pada masalah yang lebih rumit sehingga agak melupakan masalah tingkat pengantar.

DeepMind tidak tersedia untuk wawancara, tetapi Oriol Vinyals di DeepMind mengatakan dalam sebuah pernyataan: “Saya tidak pernah berharap ML [pembelajaran mesin] mencapai rata-rata manusia di antara para pesaing. Namun, ini menunjukkan bahwa masih ada pekerjaan yang harus dilakukan untuk mencapai tingkat kinerja tertinggi, dan memajukan kemampuan pemecahan masalah dari sistem AI kami.”

Pemrograman