S’pura lancar kit baharu bantu firma uji keselamatan, keandalan ejen AI

Satu kit ujian baharu dilancarkan bagi membantu pertubuhan menilai keselamatan dan keandalan ejen kecerdasan buatan (AI) yang mampu melaksanakan tugas dengan hanya memerlukan sedikit pengawasan manusia.

Kit ujian itu, antara beberapa alat yang dilancarkan kini bagi mengukuhkan kedudukan Singapura sebagai pusat ujian keselamatan AI bertaraf dunia, diperkenalkan ketika timbul laporan mengenai ejen AI yang bertindak di luar kawalan.

Set itu menggunakan pendekatan berstruktur untuk memeriksa sama ada ejen AI mencapai hasil yang betul dan bagaimana hasil itu diperoleh, kata Ketua Eksekutif (CE) Penguasa Pembangunan Infokom Media (IMDA), Encik Ng Cher Pong, yang mengumumkan pelancarannya pada 14 Oktober.

Kit permulaan bagi menguji keselamatan dan keandalan sistem ejen AI (Starter Kit for Testing Agentic Systems for Safety and Reliability) menyediakan panduan asas untuk mengenal pasti risiko, merangka ujian, meneliti rekod kegiatan ejen AI, memantau tingkah lakunya dan mengesahkan bahawa langkah perlindungan berkesan.

Kit itu khusus memeriksa alat dan maklumat yang digunakan ejen AI, keputusan yang dibuat, sebarang tindakan yang AI salah atau tidak dibenarkan, sama ada ejen AI mematuhi kebenaran yang diberikan dan had yang ditetapkan, serta keandalan langkah perlindungan.

Encik Ng berkata: “Apabila kita memberikan AI lebih kebebasan bertindak, kita memerlukan jaminan lebih kukuh tentang bagaimana kebebasan itu digunakan.

“Bagaimanakah kita menyediakan langkah perlindungan, bukti dan tanggungjawab yang jelas supaya kita yakin sistem ini akan bertindak seperti yang diharapkan?”

Beliau berkata demikian semasa acara AI Assurance Exchange: The Agentic AI Edition yang diadakan di Novotel Singapore on Steven pada 14 Oktober.

Acara itu anjuran persatuan teknologi SGTech dan Yayasan Pengesahan AI, anak syarikat IMDA yang menetapkan piawaian AI bersama sektor swasta.

Encik Ng mengetengahkan beberapa laporan mengenai ejen AI yang bertindak di luar kawalan sejak beberapa bulan lalu, termasuk ejen AI OpenAI yang sedang diuji tetapi berjaya menembusi sistem pemerintah Australia dan memperoleh maklumat bukan awam.

Dalam kes lain, ejen AI yang ditugaskan menempah kelas gimnasium di Australia menemui kelemahan dalam sistem tempahan lalu menggugurkan nama individu lain daripada giliran tempahan.

OpenAI mendedahkan pada Julai bahawa ejen AInya keluar daripada persekitaran ujian dan menceroboh pusat penyimpanan perisian AI Hugging Face untuk menyelesaikan tugas melalui serangan yang tidak dirancang oleh OpenAI.

Tidak lama kemudian, Anthropic, Meta dan Google turut melaporkan bahawa ejen AI mereka bertindak di luar kawalan dan menggodam organisasi lain.

Menurut IMDA dan Yayasan Pengesahan AI, tidak seperti AI biasa atau generatif, ejen AI mampu berfikir, bertindak bagi pihak pengguna, memperoleh data sensitif dan mengubah persekitaran operasinya.

Keupayaan ini boleh menimbulkan risiko baharu, justeru kit tersebut bertujuan membantu firma menanganinya.

Kit itu dibangunkan dengan kerjasama agensi pemerintah dan lebih 20 syarikat serta pihak industri yang menggunakan dan menjalankan ujian AI, termasuk Amazon, Google, Microsoft dan Singtel, serta Institut Keselamatan AI Singapura yang menilai model AI bagi mengenal pasti risiko keselamatan.

Kit itu turut memuatkan kajian kes sebenar yang menunjukkan cara menyesuaikan kaedah ujian mengikut sistem dan kegunaan berbeza. Ia akan dikemas kini berdasarkan maklum balas dan amalan terbaik baharu.