InterChat: Meningkatkan Analisis Visual Generatif menggunakan Interaksi Multimodal

Abstrak
Meningkatnya Large Language Models (LLM) dan sistem analitik visual generatif telah mengubah wawasan berbasis data, namun tantangan signifikan tetap ada dalam menafsirkan maksud analitis dan interaksi pengguna secara akurat. Meskipun masukan bahasa menawarkan fleksibilitas, masukan tersebut sering kali kurang presisi, sehingga ekspresi maksud yang kompleks menjadi tidak efisien, rawan kesalahan, dan memakan waktu. Untuk mengatasi keterbatasan ini, kami menyelidiki ruang desain interaksi multimoda untuk analitik visual generatif melalui tinjauan pustaka dan sesi curah pendapat percontohan. Berdasarkan wawasan ini, kami memperkenalkan alur kerja yang sangat dapat diperluas yang mengintegrasikan beberapa agen LLM untuk inferensi maksud dan pembuatan visualisasi. Kami mengembangkan InterChat, sistem analitik visual generatif yang menggabungkan manipulasi langsung elemen visual dengan masukan bahasa alami. Integrasi ini memungkinkan komunikasi maksud yang tepat dan mendukung analisis data eksploratif yang progresif dan didorong secara visual. Dengan menggunakan rekayasa perintah yang efektif, dan penautan interaksi kontekstual, di samping visualisasi intuitif dan desain interaksi, InterChat menjembatani kesenjangan antara interaksi pengguna dan visualisasi yang didorong LLM, meningkatkan baik interpretabilitas maupun kegunaan. Evaluasi yang luas, termasuk dua skenario penggunaan, studi pengguna, dan umpan balik pakar, menunjukkan keefektifan InterChat. Hasil menunjukkan peningkatan signifikan dalam akurasi dan efisiensi penanganan tugas analisis visual yang kompleks, yang menyoroti potensi interaksi multimoda untuk mendefinisikan ulang keterlibatan pengguna dan kedalaman analisis dalam analisis visual generatif.