Bilgisayar Kullanımı, Yapay Zeka Asistanı'nın Netsim penceresinin ekran görüntüsünü görerek fare ve klavyeyle ekranda işlem yapmasıdır: "bu cari kartın telefonunu 0212… yap", "stok listesinde X'i bul ve aç" gibi istekler bu yetenekle yerine getirilir. Yetenek kapalıyken asistan ekranı görmez ve ekrana dokunmaz. Bu sayfa yeteneğin nasıl açıldığını, izin akışını, asistanın neleri yapıp yapamadığını ve nasıl durdurulduğunu anlatır.
Yeteneği açmak
- Asistanın ayarlar bölümünde Yetenekler listesinden Bilgisayar Kullanımı işaretlenir. İşaretli değilse bu yetenek modele hiç sunulmaz. Ayar sohbet sırasında da değiştirilebilir; her istekten önce yeniden okunur.
- Asistanın Araç kullanımı ayarı Kullanma ise bilgisayar kullanımı da çalışmaz.
- Yalnız 64 bit NetsimApp'te ve Netsim penceresi birincil monitördeyken kullanılabilir; pencere ikinci bir monitördeyse ya da program 32 bit ise asistan bunu cevabında bildirir ve bilgisayar kullanımını bırakır.
İzin akışı
Her cevapta, asistan ilk eylemini yapmadan önce bir izin penceresi açılır; Araç kullanımı Onay Beklemeden Kullan seçili olsa da bu pencere açılır. Pencere asistanın bu cevap boyunca Netsim penceresinin ekran görüntüsünü seçili yapay zekâ sağlayıcısına göndereceğini ve fareyle klavyeyi kullanacağını (en çok 40 adım) bildirir; "İzin veriliyor mu?" sorusuna Evet denince:
- Netsim ana penceresi öne alınır (küçültülmüşse geri getirilir), asistanın hedef formu öne alınır ve klavye odağı oraya geçer.
- Asistan önce ekran görüntüsü alır, sonra adım adım ilerler; her adımdan sonra sonucu görmek için yeni görüntü alır.
Hayır denirse bu cevapta hiçbir eylem yapılmaz; asistan durumu anlatır. Verilen izin yalnız o cevap için geçerlidir; bir sonraki mesajda yeniden sorulur.
Gizlilik: Ekran görüntüsü, yalnız Netsim ana penceresini kapsasa da ekranda o an görünen her bilgiyi (cari, personel, tutar vb.) yapay zekâ sağlayıcısına gönderir. Hassas bir ekran açıkken izin verilip verilmeyeceği buna göre değerlendirilmelidir.
Asistanın yapabildikleri
- Ekran görüntüsü almak (görüntüde fare imleci ve bir koordinat ızgarası işaretlidir).
- Sol, sağ, çift ve üçlü tıklama; fareyi bir noktaya götürme; sürükleyip bırakma; fare tekerleğiyle kaydırma.
- Odaktaki alana metin yazma; F1–F12, Ctrl+A, Ctrl+S gibi tuş bileşimleri göndermek.
- Bir işlemin tamamlanmasını beklemek.
Asistan, Netsim pencerelerinde bir kullanıcının yapabildiği her şeyi yapabilir; ekranın Kaydet gibi düğmelerine de basabilir. Bu yüzden izin verilen cevap boyunca ekran izlenmeli, beklenmeyen bir adımda asistan durdurulmalıdır (aşağıya bakınız).
Asistanın yapamadıkları
- Yapay zekâ asistanı penceresine tıklayamaz; eylem hedef ekranda yapılmalıdır.
- Netsim dışındaki uygulamalara ve masaüstüne dokunamaz; tıklama Netsim penceresinin dışındaysa reddedilir.
- Ana pencerenin başlık çubuğuna ve düğmelerine (kapat, küçült, büyüt) dokunamaz.
- Klavye odağı asistan penceresindeyken yazamaz; önce hedef ekranda bir alana tıklaması gerekir.
- Windows tuşu, Alt+Tab, Alt+F4, Ctrl+Esc ve Ctrl+Alt+Del gibi uygulamadan çıkaran ya da onu kapatan bileşimler yasaktır.
Reddedilen eylemin nedeni asistana bildirilir; asistan başka bir yol dener ya da durumu kullanıcıya anlatır.
Durdurmak ve sınırlar
- Fareyi oynatmak yeter: Asistan bir adımdan sonra imlecin kullanıcı tarafından belirgin biçimde hareket ettirildiğini görürse bir sonraki adımda durur.
- Asistandaki İptal düğmesi de bilgisayar kullanımını keser.
- Bir cevapta en çok 40 adım atılır; her eylem ve her ekran görüntüsü bir adımdır. Sınır dolunca asistan o cevapta başka eylem yapmaz.
- Durdurulan asistan ne yaptığını ve neyin yarım kaldığını cevabında anlatır; yarım kalan işlem ekranda kullanıcı tarafından tamamlanır ya da geri alınır.
Her eylem işlem günlüğüne Bilgisayar Kullanımı kaynağıyla yazılır.
Ekrana tıklamadan kayıt girişi
Yeni bir kayıt girmek için bilgisayar kullanımı şart değildir. Asistan belirli kayıt ekranlarını doğrudan açıp doldurabilir; bu yol ekran görüntüsü göndermez, izin penceresi açmaz ve daha hızlıdır:
- Ekranlar: cari kart, stok kartı, satış siparişi, satış teklifi, nakit tahsilat ve nakit ödeme. Ekran yeni kayıtla ya da kodu/numarası verilen kayıtla açılır ve asistanın hedef formu olur; hedef formda açık olan başka bir ekranın alanları da doldurulabilir.
- Asistan ekranda görünen ve düzenlenebilir alanları verilen bilgilerle doldurur; sipariş ve teklife satır ekler. Yeni kayıtta ekranın kendi seçim penceresi (cari tipi, stok tipi gibi) açılabilir; kullanıcı seçene kadar asistan bekler.
- Asistanın girdiği kayıt Giriş durumundadır; onay ve durum değişikliği her zaman kullanıcıya aittir. Kart ve tahsilat/ödeme gibi satırı olmayan ekranlarda asistan kaydetmez: kayıt kontrol edilip Kaydet ile kullanıcı tarafından kaydedilir, vazgeçilirse ekran kaydetmeden kapatılır. Belgeye satır eklendiğinde belge ve satırları Giriş durumunda kaydedilir.
- Bulamadığı kod ya da alana uymayan değer yazılmaz, değeri uymayan satır eklenmez; asistan bunları cevabında bildirir.
Bilgisayar kullanımı, bu listede olmayan ekranlar ve ekranda bir şey bulup seçmek, düğmeye basmak gibi işler için kullanılır.
Ayrıca bakınız