Jā, CycleGAN var lietot ne tikai attēliem, bet arī cita veida datiem. Lai gan sākotnējā CycleGAN arhitektūra tika izstrādāta tulkošanai no attēla uz attēlu, koncepciju var attiecināt arī uz cita veida datiem, piemēram:
1. Audio-audio tulkošana: CycleGAN var izmantot, lai pārtulkotu audio signālus no viena domēna uz citu, piemēram, pārtulkotu mūziku no viena žanra uz citu vai pārvēršot runu no vienas valodas citā[1].
2. Teksta pārvēršana tekstā: CycleGAN var izmantot teksta pārvēršanas uzdevumiem, piemēram, mašīntulkošanai vai teksta apkopošanai, izmantojot teksta pārveidošanas ģeneratoru un diskriminatoru[1].
3. Laikrindu tulkošana no vienas laika rindas: CycleGAN var izmantot, lai pārtulkotu laikrindu datus no viena domēna citā, piemēram, pārtulkotu akciju tirgus datus no viena tirgus uz citu vai konvertētu laikapstākļu datus no vienas vietas uz citu. [1].
4. 3D punktu mākoņu tulkošana 3D punktu mākoņos: CycleGAN var izmantot 3D punktu mākoņu datiem, piemēram, 3D punktu mākoņu pārveidošanai no viena sensora citā vai 3D punktu mākoņu pārvēršanai no viena formāta citā[1 ].
5. Tulkošana no grafika uz diagrammu: CycleGAN var izmantot, lai tulkotu diagrammas datus no viena domēna citā, piemēram, tulkotu sociālo tīklu datus no vienas platformas uz citu vai ķīmiskās struktūras datus no viena formāta citā[1. ].
Šiem paplašinājumiem ir jāpielāgo CycleGAN arhitektūra konkrētajam datu tipam un domēnam. Piemēram, ģeneratora un diskriminatora modeļiem jābūt izstrādātiem, lai tie apstrādātu datu tipa unikālās īpašības, piemēram, audio vai tekstu[1].
Ieviešanas piemēri
- Audio-audio tulkošana: CycleGAN audio-audio tulkošanai, izmantojot TensorFlow un Keras[2].- Teksta-teksta tulkošana: CycleGAN teksta tulkošanai, izmantojot PyTorch[3].
Atsauces:
- [1] https://www.aiproblog.com/index.php/2019/07/28/a-gentle-introduction-to-pix2pix-generative-adversarial-network/- [2] https://github.com/AquibPy/Cycle-GAN
- [3] https://github.com/simontomaskarlsson/CycleGAN-Keras
Citāts:
[1] https://blog.aiensured.com/transforming-images-with-cyclegan-and-pix2pix-exploring-generative-adversarial-networks/
[2] https://keras.io/examples/generative/cyclegan/
[3] https://github.com/AquibPy/Cycle-GAN
[4] https://github.com/simontomaskarlsson/CycleGAN-Keras
[5] https://towardsdatascience.com/cyclegan-how-machine-learning-learns-unpaired-image-to-image-translation-3fa8d9a6aa1d?gi=dbce9aca0724