source: lliurex-store/trunk/fuentes/python3-lliurex-store.install/usr/share/lliurexstore/plugins/snapManager.py @ 8185

Last change on this file since 8185 was 8185, checked in by Juanma, 13 months ago

improved cache icons

File size: 12.0 KB
Line 
1#The name of the main class must match the file name in lowercase
2import os
3import urllib
4import shutil
5import gi
6from gi.repository import Gio
7gi.require_version ('Snapd', '1')
8from gi.repository import Snapd
9gi.require_version('AppStreamGlib', '1.0')
10from gi.repository import AppStreamGlib as appstream
11import time
12import html
13import threading
14from queue import Queue as pool
15#Needed for async find method, perhaps only on xenial
16wrap=Gio.SimpleAsyncResult()
17class snapmanager:
18       
19        def __init__(self):
20                self.dbg=False
21                self.progress=0
22                self.partial_progress=0
23                self.plugin_actions={'install':'snap','remove':'snap','pkginfo':'snap','load':'snap'}
24                self.cache_dir=os.getenv("HOME")+"/.cache/lliurex-store"
25                self.cache_xmls=self.cache_dir+'/xmls/snap'
26                self.cache_last_update=self.cache_xmls+'/.snap.lu'
27                self.icons_folder=self.cache_dir+"/icons"
28                self.images_folder=self.cache_dir+"/images"
29                self.result={}
30                self.result['data']={}
31                self.result['status']={}
32                self.disabled=False
33                self.icon_cache_enabled=True
34                self.image_cache_enabled=True
35                self.cli_mode=False
36                if not os.path.isdir(self.icons_folder):
37                        try:
38                                os.makedirs(self.icons_folder)
39                        except:
40                                self.icon_cache_enabled=False
41                                self._debug("Icon cache disabled")
42                if not os.path.isdir(self.images_folder):
43                        try:
44                                os.makedirs(self.images_folder)
45                        except:
46                                self.image_cache_enabled=False
47                                self._debug("Image cache disabled")
48        #def __init__
49
50        def set_debug(self,dbg=True):
51                self.dbg=dbg
52                self._debug ("Debug enabled")
53        #def set_debug
54
55        def _debug(self,msg=''):
56                if self.dbg:
57                        print ('DEBUG snap: %s'%msg)
58        #def debug
59
60        def register(self):
61                return(self.plugin_actions)
62
63        def enable(self,state=False):
64                self.disabled=state
65
66        def execute_action(self,action,applist=None,store=None,results=0):
67                if store:
68                        self.store=store
69                else:
70                        self.store=appstream.Store()
71                self.progress=0
72                self.result['status']={'status':-1,'msg':''}
73                self.result['data']=''
74               
75
76                if self.disabled==True:
77                        self._set_status(9)
78                        self.result['data']=self.store
79                else:
80                        self._check_dirs()
81                        self.snap_client=Snapd.Client()
82                        self.snap_client.connect_sync(None)
83                        dataList=[]
84                        if action=='load':
85                                self.result['data']=self._load_snap_store(self.store)
86                        else:
87                                for app_info in applist:
88                                        self.partial_progress=0
89                                        if action=='install':
90                                                dataList.append(self._install_snap(app_info))
91                                        if action=='remove':
92                                                dataList.append(self._remove_snap(app_info))
93                                        if action=='pkginfo':
94                                                dataList.append(self._get_info(app_info))
95                                        self.progress+=round(self.partial_progress/len(applist),1)
96                                        if self.progress>98:
97                                                self.progress=98
98                                self.result['data']=list(dataList)
99                self.progress=100
100                return(self.result)
101
102        def _set_status(self,status,msg=''):
103                self.result['status']={'status':status,'msg':msg}
104        #def _set_status
105
106        def _callback(self,client,change, _,user_data):
107            # Interate over tasks to determine the aggregate tasks for completion.
108            total = 0
109            done = 0
110            for task in change.get_tasks():
111                total += task.get_progress_total()
112                done += task.get_progress_done()
113            self.progress = round((done/total)*100)
114        #def _callback
115
116        def _check_dirs(self):
117                if not os.path.isdir(self.cache_xmls):
118                        os.makedirs(self.cache_xmls)
119
120        def _load_snap_store(self,store):
121                pkgs=[]
122                #Look if cache is up-to-date
123                if os.path.isfile(self.cache_last_update):
124                        epoch_time=time.time()
125                        fcache=open(self.cache_last_update,'r')
126                        fcache_update=fcache.read()
127                        if not fcache_update:
128                                fcache_update=0
129                        if int(epoch_time)-int(fcache_update)<86400:
130                                if os.listdir(os.path.dirname(self.cache_xmls)):
131                                        self._debug("Loading snap from cache")
132                                        store=self._load_from_cache(store)
133                                        return store
134
135                fcache=open(self.cache_last_update,'w')
136                fcache.write(str(int(time.time())))
137                pkgs=self._load_sections()
138                self._set_status(1)
139                store_pool=pool()
140                for pkg in pkgs:
141                        maxconnections = 10
142                        threads=[]
143                        semaphore = threading.BoundedSemaphore(value=maxconnections)
144                        th=threading.Thread(target=self._th_load_store, args = (store_pool,pkg,semaphore))
145                        threads.append(th)
146                        th.start()
147                for thread in threads:
148                        try:
149                                thread.join()
150                        except:
151                                pass
152                while store_pool.qsize():
153                        store.add_app(store_pool.get())
154                return(store)
155
156        def _th_load_store(self,store,pkg,semaphore):
157                semaphore.acquire()
158                app=self.store.get_app_by_pkgname(pkg.get_name())
159                if not app:
160                        self._debug("Searching for %s"%pkg.get_name())
161                        app=self.store.get_app_by_id(pkg.get_name().lower()+".desktop")
162                        if app:
163                                bundle=appstream.Bundle()
164                                bundle.set_kind(bundle.kind_from_string('SNAP'))
165                                bundle.set_id(pkg.get_name()+'.snap')
166                                app.add_bundle(bundle)
167                                app.add_category("Snap")
168                                store.put(self._generate_appstream_app_from_snap(pkg))
169                        else:
170                                store.put(self._generate_appstream_app_from_snap(pkg))
171                semaphore.release()
172
173        def _load_from_cache(self,store):
174                for target_file in os.listdir(self.cache_xmls):
175                        if target_file.endswith('.xml'):
176                                store_file=Gio.File.new_for_path(self.cache_xmls+'/'+target_file)
177                                self._debug("Adding file %s/%s"%(self.cache_xmls,target_file))
178                                try:
179                                        store.from_file(store_file,'',None)
180                                except Exception as e:
181                                        self._debug("Couldn't add file %s to store"%target_file)
182                                        self._debug("Reason: %s"%e)
183                return store   
184
185        def _generate_appstream_app_from_snap(self,pkg):
186                bundle=appstream.Bundle()
187                app=appstream.App()
188                icon=appstream.Icon()
189                screenshot=appstream.Screenshot()
190#               bundle.set_kind(appstream.BundleKind.SNAP)
191                bundle.set_kind(bundle.kind_from_string('SNAP'))
192                bundle.set_id(pkg.get_name()+'.snap')
193                app.add_bundle(bundle)
194                app.set_name("C",pkg.get_name()+'.snap')
195                app.add_pkgname(pkg.get_name()+'.snap')
196                app.add_category("Snap")
197                release=appstream.Release()
198                release.set_version(pkg.get_version())
199                app.add_release(release)
200                app.set_id("io.snapcraft.%s"%pkg.get_name()+'.snap')
201                app.set_id_kind=appstream.IdKind.DESKTOP
202                app.set_metadata_license("CC0-1.0")
203                description="This is an Snap bundle. It hasn't been tested by our developers and comes from a 3rd party dev team. Please use it carefully."
204                pkg_description=pkg.get_description()
205                pkg_description=html.escape(pkg_description,quote=True)
206                pkg_description=pkg_description.replace("<","&gt;")
207                app.set_description("C","<p>%s</p><p>%s</p>"%(description,pkg_description))
208                app.set_comment("C",pkg.get_summary().rstrip('.'))
209
210                app.add_keyword("C",pkg.get_name())
211                for word in pkg.get_summary().split(' '):
212                        if len(word)>3:
213                                app.add_keyword("C",word)
214
215                if pkg.get_icon():
216                        if self.icon_cache_enabled:
217                                icon.set_kind(appstream.IconKind.LOCAL)
218                                icon.set_filename(self._download_file(pkg.get_icon(),pkg.get_name(),self.icons_folder))
219                        else:
220                                icon.set_kind(appstream.IconKind.REMOTE)
221                                icon.set_name(pkg.get_icon())
222                                icon.set_url(pkg.get_icon())
223                        app.add_icon(icon)
224
225                if pkg.get_license():
226                        app.set_project_license(pkg.get_license())
227
228                if pkg.get_screenshots():
229                        for snap_screen in pkg.get_screenshots():
230                                img=appstream.Image()
231                                img.set_kind(appstream.ImageKind.SOURCE)
232                                img.set_url(snap_screen.get_url())
233                                break
234                        screenshot.add_image(img)
235                        app.add_screenshot(screenshot)
236
237                if not os.path.isfile(self.cache_xmls+'/'+app.get_id_filename()):
238                        xml_path='%s/%s.xml'%(self.cache_xmls,app.get_id_filename())
239                        gioFile=Gio.File.new_for_path(xml_path)
240                        app.to_file(gioFile)
241                        #Fix some things in app_file...
242                        xml_file=open(xml_path,'r',encoding='utf-8')
243                        xml_data=xml_file.readlines()
244                        xml_file.close()
245                        self._debug("fixing %s"%xml_path)
246                        try:
247                                xml_data[0]=xml_data[0]+"<components>\n"
248                                xml_data[-1]=xml_data[-1]+"\n"+"</components>"
249                        except:
250                                pass
251                        xml_file=open(xml_path,'w')
252                        xml_file.writelines(xml_data)
253                        xml_file.close()
254                return(app)
255
256        def _search_cb(self,obj,request,*args):
257                global wrap
258                wrap=request
259
260        def _load_sections(self):
261                sections=self.snap_client.get_sections_sync()
262                stable_pkgs=[]
263                for section in sections:
264                        apps=self.snap_client.find_section_sync(Snapd.FindFlags.MATCH_NAME,section,None)
265                        for pkg in apps:
266                                stable_pkgs.append(pkg)
267                return(stable_pkgs)
268
269        def _search_snap_async(self,tokens,force_stable=True):
270                self._debug("Async Searching %s"%tokens)
271                pkgs=None
272                global wrap
273                self.snap_client.find_async(Snapd.FindFlags.MATCH_NAME,
274                                                        tokens,
275                                                        None,
276                                                        self._search_cb,(None,),None)
277                while 'Snapd' not in str(type(wrap)):
278                        time.sleep(0.1)
279                snaps=self.snap_client.find_finish(wrap)
280                if type(snaps)!=type([]):
281                        pkgs=[snaps]
282                else:
283                        pkgs=snaps
284                stable_pkgs=[]
285                for pkg in pkgs:
286                        if force_stable:
287                                if pkg.get_channel()=='stable':
288                                        stable_pkgs.append(pkg)
289                                else:
290                                        self._debug(pkg.get_channel())
291                        else:
292                                stable_pkgs.append(pkg)
293                return(stable_pkgs)
294
295        def _search_snap(self,tokens,force_stable=True):
296                self._debug("Searching %s"%tokens)
297                pkg=None
298                pkgs=None
299                try:
300                        pkgs=self.snap_client.find_sync(Snapd.FindFlags.MATCH_NAME,tokens,None)
301                except Exception as e:
302                        print("ERR: %s"%e)
303                        self._set_status(1)
304                stable_pkgs=[]
305                for pkg in pkgs:
306                        if force_stable:
307                                if pkg.get_channel()=='stable':
308                                        stable_pkgs.append(pkg)
309                                else:
310                                        self._debug(pkg.get_channel())
311                        else:
312                                stable_pkgs.append(pkg)
313                self._debug("Done")
314                return(stable_pkgs)
315        #def _search_snap
316
317        def _download_file(self,url,app_name,dest_dir):
318                target_file=dest_dir+'/'+app_name+".png"
319                if not os.path.isfile(target_file):
320                        if not os.path.isfile(target_file):
321                                self._debug("Downloading %s to %s"%(url,target_file))
322                                try:
323                                        with urllib.request.urlopen(url) as response, open(target_file, 'wb') as out_file:
324                                                bf=16*1024
325                                                acumbf=0
326                                                file_size=int(response.info()['Content-Length'])
327                                                while True:
328                                                        if acumbf>=file_size:
329                                                            break
330                                                        shutil.copyfileobj(response, out_file,bf)
331                                                        acumbf=acumbf+bf
332                                        st = os.stat(target_file)
333                                except Exception as e:
334                                        self._debug("Unable to download %s"%url)
335                                        self._debug("Reason: %s"%e)
336                                        target_file=''
337                return(target_file)
338        #def _download_file
339
340
341        def _get_info(self,app_info):
342                #switch to launch async method when running under a gui
343                #For an unknown reason request will block when sync mode under a gui and async blocks when on cli (really funny)
344                self._debug("Getting info for %s"%app_info)
345                pkg=None
346                try:
347                        pkg=self.snap_client.list_one_sync(app_info['package'].replace('.snap',''))
348                        app_info['state']='installed'
349                        pkgs=[pkg]
350                except:
351                        app_info['state']='available'
352                        if self.cli_mode:
353                                pkgs=self._search_snap(app_info['package'].replace('.snap',''),force_stable=False)
354                        else:
355                                pkgs=self._search_snap_async(app_info['package'].replace('.snap',''),force_stable=False)
356                        self._debug("Getting extended info for %s %s"%(app_info['package'],pkgs))
357                if type(pkgs)==type([]):
358                        for pkg in pkgs:
359                                self._debug("Getting extended info for %s"%app_info['name'])
360                                if pkg.get_download_size():
361                                        app_info['size']=str(pkg.get_download_size())
362                                elif pkg.get_installed_size():
363                                        app_info['size']=str(pkg.get_installed_size())
364                                else:
365                                        app_info['size']="-1"
366                                break
367                else:
368                        app_info['size']='0'
369                self._debug("Info for %s"%app_info)
370                self.partial_progress=100
371                return(app_info)
372        #def _get_info
373
374        def _install_snap(self,app_info):
375                self._debug("Installing %s"%app_info['name'])
376                if app_info['state']=='installed':
377                        self._set_status(4)
378                else:
379                        try:
380                                self.snap_client.install_sync(app_info['name'].replace('.snap',''),
381                        None, # channel
382                        self._callback, (None,),
383                        None) # cancellable
384                                app_info['state']='installed'
385                                self._set_status(0)
386                        except Exception as e:
387                                print("Install error %s"%e)
388                                self._set_status(5)
389
390                self._debug("Installed %s"%app_info)
391                return app_info
392        #def _install_snap
393
394        def _remove_snap(self,app_info):
395                if app_info['state']=='available':
396                        self._set_status(3)
397                else:
398                        try:
399                                self.snap_client.remove_sync(app_info['name'].replace('.snap',''),
400                       self._callback, (None,),
401                                                None) # cancellable
402                                app_info['state']='available'
403                                self._set_status(0)
404                        except Exception as e:
405                                print("Remove error %s"%e)
406                                self._set_status(6)
407                return app_info
408        #def _remove_snap
Note: See TracBrowser for help on using the repository browser.