source: lliurex-store/trunk/fuentes/python3-lliurex-store.install/usr/share/lliurexstore/plugins/snapManager.py @ 8180

Last change on this file since 8180 was 8180, checked in by Juanma, 14 months ago

improved performance

File size: 12.0 KB
Line 
1#The name of the main class must match the file name in lowercase
2import os
3import urllib
4import shutil
5import gi
6from gi.repository import Gio
7gi.require_version ('Snapd', '1')
8from gi.repository import Snapd
9gi.require_version('AppStreamGlib', '1.0')
10from gi.repository import AppStreamGlib as appstream
11import time
12import html
13import threading
14from queue import Queue as pool
15#Needed for async find method, perhaps only on xenial
16wrap=Gio.SimpleAsyncResult()
17class snapmanager:
18       
19        def __init__(self):
20                self.dbg=False
21                self.progress=0
22                self.partial_progress=0
23                self.plugin_actions={'install':'snap','remove':'snap','pkginfo':'snap','load':'snap'}
24                self.cache_dir=os.getenv("HOME")+"/.cache/lliurex-store"
25                self.cache_xmls=self.cache_dir+'/xmls/snap'
26                self.cache_last_update=self.cache_xmls+'/.snap.lu'
27                self.icons_folder=self.cache_dir+"/icons"
28                self.images_folder=self.cache_dir+"/images"
29                self.result={}
30                self.result['data']={}
31                self.result['status']={}
32                self.disabled=False
33                self.icon_cache_enabled=True
34                self.image_cache_enabled=True
35                self.cli_mode=False
36                if not os.path.isdir(self.icons_folder):
37                        try:
38                                os.makedirs(self.icons_folder)
39                        except:
40                                self.icon_cache_enabled=False
41                                self._debug("Icon cache disabled")
42                if not os.path.isdir(self.images_folder):
43                        try:
44                                os.makedirs(self.images_folder)
45                        except:
46                                self.image_cache_enabled=False
47                                self._debug("Image cache disabled")
48        #def __init__
49
50        def set_debug(self,dbg=True):
51                self.dbg=dbg
52                self._debug ("Debug enabled")
53        #def set_debug
54
55        def _debug(self,msg=''):
56                if self.dbg:
57                        print ('DEBUG snap: %s'%msg)
58        #def debug
59
60        def register(self):
61                return(self.plugin_actions)
62
63        def enable(self,state=False):
64                self.disabled=state
65
66        def execute_action(self,action,applist=None,store=None,results=0):
67                if store:
68                        self.store=store
69                else:
70                        self.store=appstream.Store()
71                self.progress=0
72                self.result['status']={'status':-1,'msg':''}
73                self.result['data']=''
74               
75
76                if self.disabled==True:
77                        self._set_status(9)
78                        self.result['data']=self.store
79                else:
80                        self._check_dirs()
81                        self.snap_client=Snapd.Client()
82                        self.snap_client.connect_sync(None)
83                        dataList=[]
84                        if action=='load':
85                                self.result['data']=self._load_snap_store(self.store)
86                        else:
87                                for app_info in applist:
88                                        self.partial_progress=0
89                                        if action=='install':
90                                                dataList.append(self._install_snap(app_info))
91                                        if action=='remove':
92                                                dataList.append(self._remove_snap(app_info))
93                                        if action=='pkginfo':
94                                                dataList.append(self._get_info(app_info))
95                                        self.progress+=round(self.partial_progress/len(applist),1)
96                                        if self.progress>98:
97                                                self.progress=98
98                                self.result['data']=list(dataList)
99                self.progress=100
100                return(self.result)
101
102        def _set_status(self,status,msg=''):
103                self.result['status']={'status':status,'msg':msg}
104        #def _set_status
105
106        def _callback(self,client,change, _,user_data):
107            # Interate over tasks to determine the aggregate tasks for completion.
108            total = 0
109            done = 0
110            for task in change.get_tasks():
111                total += task.get_progress_total()
112                done += task.get_progress_done()
113            self.progress = round((done/total)*100)
114        #def _callback
115
116        def _check_dirs(self):
117                if not os.path.isdir(self.cache_xmls):
118                        os.makedirs(self.cache_xmls)
119
120        def _load_snap_store(self,store):
121                pkgs=[]
122                #Look if cache is up-to-date
123                if os.path.isfile(self.cache_last_update):
124                        epoch_time=time.time()
125                        fcache=open(self.cache_last_update,'r')
126                        fcache_update=fcache.read()
127                        if not fcache_update:
128                                fcache_update=0
129                        if int(epoch_time)-int(fcache_update)<86400:
130                                if not os.listdir(os.path.dirname(self.cache_xmls)):
131                                        self._debug("Loading snap from cache")
132                                        store=self._load_from_cache(store)
133                                        return store
134
135                fcache=open(self.cache_last_update,'w')
136                fcache.write(str(int(time.time())))
137                pkgs=self._load_sections()
138                self._set_status(1)
139                store_pool=pool()
140                for pkg in pkgs:
141                        maxconnections = 10
142                        threads=[]
143                        semaphore = threading.BoundedSemaphore(value=maxconnections)
144                        th=threading.Thread(target=self._th_load_store, args = (store_pool,pkg,semaphore))
145                        threads.append(th)
146                        th.start()
147                for thread in threads:
148                        try:
149                                thread.join()
150                        except:
151                                pass
152                while store_pool.qsize():
153                        store.add_app(store_pool.get())
154                return(store)
155
156        def _th_load_store(self,store,pkg,semaphore):
157                semaphore.acquire()
158                app=self.store.get_app_by_pkgname(pkg.get_name())
159                if not app:
160                        self._debug("Searching for %s"%pkg.get_name())
161                        app=self.store.get_app_by_id(pkg.get_name().lower()+".desktop")
162                        if app:
163                                bundle=appstream.Bundle()
164                                bundle.set_kind(bundle.kind_from_string('SNAP'))
165                                bundle.set_id(pkg.get_name()+'.snap')
166                                app.add_bundle(bundle)
167                                app.add_category("Snap")
168                                store.put(self._generate_appstream_app_from_snap(pkg))
169                        else:
170                                store.put(self._generate_appstream_app_from_snap(pkg))
171                semaphore.release()
172
173        def _load_from_cache(self,store):
174                for target_file in os.listdir(self.cache_xmls):
175                        if target_file.endswith('.xml'):
176                                store_file=Gio.File.new_for_path(self.cache_xmls+'/'+target_file)
177                                self._debug("Adding file %s/%s"%(self.cache_xmls,target_file))
178                                try:
179                                        store.from_file(store_file,None,None)
180                                except Exception as e:
181                                        self._debug("Couldn't add file %s to store"%target_file)
182                                        self._debug("Reason: %s"%e)
183                return store   
184
185        def _generate_appstream_app_from_snap(self,pkg):
186                bundle=appstream.Bundle()
187                app=appstream.App()
188                icon=appstream.Icon()
189                screenshot=appstream.Screenshot()
190#               bundle.set_kind(appstream.BundleKind.SNAP)
191                bundle.set_kind(bundle.kind_from_string('SNAP'))
192                bundle.set_id(pkg.get_name()+'.snap')
193                app.add_bundle(bundle)
194                app.set_name("C",pkg.get_name()+'.snap')
195                app.add_pkgname(pkg.get_name()+'.snap')
196                app.add_category("Snap")
197                release=appstream.Release()
198                release.set_version(pkg.get_version())
199                app.add_release(release)
200                app.set_id("io.snapcraft.%s"%pkg.get_name()+'.snap')
201                app.set_id_kind=appstream.IdKind.DESKTOP
202                app.set_metadata_license("CC0-1.0")
203                description="This is an Snap bundle. It hasn't been tested by our developers and comes from a 3rd party dev team. Please use it carefully."
204                pkg_description=pkg.get_description()
205                pkg_description=html.escape(pkg_description,quote=True)
206                pkg_description=pkg_description.replace("<","&gt;")
207                app.set_description("C","<p>%s</p><p>%s</p>"%(description,pkg_description))
208                app.set_comment("C",pkg.get_summary().rstrip('.'))
209
210                app.add_keyword("C",pkg.get_name())
211                for word in pkg.get_summary().split(' '):
212                        if len(word)>3:
213                                app.add_keyword("C",word)
214
215                if pkg.get_icon():
216                        if self.icon_cache_enabled:
217                                icon.set_kind(appstream.IconKind.LOCAL)
218                                       
219                                icon.set_name(self._download_file(pkg.get_icon(),pkg.get_name(),self.icons_folder))
220                        else:
221                                icon.set_kind(appstream.IconKind.REMOTE)
222                                icon.set_name(pkg.get_icon())
223                                icon.set_url(pkg.get_icon())
224                        app.add_icon(icon)
225
226                if pkg.get_license():
227                        app.set_project_license(pkg.get_license())
228
229                if pkg.get_screenshots():
230                        for snap_screen in pkg.get_screenshots():
231                                img=appstream.Image()
232                                img.set_kind(appstream.ImageKind.SOURCE)
233                                img.set_url(snap_screen.get_url())
234                                break
235                        screenshot.add_image(img)
236                        app.add_screenshot(screenshot)
237
238                if not os.path.isfile(self.cache_xmls+'/'+app.get_id_filename()):
239                        xml_path='%s/%s.xml'%(self.cache_xmls,app.get_id_filename())
240                        gioFile=Gio.File.new_for_path(xml_path)
241                        app.to_file(gioFile)
242                        #Fix some things in app_file...
243                        xml_file=open(xml_path,'r',encoding='utf-8')
244                        xml_data=xml_file.readlines()
245                        xml_file.close()
246                        self._debug("fixing %s"%xml_path)
247                        try:
248                                xml_data[0]=xml_data[0]+"<components>\n"
249                                xml_data[-1]=xml_data[-1]+"\n"+"</components>"
250                        except:
251                                pass
252                        xml_file=open(xml_path,'w')
253                        xml_file.writelines(xml_data)
254                        xml_file.close()
255                return(app)
256
257        def _search_cb(self,obj,request,*args):
258                global wrap
259                wrap=request
260
261        def _load_sections(self):
262                sections=self.snap_client.get_sections_sync()
263                stable_pkgs=[]
264                for section in sections:
265                        apps=self.snap_client.find_section_sync(Snapd.FindFlags.MATCH_NAME,section,None)
266                        for pkg in apps:
267                                stable_pkgs.append(pkg)
268                return(stable_pkgs)
269
270        def _search_snap_async(self,tokens,force_stable=True):
271                self._debug("Async Searching %s"%tokens)
272                pkgs=None
273                global wrap
274                self.snap_client.find_async(Snapd.FindFlags.MATCH_NAME,
275                                                        tokens,
276                                                        None,
277                                                        self._search_cb,(None,),None)
278                while 'Snapd' not in str(type(wrap)):
279                        time.sleep(0.1)
280                snaps=self.snap_client.find_finish(wrap)
281                if type(snaps)!=type([]):
282                        pkgs=[snaps]
283                else:
284                        pkgs=snaps
285                stable_pkgs=[]
286                for pkg in pkgs:
287                        if force_stable:
288                                if pkg.get_channel()=='stable':
289                                        stable_pkgs.append(pkg)
290                                else:
291                                        self._debug(pkg.get_channel())
292                        else:
293                                stable_pkgs.append(pkg)
294                return(stable_pkgs)
295
296        def _search_snap(self,tokens,force_stable=True):
297                self._debug("Searching %s"%tokens)
298                pkg=None
299                pkgs=None
300                try:
301                        pkgs=self.snap_client.find_sync(Snapd.FindFlags.MATCH_NAME,tokens,None)
302                except Exception as e:
303                        print("ERR: %s"%e)
304                        self._set_status(1)
305                stable_pkgs=[]
306                for pkg in pkgs:
307                        if force_stable:
308                                if pkg.get_channel()=='stable':
309                                        stable_pkgs.append(pkg)
310                                else:
311                                        self._debug(pkg.get_channel())
312                        else:
313                                stable_pkgs.append(pkg)
314                self._debug("Done")
315                return(stable_pkgs)
316        #def _search_snap
317
318        def _download_file(self,url,app_name,dest_dir):
319                target_file=dest_dir+'/'+app_name+".png"
320                if not os.path.isfile(target_file):
321                        if not os.path.isfile(target_file):
322                                self._debug("Downloading %s to %s"%(url,target_file))
323                                try:
324                                        with urllib.request.urlopen(url) as response, open(target_file, 'wb') as out_file:
325                                                bf=16*1024
326                                                acumbf=0
327                                                file_size=int(response.info()['Content-Length'])
328                                                while True:
329                                                        if acumbf>=file_size:
330                                                            break
331                                                        shutil.copyfileobj(response, out_file,bf)
332                                                        acumbf=acumbf+bf
333                                        st = os.stat(target_file)
334                                except Exception as e:
335                                        self._debug("Unable to download %s"%url)
336                                        self._debug("Reason: %s"%e)
337                                        target_file=''
338                return(target_file)
339        #def _download_file
340
341
342        def _get_info(self,app_info):
343                #switch to launch async method when running under a gui
344                #For an unknown reason request will block when sync mode under a gui and async blocks when on cli (really funny)
345                self._debug("Getting info for %s"%app_info)
346                pkg=None
347                try:
348                        pkg=self.snap_client.list_one_sync(app_info['package'].replace('.snap',''))
349                        app_info['state']='installed'
350                        pkgs=[pkg]
351                except:
352                        app_info['state']='available'
353                        if self.cli_mode:
354                                pkgs=self._search_snap(app_info['package'].replace('.snap',''),force_stable=False)
355                        else:
356                                pkgs=self._search_snap_async(app_info['package'].replace('.snap',''),force_stable=False)
357                        self._debug("Getting extended info for %s %s"%(app_info['package'],pkgs))
358                if type(pkgs)==type([]):
359                        for pkg in pkgs:
360                                self._debug("Getting extended info for %s"%app_info['name'])
361                                if pkg.get_download_size():
362                                        app_info['size']=str(pkg.get_download_size())
363                                elif pkg.get_installed_size():
364                                        app_info['size']=str(pkg.get_installed_size())
365                                else:
366                                        app_info['size']="-1"
367                                break
368                else:
369                        app_info['size']='0'
370                self._debug("Info for %s"%app_info)
371                self.partial_progress=100
372                return(app_info)
373        #def _get_info
374
375        def _install_snap(self,app_info):
376                self._debug("Installing %s"%app_info['name'])
377                if app_info['state']=='installed':
378                        self._set_status(4)
379                else:
380                        try:
381                                self.snap_client.install_sync(app_info['name'].replace('.snap',''),
382                        None, # channel
383                        self._callback, (None,),
384                        None) # cancellable
385                                app_info['state']='installed'
386                                self._set_status(0)
387                        except Exception as e:
388                                print("Install error %s"%e)
389                                self._set_status(5)
390
391                self._debug("Installed %s"%app_info)
392                return app_info
393        #def _install_snap
394
395        def _remove_snap(self,app_info):
396                if app_info['state']=='available':
397                        self._set_status(3)
398                else:
399                        try:
400                                self.snap_client.remove_sync(app_info['name'].replace('.snap',''),
401                       self._callback, (None,),
402                                                None) # cancellable
403                                app_info['state']='available'
404                                self._set_status(0)
405                        except Exception as e:
406                                print("Remove error %s"%e)
407                                self._set_status(6)
408                return app_info
409        #def _remove_snap
Note: See TracBrowser for help on using the repository browser.