source: lliurex-store/trunk/fuentes/python3-lliurex-store.install/usr/share/lliurexstore/plugins/snapManager.py @ 7433

Last change on this file since 7433 was 7433, checked in by Juanma, 21 months ago

disable debug

File size: 11.2 KB
Line 
1#The name of the main class must match the file name in lowercase
2import os
3import urllib
4import shutil
5import gi
6from gi.repository import Gio
7gi.require_version ('Snapd', '1')
8from gi.repository import Snapd
9gi.require_version('AppStreamGlib', '1.0')
10from gi.repository import AppStreamGlib as appstream
11import time
12import html
13#Needed for async find method, perhaps only on xenial
14wrap=Gio.SimpleAsyncResult()
15class snapmanager:
16       
17        def __init__(self):
18                self.dbg=False
19                self.progress=0
20                self.partial_progress=0
21                self.plugin_actions={'install':'snap','remove':'snap','pkginfo':'snap','load':'snap'}
22                self.cache_dir=os.getenv("HOME")+"/.cache/lliurex-store"
23                self.cache_xmls=self.cache_dir+'/xmls/snap'
24                self.cache_last_update=self.cache_xmls+'/.snap.lu'
25                self.icons_folder=self.cache_dir+"/icons"
26                self.images_folder=self.cache_dir+"/images"
27                self.result={}
28                self.result['data']={}
29                self.result['status']={}
30                self.disabled=False
31                self.icon_cache_enabled=True
32                self.image_cache_enabled=True
33                self.cli_mode=False
34                if not os.path.isdir(self.icons_folder):
35                        try:
36                                os.makedirs(self.icons_folder)
37                        except:
38                                self.icon_cache_enabled=False
39                                self._debug("Icon cache disabled")
40                if not os.path.isdir(self.images_folder):
41                        try:
42                                os.makedirs(self.images_folder)
43                        except:
44                                self.image_cache_enabled=False
45                                self._debug("Image cache disabled")
46        #def __init__
47
48        def set_debug(self,dbg=True):
49                self.dbg=dbg
50                self._debug ("Debug enabled")
51        #def set_debug
52
53        def _debug(self,msg=''):
54                if self.dbg:
55                        print ('DEBUG snap: %s'%msg)
56        #def debug
57
58        def register(self):
59                return(self.plugin_actions)
60
61        def enable(self,state=False):
62                self.disabled=state
63
64        def execute_action(self,action,applist=None,store=None,results=0):
65                if store:
66                        self.store=store
67                else:
68                        self.store=appstream.Store()
69                self.progress=0
70                self.result['status']={'status':-1,'msg':''}
71                self.result['data']=''
72               
73
74                if self.disabled==True:
75                        self._set_status(9)
76                        self.result['data']=self.store
77                else:
78                        self._check_dirs()
79                        self.snap_client=Snapd.Client()
80                        self.snap_client.connect_sync(None)
81                        dataList=[]
82                        if action=='load':
83                                self.result['data']=self._load_snap_store(self.store)
84                        else:
85                                for app_info in applist:
86                                        self.partial_progress=0
87                                        if action=='install':
88                                                dataList.append(self._install_snap(app_info))
89                                        if action=='remove':
90                                                dataList.append(self._remove_snap(app_info))
91                                        if action=='pkginfo':
92                                                dataList.append(self._get_info(app_info))
93                                        self.progress+=round(self.partial_progress/len(applist),1)
94                                        if self.progress>98:
95                                                self.progress=98
96                                self.result['data']=list(dataList)
97                self.progress=100
98                return(self.result)
99
100        def _set_status(self,status,msg=''):
101                self.result['status']={'status':status,'msg':msg}
102        #def _set_status
103
104        def _callback(self,client,change, _,user_data):
105            # Interate over tasks to determine the aggregate tasks for completion.
106            total = 0
107            done = 0
108            for task in change.get_tasks():
109                total += task.get_progress_total()
110                done += task.get_progress_done()
111            self.progress = round((done/total)*100)
112        #def _callback
113
114        def _check_dirs(self):
115                if not os.path.isdir(self.cache_xmls):
116                        os.makedirs(self.cache_xmls)
117
118        def _load_snap_store(self,store):
119                pkgs=[]
120                #Look if cache is up-to-date
121                if os.path.isfile(self.cache_last_update):
122                        epoch_time=time.time()
123                        fcache=open(self.cache_last_update,'r')
124                        fcache_update=fcache.read()
125                        if not fcache_update:
126                                fcache_update=0
127                        if int(epoch_time)-int(fcache_update)<86400:
128                                if not os.listdir(os.path.dirname(self.cache_xmls)):
129                                        self._debug("Loading snap from cache")
130                                        store=self._load_from_cache(store)
131                                        return store
132
133                fcache=open(self.cache_last_update,'w')
134                fcache.write(str(int(time.time())))
135                if self.cli_mode:
136                        pkgs=self._search_snap("*")
137                else:
138                        pkgs=self._search_snap_async("*")
139                self._set_status(1)
140                for pkg in pkgs:
141                        app=self.store.get_app_by_pkgname(pkg.get_name())
142                        if not app:
143                                self._debug("Searching for %s"%pkg.get_name())
144                                app=self.store.get_app_by_id(pkg.get_name().lower()+".desktop")
145                        if app:
146                                bundle=appstream.Bundle()
147                                bundle.set_kind(bundle.kind_from_string('SNAP'))
148                                bundle.set_id(pkg.get_name()+'.snap')
149                                app.add_bundle(bundle)
150                                app.add_category("Snap")
151                                store.add_app(self._generate_appstream_app_from_snap(pkg))
152                        else:
153                                store.add_app(self._generate_appstream_app_from_snap(pkg))
154                return(store)
155
156        def _load_from_cache(self,store):
157                for target_file in os.listdir(self.cache_xmls):
158                        if target_file.endswith('.xml'):
159                                store_file=Gio.File.new_for_path(self.cache_xmls+'/'+target_file)
160                                self._debug("Adding file %s/%s"%(self.cache_xmls,target_file))
161                                try:
162                                        store.from_file(store_file,None,None)
163                                except Exception as e:
164                                        self._debug("Couldn't add file %s to store"%target_file)
165                                        self._debug("Reason: %s"%e)
166                return store   
167
168        def _generate_appstream_app_from_snap(self,pkg):
169                bundle=appstream.Bundle()
170                app=appstream.App()
171                icon=appstream.Icon()
172                screenshot=appstream.Screenshot()
173#               bundle.set_kind(appstream.BundleKind.SNAP)
174                bundle.set_kind(bundle.kind_from_string('SNAP'))
175                bundle.set_id(pkg.get_name()+'.snap')
176                app.add_bundle(bundle)
177                app.set_name("C",pkg.get_name()+'.snap')
178                app.add_pkgname(pkg.get_name()+'.snap')
179                app.add_category("Snap")
180                release=appstream.Release()
181                release.set_version(pkg.get_version())
182                app.add_release(release)
183                app.set_id("io.snapcraft.%s"%pkg.get_name()+'.snap')
184                app.set_id_kind=appstream.IdKind.DESKTOP
185                app.set_metadata_license("CC0-1.0")
186                description="This is an Snap bundle. It hasn't been tested by our developers and comes from a 3rd party dev team. Please use it carefully."
187                pkg_description=pkg.get_description()
188                pkg_description=html.escape(pkg_description,quote=True)
189                pkg_description=pkg_description.replace("<","&gt;")
190                app.set_description("C","<p>%s</p><p>%s</p>"%(description,pkg_description))
191                app.set_comment("C",pkg.get_summary().rstrip('.'))
192
193                app.add_keyword("C",pkg.get_name())
194                for word in pkg.get_summary().split(' '):
195                        if len(word)>3:
196                                app.add_keyword("C",word)
197
198                if pkg.get_icon():
199                        if self.icon_cache_enabled:
200                                icon.set_kind(appstream.IconKind.LOCAL)
201                                icon.set_name(self._download_file(pkg.get_icon(),pkg.get_name(),self.icons_folder))
202                        else:
203                                icon.set_kind(appstream.IconKind.REMOTE)
204                                icon.set_name(pkg.get_icon())
205                                icon.set_url(pkg.get_icon())
206                        app.add_icon(icon)
207
208                if pkg.get_license():
209                        app.set_project_license(pkg.get_license())
210
211                if pkg.get_screenshots():
212                        for snap_screen in pkg.get_screenshots():
213                                img=appstream.Image()
214                                img.set_kind(appstream.ImageKind.SOURCE)
215                                img.set_url(snap_screen.get_url())
216                                break
217                        screenshot.add_image(img)
218                        app.add_screenshot(screenshot)
219
220                if not os.path.isfile(self.cache_xmls+'/'+app.get_id_filename()):
221                        xml_path='%s/%s.xml'%(self.cache_xmls,app.get_id_filename())
222                        gioFile=Gio.File.new_for_path(xml_path)
223                        app.to_file(gioFile)
224                        #Fix some things in app_file...
225                        xml_file=open(xml_path,'r')
226                        xml_data=xml_file.readlines()
227                        xml_file.close()
228                        count=0
229                        xml_data[0]=xml_data[0]+"<components>\n"
230                        xml_data[-1]=xml_data[-1]+"\n"+"</components>"
231                        xml_file=open(xml_path,'w')
232                        xml_file.writelines(xml_data)
233                        xml_file.close()
234                return(app)
235
236        def _search_cb(self,obj,request,*args):
237                global wrap
238                wrap=request
239
240        def _search_snap_async(self,tokens):
241                self._debug("Async Searching %s"%tokens)
242                pkgs=None
243                global wrap
244                self.snap_client.find_async(Snapd.FindFlags.MATCH_NAME,
245                                                        tokens,
246                                                        None,
247                                                        self._search_cb,(None,),None)
248                while 'Snapd' not in str(type(wrap)):
249                        time.sleep(0.1)
250#               snaps,curr=self.snap_client.find_finish(wrap)
251                snaps=self.snap_client.find_finish(wrap)
252                if type(snaps)!=type([]):
253                        pkgs=[snaps]
254                else:
255                        pkgs=snaps
256                stable_pkgs=[]
257                for pkg in pkgs:
258                        if pkg.get_channel()=='stable':
259                                stable_pkgs.append(pkg)
260                return(stable_pkgs)
261
262        def _search_snap(self,tokens):
263                self._debug("Searching %s"%tokens)
264                pkg=None
265                pkgs=None
266                try:
267                                #                       pkgs,curr=self.snap_client.find_sync(Snapd.FindFlags.MATCH_NAME,tokens,None)
268                        pkgs=self.snap_client.find_sync(Snapd.FindFlags.MATCH_NAME,tokens,None)
269                except Exception as e:
270                        print("ERR: %s"%e)
271                        self._set_status(1)
272                stable_pkgs=[]
273                for pkg in pkgs:
274                        if pkg.get_channel()=='stable':
275                                stable_pkgs.append(pkg)
276                        else:
277                                self._debug(pkg.get_channel())
278                self._debug("Done")
279                return(stable_pkgs)
280        #def _search_snap
281
282        def _download_file(self,url,app_name,dest_dir):
283#               target_file=self.icons_folder+'/'+app_name+".png"
284                target_file=dest_dir+'/'+app_name+".png"
285                if not os.path.isfile(target_file):
286#                       shutil.copy("/usr/share/icons/hicolor/128x128/apps/lliurex-store.png",target_file)
287#                       if not os.fork():
288                        if not os.path.isfile(target_file):
289                                self._debug("Downloading %s to %s"%(url,target_file))
290                                try:
291                                        with urllib.request.urlopen(url) as response, open(target_file, 'wb') as out_file:
292                                                bf=16*1024
293                                                acumbf=0
294                                                file_size=int(response.info()['Content-Length'])
295                                                while True:
296                                                        if acumbf>=file_size:
297                                                            break
298                                                        shutil.copyfileobj(response, out_file,bf)
299                                                        acumbf=acumbf+bf
300                                        st = os.stat(target_file)
301                                except Exception as e:
302                                        self._debug("Unable to download %s"%url)
303                                        self._debug("Reason: %s"%e)
304                                        target_file=''
305#                               os._exit(0)
306                return(target_file)
307        #def _download_file
308
309
310        def _get_info(self,app_info):
311                #switch to launch async method when running under a gui
312                #For an unknown reason request will block when sync mode under a gui and async blocks when on cli (really funny)
313                self._debug("Getting info for %s"%app_info)
314                pkg=None
315                try:
316                        pkg=self.snap_client.list_one_sync(app_info['package'].replace('.snap',''))
317                        app_info['state']='installed'
318                        pkgs=[pkg]
319                except:
320                        app_info['state']='available'
321                        if self.cli_mode:
322                                pkgs=self._search_snap(app_info['package'].replace('.snap',''))
323                        else:
324                                pkgs=self._search_snap_async(app_info['package'].replace('.snap',''))
325                        self._debug("Getting extended info for %s %s"%(app_info['name'],pkgs))
326                if type(pkgs)==type([]):
327                        for pkg in pkgs:
328                                self._debug("Getting extended info for %s"%app_info['name'])
329                                if pkg.get_download_size():
330                                        app_info['size']=str(pkg.get_download_size())
331                                else:
332                                        app_info['size']=str(pkg.get_installed_size())
333                                break
334                else:
335                        app_info['size']='0'
336                self._debug("Info for %s"%app_info)
337                self.partial_progress=100
338                return(app_info)
339        #def _get_info
340
341        def _install_snap(self,app_info):
342                self._debug("Installing %s"%app_info['name'])
343                if app_info['state']=='installed':
344                        self._set_status(4)
345                else:
346                        try:
347                                self.snap_client.install_sync(app_info['name'].replace('.snap',''),
348                        None, # channel
349                        self._callback, (None,),
350                        None) # cancellable
351                                app_info['state']='installed'
352                                self._set_status(0)
353                        except Exception as e:
354                                print("Install error %s"%e)
355                                self._set_status(5)
356
357                self._debug("Installed %s"%app_info)
358                return app_info
359        #def _install_snap
360
361        def _remove_snap(self,app_info):
362                if app_info['state']=='available':
363                        self._set_status(3)
364                else:
365                        try:
366                                self.snap_client.remove_sync(app_info['name'].replace('.snap',''),
367                       self._callback, (None,),
368                                                None) # cancellable
369                                app_info['state']='available'
370                                self._set_status(0)
371                        except Exception as e:
372                                print("Remove error %s"%e)
373                                self._set_status(6)
374                return app_info
375        #def _remove_snap
Note: See TracBrowser for help on using the repository browser.