source: lliurex-store/trunk/fuentes/python3-lliurex-store.install/usr/share/lliurexstore/storeManager.py @ 7137

Last change on this file since 7137 was 7137, checked in by Juanma, 19 months ago

WIP on releases

File size: 22.3 KB
Line 
1#!/usr/bin/python3
2import sys
3import os
4import threading
5import syslog
6import pkgutil
7import lliurexstore.plugins as plugins
8import json
9######
10#Ver. 1.0 of storeManager.py
11# This class manages the store and the related plugins
12# It's implemented as an action-drived class.
13# There're four(five) main actions and each of them could execute and undeterminated number of subprocess in their respective thread
14# Each of these actions returns EVER a list of dictionaries.
15#####
16
17class StoreManager():
18        def __init__(self,*args,**kwargs):
19                if 'dbg' in kwargs.keys():
20                        self.dbg=kwargs['dbg']
21                self.dbg=True
22                self._propagate_dbg=False
23                self.store=None
24                self.stores={}
25                self.related_actions={
26                                        'load':['load'],
27                                        'search':['search','get_info','pkginfo'],
28                                        'list':['list','get_info','pkginfo'],
29                                        'info':['list','get_info','pkginfo'],
30                                        'list_sections':['list_sections'],
31                                        'install':['search','get_info','pkginfo','install'],
32                                        'remove':['search','get_info','pkginfo','remove']
33                                        }
34                self.cli_mode=[]                        #List that controls cli_mode for plugins
35                self.threads={}                         #Dict with the functions that must execute each action
36                self.threads_progress={}                        #"" "" "" the progress for each launched thread
37                self.running_threads={}                 #"" "" "" the running threads
38                self.plugins_registered={}              #Dict with the relation between plugins and actions
39                self.register_action_progress={}                #Dict with the progress for each function/parent_action pair
40                self.action_progress={}                 #Progress of global actions based on average progress of individual processes
41                self.extra_actions={}           #Dict with the actions managed by plugins and no defined on the main class as related_actions
42                self.result={}                          #Result of the actions
43                self.lock=threading.Lock()              #locker for functions related to threads (get_progress, is_action_running...)
44                self.main(**kwargs)
45        #def __init__
46
47        def main(self,**kwargs):
48                self._define_functions_for_threads()    #Function that loads the dictionary self.threads
49                self.__init_plugins__(**kwargs)                 #Function that loads the plugins
50                self.execute_action('load')             #Initial load of the store
51        #def main
52
53        ####
54        #Load and register the plugins from plugin dir
55        ####
56        def __init_plugins__(self,**kwargs):
57                package=plugins
58                for importer, mod, ispkg in pkgutil.walk_packages(path=package.__path__, prefix=package.__name__+'.',onerror=lambda x: None):
59                        import_mod='from %s import *'%mod
60                        try:
61                                self._debug("Importing %s"%mod)
62                                exec (import_mod)
63                        except Exception as e:
64                                print("Import failed for %s"%mod)
65                                print("Reason; %s"%e)
66
67                for mod in (sys.modules.keys()):
68                        if 'plugins.' in mod:
69                                class_actions={}
70                                plugin_name_up=mod.split('.')[-1]
71                                plugin_name=plugin_name_up.lower()
72                                self._debug("Initializing %s"%plugin_name)
73                                sw_cli_mode=False
74                                try:
75                                        target_class=eval(plugin_name)()
76                                        class_actions=target_class.register()
77                                        if 'disabled' in target_class.__dict__.keys():
78                                                if target_class.disabled==True:
79                                                        self._debug("Disabling plugin %s"%plugin_name)
80                                                        continue
81                                                #Time to check if plugin is disabled or enabled by parm
82                                                #Values for the plugins_registered dict must be the same as the parm name that enables the plugin
83                                                for key,value in class_actions.items():
84                                                        val=value
85                                                        break
86                                                if val in kwargs.keys():
87                                                        if kwargs[val]==True:
88                                                                if target_class.disabled:
89                                                                        self._debug("Disabling plugin %s"%plugin_name)
90                                                                        continue
91                                                        else:
92                                                                self._debug("Disabling plugin %s"%plugin_name)
93                                                                continue
94                                                else:
95                                                        self._debug("Disabling plugin %s"%plugin_name)
96                                                        continue
97                                        if 'cli_mode' in target_class.__dict__.keys():
98                                                if 'cli' in kwargs.keys():
99                                                        sw_cli_mode=True
100                                                        self._debug("Enabling cli mode for %s"%plugin_name)
101                                except Exception as e:
102                                        print ("Can't initialize %s %s"%(mod,target_class))
103                                        print ("Reason: %s"%e)
104                                        pass
105                       
106                                for action in class_actions.keys():
107                                        if action not in self.plugins_registered:
108                                                self.plugins_registered[action]={}
109                                        full_module_name='plugins.'+plugin_name_up+'.'+plugin_name
110                                        self.plugins_registered[action].update({class_actions[action]:full_module_name})
111                                        if sw_cli_mode:
112                                                self.cli_mode.append(full_module_name)
113
114                self._debug(str(self.plugins_registered))
115        #def __init_plugins__
116
117        def set_debug(self,dbg=True):
118                self.dbg=dbg
119                self._debug ("Debug enabled")
120        #def set_debug
121
122        def _debug(self,msg=''):
123                if self.dbg==1:
124                        print ('DEBUG Store: %s'%msg)
125        #def _debug
126
127        def _log(self,msg=None):
128                if msg:
129                        syslog.openlog('lliurex-store')
130                        syslog.syslog(msg)
131                        self._debug(msg)
132        ####
133        #dict of actions/related functions for threading
134        ####
135        def _define_functions_for_threads(self):
136                self.threads['load']="threading.Thread(target=self._load_Store)"
137                self.threads['get_info']="threading.Thread(target=self._get_App_Info,args=args,kwargs=kwargs)"
138                self.threads['pkginfo']="threading.Thread(target=self._get_Extended_App_Info,args=args,kwargs=kwargs)"
139                self.threads['search']='threading.Thread(target=self._search_Store,args=args,kwargs=kwargs)'
140                self.threads['list']='threading.Thread(target=self._search_Store,args=args,kwargs=kwargs)'
141                self.threads['info']='threading.Thread(target=self._search_Store,args=args,kwargs=kwargs)'
142                self.threads['install']='threading.Thread(target=self._install_remove_App,args=args,kwargs=kwargs)'
143                self.threads['remove']='threading.Thread(target=self._install_remove_App,args=args,kwargs=kwargs)'
144                self.threads['list_sections']='threading.Thread(target=self._list_sections,args=args,kwargs=kwargs)'
145        #def _define_functions_for_threads
146
147        ####
148        #Launch the appropiate threaded function for the desired action
149        #Input:
150        #  - action to be executed
151        #  - parms for the action
152        ####
153        def execute_action(self,action,*args,**kwargs):
154                #Action must be a kwarg but for retrocompatibility reasons we keep it as an arg
155                kwargs.update({"action":action})
156                self._debug("Launching action: %s with args %s and kwargs %s"%(action,args,kwargs))
157                if self.is_action_running('load'):
158                        self._join_action('load')
159                        self._debug("Resumed action %s"%action)
160                sw_track_status=False
161                if action not in self.threads.keys():
162                        #Attempt to add a new action managed by a plugin
163                        self._debug("Attempting to find a plugin for action %s"%action)
164                        if action in self.plugins_registered.keys():
165                                for package_type,plugin in self.plugins_registered[action].items():
166                                        self.action_progress[action]=0
167                                        self.threads[action]='threading.Thread(target=self._execute_class_method(action,package_type,action).execute_action,args=[action],kwargs={kwargs})'
168                                        break
169                                self._debug('Plugin for %s found: %s'%(action,self.plugins_registered[action]))
170                                self.related_actions.update({action:[action]})
171                                sw_track_status=True
172                if action in self.threads.keys():
173                        if self.is_action_running(action):
174                                #join thread if we're performing the same action
175                                self._debug("Waiting for current action %s to end"%s)
176                                self.running_threads[action].join()
177                        try:
178                                if action in self.action_progress.keys():
179                                        self.action_progress[action]=0
180                                self.action_progress[action]=0
181                                self.result[action]={}
182                                self.running_threads[action]=eval(self.threads[action])
183                                self.running_threads[action].start()
184                                if sw_track_status:
185                                        self.result[action]['status']={'status':0,'msg':''}
186                                else:
187                                        self.result[action]['status']={'status':-1,'msg':''}
188                                self._debug("Thread %s for action %s launched"%(self.running_threads[action],action))
189
190                        except Exception as e:
191                                self._debug("Can't launch thread for action: %s"%action)
192                                self._debug("Reason: %s"%e)
193                                pass
194                else:
195                        self._debug("No function associated with action %s"%action)
196        #def execute_action
197
198        ####
199        #Launch the appropiate class function
200        #Input:
201        #  - class action to be executed
202        #  - parms for the action
203        #  - parent action that demands the execution
204        #Output
205        #  - The class method to execute
206        ####
207        def _execute_class_method(self,action,package_type,*args,launchedby=None,**kwargs):
208                exe_function=None
209                if not package_type:
210                        package_type="*"
211                if action in self.plugins_registered:
212                        self._debug("Plugin for %s: %s"%(action,self.plugins_registered[action][package_type]))
213                        exe_function=eval(self.plugins_registered[action][package_type]+"("+','.join(args)+")")
214                        if self._propagate_dbg:
215                                exe_function.set_debug()
216                        if self.plugins_registered[action][package_type] in self.cli_mode:
217                                exe_function.cli_mode=True
218                        self._register_action_progress(action,exe_function,launchedby)
219                else:
220                        self._debug("No plugin for action: %s"%action)
221                if kwargs:
222                        self._debug("Parms: %s"%kwargs)
223                return (exe_function)
224        #def _execute_class_method
225
226        ###
227        #Tell if a a action is running
228        #Input:
229        #  - action to monitorize
230        #Output:
231        #  - status true/false
232        ###
233        def is_action_running(self,searched_action=None):
234                status=False
235                action_list=[]
236                if searched_action:
237                        action_list.append(searched_action)
238                else:
239                        action_list=self.related_actions.keys()
240
241                for action in action_list:
242                        if action in self.running_threads.keys():
243                                if self.running_threads[action].is_alive():
244                                        status=True
245                                        break
246                                else:
247                                        if action in self.related_actions.keys():
248                                                for related_action in self.related_actions[action]:
249                                                        if related_action in self.running_threads.keys():
250                                                                if self.running_threads[related_action].is_alive():
251                                                                        status=True
252                                                                        break
253                return(status)
254        #def is_action_running
255
256        ####
257        #Joins an action till finish
258        #Input:
259        #  - action to join
260        ####
261        def _join_action(self,action):
262                self._debug("Joining action: %s"%action)
263                try:
264                        self.running_threads[action].join()
265                except Exception as e:
266                        self._debug("Unable to join thread for: %s"%action)
267                        self._debug("Reason: %s"%e)
268                finally:               
269                        if action in self.running_threads.keys():
270                                del(self.running_threads[action])
271        #def _join_action
272
273        ####
274        #Register the method and action/parent_action pair in the progress dict
275        #Input:
276        #  - action launched
277        #  - function (a reference to the function)
278        #  - parent_action that owns the action (if any)
279        ####
280        def _register_action_progress(self,action,function,parent_action=None):
281                if action in self.register_action_progress.keys():
282                        self._debug("Appended process for action: %s and function: %s"%(action,function))
283                        self.register_action_progress[action].append(function)
284                else:
285                        self._debug("Registered process for action: %s and function %s"%(action,function))
286                        self.register_action_progress[action]=[function]
287                if parent_action:
288                        self._debug("Registered process for Parent Action: %s-%s and function: %s"%(action,parent_action,function))
289                        if parent_action in self.threads_progress.keys():
290                                self.threads_progress[parent_action].update({action:function})
291                        else:
292                                self.threads_progress[parent_action]={action:function}
293        #def _register_action_progress
294
295        ####
296        #Get the progress of the executed actions
297        #Input
298        #  - action or none if we want all of the progress
299        #Output:
300        #  - Dict of results indexed by actions
301        ####
302        def get_progress(self,action=None):
303                progress={'search':0,'list':0,'install':0,'remove':0,'load':0,'list_sections':0}
304                action_list=[]
305                if action in self.register_action_progress.keys():
306                        action_list=[action]
307                else:
308                        action_list=self.register_action_progress.keys()
309                self.lock.acquire() #prevent that any thread attempts to change the iterator
310                for parent_action in self.related_actions.keys():
311                        if self.is_action_running(parent_action):
312                                for action in action_list:
313                                        if parent_action in self.threads_progress.keys():
314                                                acum_progress=0
315                                                for threadfunction,function in self.threads_progress[parent_action].items():
316                                                        acum_progress=acum_progress+function.progress
317       
318                                                count=len(self.related_actions[parent_action])
319                                                self.action_progress[parent_action]=round(acum_progress/count,0)
320                                                progress[parent_action]=self.action_progress[parent_action]
321                        else:
322                                #put a 100% just in case
323                                if parent_action in self.action_progress.keys():
324                                        self.action_progress[parent_action]=100
325                self.lock.release()
326                return(self.action_progress)
327        #def get_progress
328
329        ####
330        #Gets the result of an action
331        #Input:
332        #  - action
333        #Output:
334        #  - Dict of results indexed by actions
335        ####
336        def get_result(self,action=None):
337                self.lock.acquire() #Prevent changes on results from threads
338                result={}
339                if action==None:
340                        for res in self.result.keys():
341                                if res!='load':
342                                        if 'data' in self.result[res]:
343                                                result[res]=self.result[res]['data']
344                                        else:
345                                                result[res]=[]
346                else:
347                        self._debug("Checking result for action %s"%action)
348                        if self.is_action_running(action):
349                                self._join_action(action)
350                        result[action]=None
351                        if action in self.result:
352                                if 'data' in self.result[action]:
353                                        result[action]=self.result[action]['data']
354                                else:
355                                        result[action]=[]
356                self.lock.release()
357                if action in self.extra_actions.keys():
358                        self._load_Store()
359                return(result)
360        #def get_result
361
362        ####
363        #Gets the status of an action
364        #Input.
365        # - action
366        #Output:
367        # - Status dict of the action
368        ####
369        def get_status(self,action=None):
370                self.lock.acquire()
371                self._debug("Checking status for action %s"%action)
372                result={}
373                if action in self.result:
374                        result=self.result[action]['status']
375                        try:
376                                err_file=open('/usr/share/lliurex-store/files/error.json').read()
377                                err_codes=json.loads(err_file)
378                                err_code=str(result['status'])
379                                if err_code in err_codes:
380                                        result['msg']=err_codes[err_code]
381                                else:
382                                        result['msg']=u"Unknown error"
383                        except:
384                                        result['msg']=u"Unknown error"
385                self.lock.release()
386                return(result)
387        #def get_status
388
389        ####
390        #Loads the store
391        ####
392        def _load_Store(self):
393                action='load'
394                #Load appstream metada first
395                package_type='*'
396                load_function=self._execute_class_method(action,package_type,launchedby=None)
397                self.store=load_function.execute_action(action=action,store=self.store)['data']
398                #Once appstream is loaded load the appstream plugins for other package types (snap, appimage...)
399                for package_type in self.plugins_registered[action]:
400                        if package_type!='*':
401                                load_function=self._execute_class_method(action,package_type,launchedby=None)
402                                self.store=load_function.execute_action(action=action,store=self.store)['data']
403        #def _load_Store
404
405        ####
406        #Loads the info related to one app
407        #Input:
408        #  - List of App objects
409        #Output:
410        #  - Dict with the related info
411        ####
412        def _get_App_Info(self,applist,launchedby=None):
413                action='get_info'
414                info_function=self._execute_class_method(action,None,launchedby=launchedby)
415                info_applist=info_function.execute_action(self.store,action,applist)
416                return(info_applist)
417        #def _get_App_Info
418
419        ####
420        #Loads the extended info related to one app (slower)
421        #Input:
422        #  - Dict off Apps (as returned by _get_app_info)
423        #Output:
424        #  - Dict with the related info
425        ####
426        def _get_Extended_App_Info(self,info_applist,launchedby=None,fullsearch=True,channel=''):
427                #Check if there's any plugin for the distinct type of packages
428                action='pkginfo'
429                types_dict={}
430                result={}
431                result['data']=[]
432                result['status']={'status':0,'msg':''}
433                processed=[]
434                for app_info in info_applist:
435                        if channel:
436                                types_dict[channel]=[app_info]
437                        else:
438                                available_channels=self._check_package_type(app_info)
439                                for package_type in available_channels:
440                                        if app_info['component']!='':
441                                                if app_info['package'] in processed:
442                                                        continue
443#                                               processed.append(app_info['package'])
444
445                                        if package_type in types_dict:
446                                                types_dict[package_type].append(app_info)
447                                        else:
448                                                types_dict[package_type]=[app_info]
449                for package_type in types_dict:
450                        self._debug("Checking plugin for %s %s"%(action,package_type))
451                        if package_type in self.plugins_registered[action]:
452                                #Only seach full info if it's required
453                                if (fullsearch==False and package_type=='deb'):
454                                        result['data'].extend(types_dict[package_type])
455                                        continue
456                                self._debug("Retrieving info for %s"%types_dict[package_type])
457                                info_function=self._execute_class_method(action,package_type,launchedby=launchedby)
458                                result['data'].extend(info_function.execute_action(action,types_dict[package_type])['data'])
459                        else:
460                                result['data'].append(app_info)
461                return(result)
462        #def _get_Extended_App_Info
463
464        def _list_sections(self,searchItem='',action='list_sections',launchedby=None):
465                result={}
466                self._debug("Retrieving all sections")
467                data={}
468                status={}
469                if action in self.plugins_registered.keys():
470                        self._debug("Plugin for generic search: %s"%self.plugins_registered[action]['*'])
471                        finder=self.plugins_registered[action][('*')]
472                        search_function=eval(finder+"()")
473                        result=search_function.execute_action(self.store,action,searchItem)
474                        status=result['status']
475                        data=result['data']
476                else:
477                        print("No plugin for action %s"%action)
478                self.result[action]['data']=data
479                self.result[action]['status']=status
480                self._debug("Sections: %s"%self.result[action]['data'])
481                self._debug("Status: %s"%self.result[action]['status'])
482
483        ####
484        #Search the store
485        #Input:
486        #  - string search
487        #Output:
488        #  - List of dicts with all the info
489        ####
490        def _search_Store(self,*args,**kwargs):
491                search_item=args[0]
492                action='search'
493                if 'action' in kwargs.keys():
494                        action=kwargs['action']
495                launchedby=None
496                if 'launchedby' in kwargs.keys():
497                        launchedby=kwargs['launchedby']
498                max_results=0
499                if 'max_results' in kwargs.keys():
500                        max_results=kwargs['max_results'] 
501                fullsearch=False
502                if 'fullsearch' in kwargs.keys():
503                        fullsearch=kwargs['fullsearch']
504                result={}
505                tmp_applist=[]
506                if action=='list_sections':
507                        search_item=''
508                elif action=='info':
509                        fullsearch=True
510                if not launchedby:
511                        launchedby=action
512                #Set the exact match to false for search method
513                exact_match=True
514                if (launchedby=='search'):
515                                exact_match=False
516                target_channel=''
517                if '=' in search_item:
518                        target_channel=search_item.split('=')[-1]
519                        search_item=search_item.split('=')[0]
520                for package_type in self.plugins_registered[action]:
521                        search_function=self._execute_class_method(action,'*',launchedby=launchedby)
522                        result.update(search_function.execute_action(self.store,action,search_item,exact_match,max_results))
523                tmp_applist=result['data']
524                status=result['status']
525                realAction=action
526                if status['status']==0:
527                        #1.- Get appstream metadata (faster)
528                        subordinate_action='get_info'
529                        self.result[subordinate_action]={}
530                        result=self._get_App_Info(tmp_applist,launchedby)
531                        self._debug("Add result for %s"%subordinate_action)
532                        self.result[subordinate_action]=result
533                        #2.- Get rest of metadata (slower)
534                        subordinate_action='pkginfo'
535                        self._debug("Target channel: %s"%target_channel)
536                        result=self._get_Extended_App_Info(result['data'],launchedby,fullsearch,target_channel)
537                        if launchedby:
538                                realAction=launchedby
539                                self._debug("Assigned results of %s to %s"%(action,realAction))
540                        if (result['status']['status']==0) or (result['status']['status']==9):
541                                return_msg=True
542                                if fullsearch:
543                                        result['status']['status']=0
544                        else:
545                                return_msg=False
546                else:
547                        return_msg=False
548                self.result[launchedby]['data']=result['data']
549                self.result[launchedby]['status']=result['status']
550                return(return_msg)
551        #def _search_Store
552
553        ####
554        #Install or remove an app
555        #Input:
556        #  - String with the app name
557        #Output:
558        #  - Result of the operation
559        ####
560        def _install_remove_App(self,*args,**kwargs):
561                appName=args[0]
562                if 'action' in kwargs.keys():
563                        action=kwargs['action']
564                self._log("Attempting to %s %s"%(action,appName))
565                result={}
566                return_msg=False
567                if (self._search_Store(appName,action='search',fullsearch=True,launchedby=action)):
568                        info_applist=self.result[action]['data']
569                        types_dict={}
570                        #Check if package is installed if we want to remove it or vice versa
571                        for app_info in info_applist:
572                        #Appstream doesn't get the right status in all cases so we rely on the mechanisms given by the different plugins.
573                                if (action=='install' and app_info['state']=='installed') or (action=='remove' and app_info['state']=='available'):
574                                        if (action=='remove' and app_info['state']=='available'):
575                                                        self.result[action]['status']={app_info['package']:3}
576                                                        self.result[action]['status']={'status':3}
577                                        else:
578                                                self.result[action]['status']={app_info['package']:4}
579                                                self.result[action]['status']={'status':4}
580                                                pass
581                                        return_msg=False
582                                        types_dict={}
583                                        break
584                               
585                                package_type=self._check_package_type(app_info)
586                                if package_type in types_dict:
587                                        types_dict[package_type].append(app_info)
588                                else:
589                                        types_dict[package_type]=[app_info]
590
591                        for package_type in types_dict:
592                                self._debug("Checking plugin for %s %s"%(action,package_type))
593                                if package_type in self.plugins_registered[action]:
594                                        install_function=self._execute_class_method(action,package_type,launchedby=action)
595                                        if package_type=='zmd':
596                                        #If it's a zmd the zomando must be present in the system
597                                                zmd_info=[]
598                                                for zmd_bundle in types_dict[package_type]:
599                                                        zmdInfo={}
600                                                        self._debug("Cheking presence of zmd %s"%zmd_bundle['package'])
601                                                        zmd='/usr/share/zero-center/zmds/'+app_info['package']+'.zmd'
602                                                        if not os.path.exists(zmd):
603                                                                zmdInfo['package']=zmd_bundle['package']
604                                                                zmd_info.append(zmdInfo)
605                                                if zmd_info:
606                                                        self._debug("Installing needed packages")
607                                                        install_depends_function=self._execute_class_method(action,"deb",launchedby=action)
608                                                        result=install_depends_function.execute_action(action,zmd_info)
609                                                       
610                                        result=install_function.execute_action(action,types_dict[package_type])
611                                        self.result[action]=result
612                                        if result['status']['status']==0:
613                                                #Mark the apps as installed or available
614                                                for app in types_dict[package_type]:
615                                                        if action=='install':
616                                                                app['appstream_id'].set_state(1)
617                                                                self._debug("App state changed to installed")
618                                                        else:
619                                                                app['appstream_id'].set_state(2)
620                                                                self._debug("App state changed to available")
621                                        return_msg=True
622                self._log("Result %s: %s"%(action,self.result[action]))
623                return(return_msg)
624        #def install_App
625       
626        ####
627        #Check the package type
628        #Input:
629        # - AppInfo dict (element of the list returned by _get_app_info)
630        #Output:
631        # - String with the type (deb, sh, zmd...)
632        ####
633        def _check_package_type(self,app_info):
634                #Standalone installers must have the subcategory "installer"
635                #Zomandos must have the subcategory "Zomando"
636                self._debug("Checking package type for app "+app_info['name'])
637                return_msg=[]
638                if app_info['component']!='':
639                        return_msg.append('deb')
640                if "Zomando" in app_info['categories']:
641                        return_msg.append("zmd")
642                #Standalone installers must have an installerUrl field loaded from a bundle type=script description
643                if app_info['bundle']:
644                        return_msg.extend(app_info['bundle'])
645                if app_info['installerUrl']!='':
646                        return_msg.append("sh")
647                print(return_msg)
648                return(return_msg)
649        #def _check_package_type
Note: See TracBrowser for help on using the repository browser.