Learning Robot Vision under Insufficient Data

In this thesis, we study and develop methods for training machine learning models under in-sufficient data within computer vision, robotics, and autonomous systems, for the purpose of reducing the manual effort. In summary, we study (1) weakly-supervised learning for reducing the annotation cost, (2) methods for reducing model bias under highly imbalanced training data,(3) methods for obtaining trustworthy uncertainty estimates, and (4) the use of simulated and semi-virtual environments for reducing the amount of real-world data in reinforcement learning. 

In the first part of this thesis, we investigate how weakly-supervised learning can be used within image segmentation. In contrast to fully supervised learning, weakly-supervised learning uses a weaker form of annotation, which reduces the annotation effort. Typically, in image segmentation, each object needs to be precisely annotated in every image on the pixel level. Creating this type of annotation is both time consuming and costly. In weakly-supervised segmentation, however, the only information required is which objects are depicted in the images. This significantly reduces the annotation time. In Papers A and B, we propose two loss functions for improving the predicted object segmentations, especially their contours, in weakly-supervised segmentation. 

In the next part of the thesis, we tackle class imbalance in image classification. During data collection, some classes naturally occur more frequently than others, which leads to an imbalance in the amount of data between the different classes. Models trained on such datasets may become biased towards the more common classes. Overcoming this effect by collecting more data of the rare classes may take a very long time. Instead, we develop an ensemble method for image classification in Paper C, which is unbiased despite being trained on highly imbalanced data. 

When using machine learning models within autonomous systems, a desirable property for them is to predict trustworthy uncertainty estimates. This is especially important when the training data is limited, as the probability for encountering previously unseen cases is large. In short, a model making a prediction with a certain confidence should be correct with the corresponding probability. This is not the case in general, as machine learning models are notorious for predicting overconfident uncertainty estimates. We apply methods for improving the uncertainty estimates for classification in Paper C and for regression in Paper D. 

In the final part of this thesis, we utilize reinforcement learning for teaching a robot to perform coverage path planning, e.g. for lawn mowing or search-and-rescue. In reinforcement learning, the robot interacts with an environment and gets rewards based on how well it solves the task. Initially, its actions are random, which improve over time as it explores the environment and gathers data. It typically takes a long time for this learning process to converge. This is problematic in real-world environments where the robot needs to operate during the full duration, which may require human supervision. At the same time, a large variety in the training data is important for generalisation, which is difficult to achieve in real-world environments. Instead, we utilize a simulated environment in Paper E for accelerating the training process, where we procedurally generate random environments. To simplify the transfer from simulation to reality, we fine-tune the model in a semi-virtual indoor environment on the real robot in Paper F. 

Maskininlärning används idag i bred utsträckning inom många områden, och i synnerhet in-om datorseende, robotik, och autonoma system. Det kan till exempel användas för att detektera människor och andra föremål med kameror i autonoma bilar, eller för att styra robotar längs kollisionsfria banor för att lösa diverse uppgifter. Flexibiliteten i maskininlärning är attraktiv då den kan tillämpas för att lösa svåra problem utan detaljkännedom inom problemdomänen i fråga. Dock krävs en stor mängd data för att träna maskininlärningsmodeller, vilket medför en stor manuell arbetsbörda, dels för att samla in data, och dels för att annotera insamlade data.

I denna avhandling undersöker och utvecklar vi metoder för att träna maskininlärningsmodeller med begränsad tillgång till data inom datorseende, robotik och autonoma system, i syfte att minska den manuella arbetsbördan. Sammanfattningsvis undersöker vi (1) svagt väglett läran-de för att minska annoteringstiden, (2) metoder som är opartiska under högt obalanserade data,(3) metoder för att erhålla pålitliga osäkerhetsskattningar, och (4) simulerings- och semivirtuella miljöer för att minska mängden riktiga data för förstärkningsinlärning.

I den första delen av avhandlingen undersöker vi hur svagt väglett lärande (eng. weakly-supervised learning) kan användas inom bildsegmentering. Till skillnad från fullt väglett lärande används en svagare annoteringsform, vilket medför en minskning i den manuella annoterings-bördan. För bildsegmentering krävs i vanliga fall en noggrann annotering av varje enskilt objekt i varje bild på pixelnivå. Att skapa denna typ av annotering är både tidskrävande och kostsam. Med svagt väglett lärande krävs endast kännedom om vilka typer av objekt som finns i varje bild, vilket avsevärt minskar annoteringstiden. I Artikel A och B utformar vi två målfunktioner som är anpassade för att bättre segmentera objekt av intresse, i synnerhet deras konturer.

I nästa del hanterar vi en oönskad effekt som kan uppstå under datainsamlingen. Vissa typer av klasser förekommer naturligt oftare än andra, vilket leder till att det blir en obalans av mängden data emellan olika klasser. En modell som är tränad på en sådan datamängd kan bli partisk mot de klasser som förekommer oftare. Om vissa klasser är sällsynta kan det ta väldigt lång tid att samla in tillräckligt mycket data för att överkomma den effekten. För att motverka effekten i bildklassificering utvecklar vi en ensemblemetod i Artikel C som är opartisk, trots att den är tränad på högt obalanserade data.

För att maskininlärningsmodeller ska vara användbara inom autonoma system är det fördelaktigt om de på ett pålitligt sätt kan skatta sin osäkerhet. Detta är särskilt viktigt vid begränsad träningsdata, eftersom sannolikheten ökar för att okända situationer uppstår som modellen inte har sett under träning. I korthet bör en modell som gör en skattning med en viss säkerhet vara korrekt med motsvarande sannolikhet. Detta är inte fallet generellt för maskininlärningsmodeller, utan de har en tendens att vara överdrivet självsäkra. Vi tillämpar metoder för att förbättra osäkerhetsskattningen för klassificering i Artikel C och för regression i Artikel D.

I den sista delen av avhandlingen undersöker vi hur förstärkningsinlärning (eng. reinforcement learning) kan tillämpas för att lära en robot yttäckningsplanering, exempelvis för gräsklippning eller för att hitta försvunna personer. Under förstärkningsinlärning interagerar roboten i den tilltänkta miljön, och får belöningar baserat på hur väl den utför uppgiften. Initialt är dess handlingar slumpmässiga som sedan förbättras över tid. I många fall tar detta väldigt lång tid, vilket är problematiskt i verkliga miljöer då roboten behöver hållas i drift under hela träningsprocessen. Samtidigt är varierande träningsmiljöer viktiga för generalisering till nya miljöer, vilket är svårt att åstadkomma. Istället använder vi en simulerad miljö i Artikel E för att påskynda tränings-processen där vi utnyttjar slumpmässigt genererade miljöer. För att sedan förenkla övergången från simulering till verklighet finjusterar vi modellen i en semivirtuell inomhusmiljö i Artikel F.