Predicting sow postures from video images: Comparison of convolutional neural networks and segmentation combined with support vector machines under various training and testing setups - Archive ouverte HAL Access content directly
Journal Articles Biosystems Engineering Year : 2021

Predicting sow postures from video images: Comparison of convolutional neural networks and segmentation combined with support vector machines under various training and testing setups

(1) , (2) , (3) , (4) , (3) , (3)
1
2
3
4

Abstract

The use of CNN and segmentation to extract image features for the prediction of four postures for sows kept in crates was examined. The extracted features were used as input variables in an SVM classification method to estimate posture. The possibility of using a posture prediction model with images not necessarily obtained under the same conditions as those used for the training set was explored. As a reference case, the efficacy of the posture prediction model was explored when training and testing datasets were built using the same pool of images. In this case, all the models produced satisfactory results, with a maximum f1-score of 97.7% with CNNs and 93.3% with segmentation. To evaluate the impact of environmental variations, the models were trained and tested on different monitoring days. In this case, the best f1-score dropped to 86.7%. The impact of using the posture prediction model on animals that were not present in the training dataset was then explored. The best f1-score reduced to 63.4% when the posture prediction models were trained on one animal and tested on 11 other different animals. Conversely, when the models were tested on one animal and trained on the 11 others, the f1-score only decreased to 86% with the best model. On average, a decrease of around 17% caused by environmental and individual variations between training and testing was observed.
Nous avons comparé l’utilisation des CNN et de la segmentation pour extraire des caractéristiques d’intérêts dans les images (features), afin de prédire la posture de truies allaitantes. Une fois extraite, les features peuvent être utilisées comme variable d’entrée d’une méthode de classification, de type SVM, pour prédire la posture de la truie. Nous avons exploré l’impact de l’ensemble d’apprentissage sur la qualité de la prédiction, notamment lorsque l’ensemble d’apprentissage et de test ne sont pas obtenues dans les mêmes conditions. Nous avons d’abord considéré un cas de référence, où la méthode d’estimation de la posture était entrainée et testée sur des images prises dans les mêmes conditions. Dans ce cas, tous les modèles testés ont fournis des résultats satisfaisants, avec un f1-score de 97.7% pour le meilleur CNN et de 93.3% pour la méthode basée sur la segmentation d’images. Pour évaluer l’impact des changements environnementaux lors de la prise de vue des images, nous avons ensuite entrainé et testé les modèles sur des images provenants de deux jours différents. Dans ce cas, le meilleur f1-score est réduit à 86.7%. Enfin, nous avons considéré le cas où des animaux présent dans l’ensemble test, ne le sont pas dans l’ensemble d’apprentissage. Lorsque le modèle de prediction de posture est entrainé sur une truie, et testé sur les 11 truies, le meilleur f1-score obtenu est de 63.4%. Lorsque le modèle est entrainé sur 11 truies et testé sur 1 truie, le f1-score est de 86%. En moyenne, nous avons observé que les variations environnementales et individuelles faisaient baisser le f1-score de 17%.
Fichier principal
Vignette du fichier
Bonneau-E-2022.pdf (1.48 Mo) Télécharger le fichier
Origin : Publisher files allowed on an open archive
Licence : CC BY - Attribution

Dates and versions

hal-03413048 , version 1 (29-07-2022)

Licence

Attribution - CC BY 4.0

Identifiers

Cite

Mathieu Bonneau, Bernard Benet, Yann Labrune, Jean Bailly, Edmond Ricard, et al.. Predicting sow postures from video images: Comparison of convolutional neural networks and segmentation combined with support vector machines under various training and testing setups. Biosystems Engineering, 2021, 212, pp.19-29. ⟨10.1016/j.biosystemseng.2021.09.014⟩. ⟨hal-03413048⟩
40 View
6 Download

Altmetric

Share

Gmail Facebook Twitter LinkedIn More