Es muss besondere Sorgfalt beim Erstellen des Datasets aufgewandt werden, der Auswahl an Musterdokumenten zur Schulung des Systems. Die prozentuale Performance kann durch menschliches Eingreifen anhand einer kleinen Auswahl von manuell kommentierten Dokumenten bewertet werden. Wenn komplett manuelle Verfahren zum Extrahieren von Informationen verwendet werden, arbeiten Fachleute für Softwareentwicklung und Domänenexperten isoliert und haben Schwierigkeiten, sich untereinander auszutauschen, bedingt durch die unterschiedliche Kenntnis der Domäne bzw. in Bezug auf die Untersuchung der Sprache, die häufig doppeldeutig sein kann. Dank der Watson-Technologien kann dieser Prozess vereinfacht und intuitiver gestaltet werden, da Softwarespezialisten und Domänenexperten über eine gemeinsam zur Zusammenarbeit genutzte Plattform Produkte und API integrieren können, so dass eine automatisierte Lösung entsteht, die in der Lage ist, große Datenvolumen zu verarbeiten.