Sätt dig skönt i soffan hemma och låt dig absorberas av en symfoniorkesters magiska tolkning av Beethovens femma med samma upplevelse som om du var på plats i konsertsalen. Välj kameravinkel, inzoomning, klippning, ljudkvalité och extra bakgrundsinformation om verket som spelas. Eller chatta med andra i den digitala publiken.
– Den snabba digitaliseringen av scenkonsten har öppnat upp nya världar för hur publiken kan ta del av kultur där vi måste tänka nytt så att konsumenterna blir aktiva istället för passiva.
Det menar Jesper Larsson som vant guidar runt i konsertsalen på Malmö Live som har en akustik i världsklass och är Malmö SymfoniOrkesters hemmaarena. I projektet kommer Malmö Lives konsertsal att fungera som en experimentell miljö i form av ett living lab.
Konstnärliga fakulteten har, tillsammans med LTH, Ekonomihögskolan och Juridiska fakulteten, samt ett antal externa samarbetspartners som AXIS och Amazon, beviljats anslag om tre miljoner på tre år för att ta fram nya metoder för att producera och tillgängliggöra kultur. Det tematiska samverkansinitiativet leds av Sanimir Resić, dekan på Konstnärliga fakulteten och koordineras av Jesper Larsson, med gedigen bakgrund i kultursektorn från tidigare chefskap för Malmö Live och Kulturhuset Stadsteatern i Stockholm.
Ett digitalt universum
I den framtida streamingtjänsten ska du kunna välja vilka kameravinklar eller klippning du helst vill ha, om du vill zooma in på något instrument och även välja om du vill att något instrument ska låta starkare. Blir du nyfiken på någon annans version av konserten kan du även ta del av den. Genom ansiktsigenkänning får du information om personerna som är i bild och du kommer även chatta med andra besökare och ställa frågor till artisterna inför konserten och i pausen.
Det digitala formatet öppnar även upp för nya visuella möjligheter.
– När vi flyttar ut konsertupplevelsen från den geografiska platsen till ett digitalt universum är vi inte bundna visuellt vid hur det ser ut i konsertsalen. Vi skulle kunna uppleva konserten som en vandring i alperna eller ett psykedeliskt AI-genererat landskap att förlora sig i eller varför inte inifrån en klarinett?
Målet med detta tematiska samverkansinitiativ är att nå ut till nya grupper som inte vanligtvis tar plats i konsertsalen på Malmö Live.
– Vi skulle kunna koppla in skolor och bibliotek och få till en bra plattform för barn och unga. Vi vill även nå ut till vårdhem och fängelser. Samtidigt har projektet en väldig uppsida – vi tänker inte förstöra eller förändra formatet för dem som redan nu älskar detta.
Individanpassad livesändning
Under pandemin använde sig Malmö Live sig av kameror från AXIS Communication, ett ledande internationellt företag inom nätverkskameror, för att streama sina konserter till publik. En positiv erfarenhet som nu har vuxit sig större.
Den ultimata lösningen för en individanpassad livesändning ställer stora krav på nya digitala lösningar, inklusive artificiell intelligens, utveckling av nya affärsmodeller och juridiska frågor kring bl.a. upphovsrätt och personlig integritet. För att nå dit – att den digitala publiken hemma i soffan ska få en minst lika fantastisk upplevelse som en fysisk publik i konsertsalen kommer att kräva hela Lunds universitets bredd.
Hur zoomar vi ljud?
– Grundidén är att jag som lyssnare väljer en sittplats i konsertsalen. Idag har vi tekniken på plats och många lösningar på hur vi zoomar bild digitalt. Men ny teknik krävs, för individuellt vald digital zoom av ljudet, berättar Jesper Larsson.
Forskare på LTH vill undersöka ett mer automatiserat sätt att hantera produktionen som inte kräver så många tekniker, bildproducenter och ljudtekniker. Svaret är att koppla in AI.
– Vi vill att AI ska läsa in noterna och även veta var musikerna sitter och var kamerorna står. Låt oss säga att jag vill att trombonen ska låta starkare vid ett stycke – hur zoomar vi ljud? Vi ser en streamingtjänst där datorn ska kunna bildzooma harpan i relation till trumpeten utifrån hur partituret är skrivet och även kunna zooma ljudet, berättar Jesper Larsson.
- När vi flyttar ut konsertupplevelsen från den geografiska platsen till ett digitalt universum är vi inte bundna visuellt vid hur det ser ut i konsertsalen, säger Jesper Larsson. Foto: Kennet Ruona
Teknikutmaningarna är många och därför engageras både forskare och lärare på LTH.
– Detta projekt ger mig en ”We choose to go to the moon” känsla, säger Erik Larsson, professor vid Integrerade elektroniksystem som redan är igång med att involvera studenter som läser till högskoleingenjör i datateknik och elektroteknik med automationsteknik.
Till hösten kommer studenterna att arbeta med olika projektkurser.
– Jag hoppas det kan leda till spännande examensarbeten för högskoleingenjörerna till våren och att vi även kan få andra fakulteter att inse potentialen i detta spännande projekt, berättar Erik Larsson.
Nya former, nya krav
Digitaliseringen ställer många nya krav, inte minst när det gäller upphovsrätt. Hur ska lagstiftningen följa med den tekniska utvecklingen som vårt samhälle genomgår när samtidigt all musik skyddas av upphovsrätt? Den som lever på sin musik måste ha en möjlighet att få betalt.
– Det är en gigantisk fråga, speciellt om vi tänker oss en global marknad. I det här landskapet kommer det att finnas jättemycket konfliktytor, diskussioner och farhågor. Men tänk vad Spotify har revolutionerat musiklivet. Här kopplar vi in forskare från Juridiska fakulteten som ska gräva djupare i denna komplexitet.
När varje konserttillfälle är streamat och när kamerorna är fler och mer närgångna än tidigare TV - produktioner skapar det en större press på musikerna. Hur påverkar det musikerna om kamerorna ständigt kan zooma in, inte bara när man spelar.
– De senaste 15 åren har vi haft stora individualiserade möjligheter att ta del av och filma idrottares prestationer. Även publiken på stadion har varit exponerade. Det här med integritet är ett forskningsfält i sig. När det gäller våra musiker ser jag att känsliga situationer kan registreras och spridas och det kan öka på scenskräcken. Men vi måste förhålla oss till det, om man väljer musikerbanan kan man inte undvika att vara exponerad. Tyvärr kan det bli ett intrång i den personliga integriteten, menar Jesper Larsson.
Tajtare ekonomi
Initiativet vill även titta närmare på en ny typ av betalningsmodell och funderar på en kryptovaluta där mer pengar hamnar i fickorna på upphovspersonerna.
– De vanliga betalsystemen läcker så otroligt mycket pengar till bankväsendet. Vi vill att mer pengar ska hamna hos oss som streamar konserten. Ekonomin skulle kunna hållas tajtare, siar Jesper Larsson.
Jesper Larsson och forskare från Ekonomihögskolan ser framför sig ett globalt system, som knyter medlemmar till sig runt hela världen, där konsumenten genom ett poängsystem ska kunna köpa en streamad konsert från filharmonikerna i Berlin, Los Angeles eller Malmö Symfoniorkester. Utbudet av upplevelser har inga begränsningar och kan bli världsomspännande.